登录
首页 » Hadoop » 基于MapReduce的大量数据求和

基于MapReduce的大量数据求和

于 2022-02-28 发布 文件大小:6.11 MB
0 118
下载积分: 2 下载次数: 2

代码说明:

使用Hadoop中的MapReduce计算框架可以对数字文本分析及求和,当遇到大规模数据时,使用别的编程语言会使得计算过程变得复杂,但使用MapReduce并行计算框架只需编写map函数和reduce函数即可,简单方便。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • hadoop hive
    Hadoop构建数据仓库实践 操作指南 大数据知识(hadoop java hive bigdata)
    2019-04-06 09:26:20下载
    积分:1
  • wordcount.java
    wordcount的源码,是在hadoop的环境下实现的,稍微做了点改进,这个算作是hadoop环境下的helloworld的程序,希望能给大家带来帮助
    2023-01-31 23:45:04下载
    积分:1
  • SolrMongoImporter-master
    连接 HBASE和MongoDB的驱动程序,配置后可直接导数据。很好用。
    2023-09-04 03:05:03下载
    积分:1
  • 分析部门员工的情况
    1) 求各个部门的总工资 2) 求各个部门的人数和平均工资 3) 求每个部门最早进入公司的员工姓名 4) 求各个城市的员工的总工资 5) 列出工资比上司高的员工姓名及其工资 6) 列出工资比公司平均工资要高的员工姓名及其工资 7) 列出名字以J开头的员工姓名及其所属部门名称 8) 列出工资最高的头三名员工姓名及其工资 9) 将全体员工按照总收入(工资+提成)从高到低排列,要求列出姓名及其总收入 10) 如果每位员工只能和他的直接上司,直接下属,同一部门的同事交流,求任何两名员工之间若要进行信息传递所需要经过的中间节点数。
    2022-03-14 23:07:58下载
    积分:1
  • hadoop-2.6.0源代码
    hadoop-2.6.0源代码,提供出给大家学习方便
    2022-01-25 20:01:53下载
    积分:1
  • 爵士音乐家网络数据标签传播算法实现社团分析
    在 gephi 提供的数据集上随便选一个实现标签传播算法五次. 比较五次算法结果的差别. 下载爵士音乐家网络数据: NET file. Jazz musicians network: List of edges of the network of Jazzmusicians. P.Gleiser and L. Danon , Adv. Complex Syst.6, 565 (2003). 网络文件。爵士音乐家网络:爵士音乐家网络边表列表。 *Vertices (顶点)    198 *Arcs弧 *Edges边缘
    2022-01-28 15:25:33下载
    积分:1
  • hahoop源码
    hadoop 源代码
    2022-03-23 13:20:51下载
    积分:1
  • hadoop 计算平均成绩
    用于计算学生的平均成绩,采用的平台是hadoop分布式平台,代码语言是java,这是一个比较基础的hadoop入门的例子,有助于新手熟悉mapreduce原理,难度会比Wordcount大一点点,但基本原理类似,都只需要一个map函数,一个reduce函数。
    2022-10-14 03:45:04下载
    积分:1
  • 日志合并代码
    将电信实时日志  根据正则提取 然后通过mr合并,按类区分。 第一类:2016-06-02 23:44:32[02 00:27:16,496 INFO ] - [Topic2Queue.java]-[com.tydic.rtaBc.msgPrep.Topic2Queue$TopicThread]-[run]-[140] -  [消息发送完成****开始时间:1464798436495 结束时间:1464798436496 发送耗时毫秒:1 消息内容:PROD_OFFER_STRA_INST_553#|20160602002715000#|1588772703#|2#|2#|553#|52404686#~256902779#~0#~1763220#~20120829000000#~20170731000000#~48819113#~#~0#~1#~55302972867#~#~24#~1000#~553#~20120829175149#~#~20120829175102#~1#~11] 103002103002009103002009001Topic2Queue174_58_61134.64.115.174file 第二类:[0624 17:12:40 047 INFO ] com.tydic.rtaBc.msgPrep.MsgPrep -  [@PH] [2016-06-24 17:12:40] [40-92815B5A8001-RTA1-29928958696021756] [P_1_MR] [1] [OFFER_PROD_INST_REL_554#|20160624170210000#|823943705#|1#|2#|554#|179490421#~286955326#~277480107#~554#~20160624170210#~20160624170210#~555913462#~A1#~286955326#~0#~#~#~#~#~70911#~12#~0#~0]  第三类:103002103002009
    2022-02-04 07:56:15下载
    积分:1
  • java版kmeans算法以及mapreduces实现
    java实现kmenas算法,有详细的注释,以及MapReduce实现Kmeans算法。 Map每读取一条数据就与聚类中心对比,求出该条记录对应的聚类中心,然后以聚类中心ID为key,该条数据为value将数据输出  利用Reduce的归并功能将相同的key(聚类中心ID相同)归并到一起,集中与该Key对应的数据,求出这些数据的平均值,输出平均值  对比Reduce求出的平均值与原来的聚类中心,如果不相同,将清空原中心的数据文件,将Reduce的结果写到中心文件中
    2023-03-18 03:40:04下载
    积分:1
  • 696524资源总数
  • 103791会员总数
  • 67今日下载