登录
首页 » hadoop » hadoopTest

hadoopTest

于 2022-11-11 发布 文件大小:27.50 kB
0 94
下载积分: 2 下载次数: 1

代码说明:

1、WordCountMap类继承了org.apache.hadoop.mapreduce.Mapper,4个泛型类型分别是map函数输入key的类型,输入value的类型,输出key的类型,输出value的类型。 2、WordCountReduce类继承了org.apache.hadoop.mapreduce.Reducer,4个泛型类型含义与map类相同。 3、map的输出类型与reduce的输入类型相同,而一般情况下,map的输出类型与reduce的输出类型相同,因此,reduce的输入类型与输出类型相同。 4、hadoop根据以下代码确定输入内容的格式:

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • MapReduce实现大矩阵乘法
    MapReduce实现大矩阵乘法 ,即把一个大的矩阵分解成两个矩阵,通过计算两个小的矩阵就可以获得大的矩阵,可以很有效地解决大数据存储的问题。
    2022-02-18 17:07:55下载
    积分:1
  • java版kmeans算法以及mapreduces实现
    java实现kmenas算法,有详细的注释,以及MapReduce实现Kmeans算法。 Map每读取一条数据就与聚类中心对比,求出该条记录对应的聚类中心,然后以聚类中心ID为key,该条数据为value将数据输出  利用Reduce的归并功能将相同的key(聚类中心ID相同)归并到一起,集中与该Key对应的数据,求出这些数据的平均值,输出平均值  对比Reduce求出的平均值与原来的聚类中心,如果不相同,将清空原中心的数据文件,将Reduce的结果写到中心文件中
    2023-03-18 03:40:04下载
    积分:1
  • web访问记录分析
    基于hadoop的web访问记录分析,主要实现:1.页面访问量统计 2.页面独立IP的访问统计  3.用户每小时PV的统计  4.用户来源域名的统计 5.用户的访问设备统计
    2023-02-16 07:20:03下载
    积分:1
  • Hadoop2.0入门案例
    Hadoop2.0.入门案例。很实用,想要学习大数据的同学抓紧,里面有自己的学习心得!
    2022-03-23 12:12:27下载
    积分:1
  • 爵士音乐家网络数据标签传播算法实现社团分析
    在 gephi 提供的数据集上随便选一个实现标签传播算法五次. 比较五次算法结果的差别. 下载爵士音乐家网络数据: NET file. Jazz musicians network: List of edges of the network of Jazzmusicians. P.Gleiser and L. Danon , Adv. Complex Syst.6, 565 (2003). 网络文件。爵士音乐家网络:爵士音乐家网络边表列表。 *Vertices (顶点)    198 *Arcs弧 *Edges边缘
    2022-01-28 15:25:33下载
    积分:1
  • hadoop-2.6.0源代码
    hadoop-2.6.0源代码,提供出给大家学习方便
    2022-01-25 20:01:53下载
    积分:1
  • 分析部门员工的情况
    1) 求各个部门的总工资 2) 求各个部门的人数和平均工资 3) 求每个部门最早进入公司的员工姓名 4) 求各个城市的员工的总工资 5) 列出工资比上司高的员工姓名及其工资 6) 列出工资比公司平均工资要高的员工姓名及其工资 7) 列出名字以J开头的员工姓名及其所属部门名称 8) 列出工资最高的头三名员工姓名及其工资 9) 将全体员工按照总收入(工资+提成)从高到低排列,要求列出姓名及其总收入 10) 如果每位员工只能和他的直接上司,直接下属,同一部门的同事交流,求任何两名员工之间若要进行信息传递所需要经过的中间节点数。
    2022-03-14 23:07:58下载
    积分:1
  • 图像文件转换为MapReduce可以读写的二进制文件代码
    Hadoop的计算框架只能处理文本文件,对于图像数据不能直接处理,本代码可以实现将图像文件转换成Mapreduce可以读取的SequenceFile,其中包括单机写入和读取,以及mapreduce读取,是进行分布式处理图像数据的第一步。
    2022-11-14 02:20:03下载
    积分:1
  • 基于hadoop的单词计数
    package org.apache.hadoop; import java.io.IOException; import java.text.DecimalFormat; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.Reducer.Context; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob; import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount {
    2022-03-24 10:24:54下载
    积分:1
  • hadoop入门程序
    hadoop入门程序,方便学习。Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase、Hive等,这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop,就必须知道HDFS和MapReduce是什么。我的程序里有入门介绍
    2022-03-12 04:55:40下载
    积分:1
  • 696522资源总数
  • 104042会员总数
  • 18今日下载