-
web访问记录分析
基于hadoop的web访问记录分析,主要实现：1.页面访问量统计 2.页面独立IP的访问统计 3.用户每小时PV的统计 4.用户来源域名的统计 5.用户的访问设备统计
- 2023-02-16 07:20:03下载
- 积分：1
-
爵士音乐家网络数据标签传播算法实现社团分析
在 gephi 提供的数据集上随便选一个实现标签传播算法五次. 比较五次算法结果的差别.
下载爵士音乐家网络数据：
NET file.
Jazz musicians network: List of edges of the network of Jazzmusicians.
P.Gleiser and L. Danon , Adv. Complex Syst.6, 565 (2003).
网络文件。爵士音乐家网络:爵士音乐家网络边表列表。
*Vertices （顶点） 198
*Arcs弧
*Edges边缘
- 2022-01-28 15:25:33下载
- 积分：1
-
wordcount.java
wordcount的源码,是在hadoop的环境下实现的，稍微做了点改进，这个算作是hadoop环境下的helloworld的程序，希望能给大家带来帮助
- 2023-01-31 23:45:04下载
- 积分：1
-
基于hadoop的单词计数
package org.apache.hadoop;
import java.io.IOException;
import java.text.DecimalFormat;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Reducer.Context;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
- 2022-03-24 10:24:54下载
- 积分：1
-
CRS编码
用于hadoop0.22.0的分布式纠删编码，是对原始hadoop0.22.0的改进版本，大大提高数据恢复速度，非常高效。
- 2022-09-12 03:55:03下载
- 积分：1
-
hiped2_sourcecode.zip
ont-style:normal;font-variant:normal;"突然之间， 大数据一下子就“火”了， 开源软件 Hadoop 也因此水涨船高 请点击左侧文件开始预览 ！预览只提供20%的代码片段，完整代码需下载后查看 加载中 侵权举报
- 2022-05-26 04:34:14下载
- 积分：1
-
日志合并代码
将电信实时日志 根据正则提取 然后通过mr合并，按类区分。
第一类：2016-06-02 23:44:32[02 00:27:16,496 INFO ] - [Topic2Queue.java]-[com.tydic.rtaBc.msgPrep.Topic2Queue$TopicThread]-[run]-[140] -
[消息发送完成****开始时间:1464798436495 结束时间:1464798436496 发送耗时毫秒:1 消息内容:PROD_OFFER_STRA_INST_553#|20160602002715000#|1588772703#|2#|2#|553#|52404686#~256902779#~0#~1763220#~20120829000000#~20170731000000#~48819113#~#~0#~1#~55302972867#~#~24#~1000#~553#~20120829175149#~#~20120829175102#~1#~11] 103002103002009103002009001Topic2Queue174_58_61134.64.115.174file
第二类：[0624 17:12:40 047 INFO ] com.tydic.rtaBc.msgPrep.MsgPrep - [@PH] [2016-06-24 17:12:40] [40-92815B5A8001-RTA1-29928958696021756] [P_1_MR] [1] [OFFER_PROD_INST_REL_554#|20160624170210000#|823943705#|1#|2#|554#|179490421#~286955326#~277480107#~554#~20160624170210#~20160624170210#~555913462#~A1#~286955326#~0#~#~#~#~#~70911#~12#~0#~0]
第三类：103002103002009
- 2022-02-04 07:56:15下载
- 积分：1
-
java版kmeans算法以及mapreduces实现
java实现kmenas算法，有详细的注释，以及MapReduce实现Kmeans算法。
Map每读取一条数据就与聚类中心对比，求出该条记录对应的聚类中心，然后以聚类中心ID为key，该条数据为value将数据输出
利用Reduce的归并功能将相同的key(聚类中心ID相同)归并到一起，集中与该Key对应的数据，求出这些数据的平均值，输出平均值
对比Reduce求出的平均值与原来的聚类中心，如果不相同，将清空原中心的数据文件，将Reduce的结果写到中心文件中
- 2023-03-18 03:40:04下载
- 积分：1
-
hadoop入门程序
hadoop入门程序，方便学习。Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce是什么。我的程序里有入门介绍
- 2022-03-12 04:55:40下载
- 积分：1
-
hadoopTest
1、WordCountMap类继承了org.apache.hadoop.mapreduce.Mapper，4个泛型类型分别是map函数输入key的类型，输入value的类型，输出key的类型，输出value的类型。
2、WordCountReduce类继承了org.apache.hadoop.mapreduce.Reducer，4个泛型类型含义与map类相同。
3、map的输出类型与reduce的输入类型相同，而一般情况下，map的输出类型与reduce的输出类型相同，因此，reduce的输入类型与输出类型相同。
4、hadoop根据以下代码确定输入内容的格式：
- 2022-11-11 11:35:03下载
- 积分：1
