网站首页

登录

C# 网络爬虫

于 2015-09-14 发布

 0  272

下载积分: 1 下载次数: 1

我要下载

代码说明：

测试了下：抓取单页没事，批量抓取暂时没发现在哪里。。。网络爬虫程序源码这是一款用 C# 编写的网络爬虫主要特性有：可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性：新特性介绍爬取文件用Berkeley DB存储提高性能：常用操作系统不善于处理大量小文件基于URL Ranking的优先级队列主题爬虫：机器学习算法对链接与主题相关度进行评估，并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力（CPU、内存和硬盘访问）

下载说明：请别用迅雷下载，失败请重下，重下不扣分！

发表评论

0 个回复

物联网开发信息网关（DotNetty）
JT808-Server 是基于Netty和Spring Boot框架，实现了JT/T 808部标协议的服务端程序；在网上看到Azure团队开源的DotNetty框架，一时兴起写了个基于DotNetty的Tcp Server Demo 解析了JT808的部分指令，应答部分暂时未弄完，代码写的比较随意请不要在意。部分代码参考了java版本的jt808协议解析 https://github.com/hylexus/jt-808-protocol 感慨JAVA强大的同时，还是喜欢C#强大的语法，希望.net core发展越来越好直接运行程序，端口默认9623（在Main方法里面修改），可以使用网络调试助手联调（ToolNetAssist.exe）

2019-11-08下载

积分：1
解析
解析

2013-06-11下载

积分：1
医院体检管理系统(设计文档+源码).rar
文档部分：有软件工程开发全过程，包含需求分析，概要设计，数据库设计，详细设计以及小工程表和大工程表的设计模版等等，是一个较为完备的一套设计思路。源码功能：内有数据库设计，用户注册，登陆，修改密码界面；主界面有体检登记，项目预览和预定，体检费用统计和项目录入，同时还有结果的录入；系统管理员还有对数据导入和导出的权限

2019-10-14下载

积分：1
c# 模版引擎(NVelocity)用法例子源码下载
NVelocity用法实例

2014-07-18下载

积分：1
基础学习
基础学习

2013-09-17下载

积分：1
YapukeB2B网站
YapukeB2B网站

2016-04-10下载

积分：1
局域网五子棋游戏源码下载
局域网五子棋游戏源码下载

2015-06-23下载

积分：1
C# ListView开源表格控件XPTable源码包2
C# ListView开源表格控件XPTable源码包2

2015-01-08下载

积分：1
facebook OAuth 2.0 asp.net
facebook OAuth 2.0 asp.net

2013-05-23下载

积分：1
PHP中的 dateline 转换成 c#中的 datetime 方法 UNIX时间转换
在众多的PHP MySQL的应用之中，存储在MySQL中的时间都是一串数字，后经查这个格式的日期叫做：Unix Timestamp;Unix的timestamp是一组数字，表示从1970年1月1日以来的秒数。今天在进行C#应用开发时需要对MySQL中的数据进行操作，写出以下方法供大家参考。主要应用到的类库有：System.TimeZone应用的方法：返回对应于指定协调通用时间 (UTC) 的本地时间。public virtual DateTime ToLocalTime( DateTime time);1、将系统时间转换成UNIX时间戳 DateTime dtStart = TimeZone.CurrentTimeZone.ToLocalTime(new DateTime(1970,1,1)); DateTime dtNow = DateTime.Parse(DateTime.Now.ToString()); TimeSpan toNow = dtNow.Subtract(dtStart); string timeStamp = toNow.Ticks.ToString(); timeStamp = timeStamp.Substring(0,timeStamp.Length - 7); 2、将UNIX时间戳转换成系统时 string timeStamp = "1176686120"; DateTime dtStart = TimeZone.CurrentTimeZone.ToLocalTime(new DateTime(1970,1,1)); long lTime = long.Parse(timeStamp "0000000"); TimeSpan toNow = new TimeSpan(lTime); DateTime dtResult = dtStart.Add(toNow);

2013-11-14下载

积分：1

696516资源总数
106409会员总数
8今日下载