网站首页

登录

C# 网络爬虫

于 2015-09-14 发布

 0  101

下载积分: 1 下载次数: 1

我要下载

代码说明：

测试了下：抓取单页没事，批量抓取暂时没发现在哪里。。。网络爬虫程序源码这是一款用 C# 编写的网络爬虫主要特性有：可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性：新特性介绍爬取文件用Berkeley DB存储提高性能：常用操作系统不善于处理大量小文件基于URL Ranking的优先级队列主题爬虫：机器学习算法对链接与主题相关度进行评估，并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力（CPU、内存和硬盘访问）

下载说明：请别用迅雷下载，失败请重下，重下不扣分！

发表评论

0 个回复

pci控制卡初始化程序
【实例简介】一种代码脚本的初始化程序 PCI106E初始化程序说明通过modbus寄存器reg(0)作为标志位来判断使能情况，上位机判断： modbus_reg(0) = 1，使能成功，可以进行操作。 modbus_reg(0) = 2，总线扫描失败。 modbus_reg(0) = 3，总线开启失败。 modbus_reg(0) = 4，设备扫描数为0。非使能成功时，程序每间隔1s重新执行一次。此初始化程序只进行了总线使能操作，轴的脉冲当量、速度等参数需要在上位机再进行设置。

2021-09-02 00:31:08下载

积分：1
mvc多国语言网站解决方案 MvcResourceLang
mvc多国语言网站解决方案 MvcResourceLang

2015-02-25下载

积分：1
wpf 做的天气预报工具源码支持更换城市 mvvm模式
wpf 做的天气预报工具源码支持更换城市 mvvm模式

2014-01-01下载

积分：1
测试链接并显示查询数据
using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;using System.Windows.Forms;//Download by http://down.liehuo.netusing System.Data.SqlClient;namespace Case05_12{ public partial class Form1 : Form { public Form1() { InitializeComponent(); } private void button1_Click(object sender, EventArgs e) { try { //生成连接数据库字符串 string ConStr = "data source=.;database=ljp;uid=sa;pwd=123"; //定义SqlConnection对象实例 SqlConnection con = new SqlConnection(ConStr); //定义Select查询语句 string Sql = "select*from biaoge"; SqlDataAdapter ada = new SqlDataAdapter(Sql, con); DataSet ds = new DataSet(); //定义DataSet对象实例 ada.Fill(ds); //连接数据表格，显示数据 this.dataGridView1.DataSource = ds.Tables[0].DefaultView; } catch { return; } } private void button2_Click(object sender, EventArgs e) { this.Close(); Application.Exit(); } }}

2014-10-02下载

积分：1
C#类阴历阳历农历转换，星座计算，属相计算含完整源码
C#类阴历阳历农历转换，星座计算，属相计算含完整源码

2013-12-20下载

积分：1
C# POP3类库接收邮件并读取邮件内容附完整源码
接收邮件并读取邮件的详细内容，亲测通过。

2013-07-27下载

积分：1
c语言异或实现音频的加密解密
采用异或实现加解密

2019-07-24下载

积分：1
C#全局钩子函数例子源码下载
C#全局钩子函数例子源码下载

2015-04-25下载

积分：1
C# Winform 实现对sql server 的增删改查刷新等功能
C# Winform 实现对sql server 的增删改查刷新等功能

2018-12-09下载

积分：1
用webbrowser 签入网页做winform程序源码(网页可调用硬件信息)
用webbrowser 签入网页做winform程序源码(网页可调用硬件信息)

2014-06-11下载

积分：1

696522资源总数
104029会员总数
31今日下载