网站首页

登录

C# 网络爬虫

于 2015-09-14 发布

 0  290

下载积分: 1 下载次数: 1

我要下载

代码说明：

测试了下：抓取单页没事，批量抓取暂时没发现在哪里。。。网络爬虫程序源码这是一款用 C# 编写的网络爬虫主要特性有：可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性：新特性介绍爬取文件用Berkeley DB存储提高性能：常用操作系统不善于处理大量小文件基于URL Ranking的优先级队列主题爬虫：机器学习算法对链接与主题相关度进行评估，并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力（CPU、内存和硬盘访问）

下载说明：请别用迅雷下载，失败请重下，重下不扣分！

发表评论

0 个回复

wpf 登陆页面示例源码用的sqlserver数据库
wpf 登陆页面示例源码用的sqlserver数据库

2014-04-18下载

积分：1
EXCEL导入、导出、存储过程运算工具例子
DataPie可以实现SQL server 2008、ORACLE与ACCESS 2007数据库的导入、导出、存储过程计算。支持EXCEL2007、EXCEL2003、ACCESS2007、CSV文件导入数据库，支持CSV文件转EXCEL文件，支持大数据量表通过多个EXCEL工作簿导出。

2013-08-05下载

积分：1
C# 查找局域网IP地址例子源码
C# 查找局域网IP地址例子源码

2015-03-03下载

积分：1
冒泡排序+输出
【实例简介】冒泡排序输出

2021-08-16 00:30:53下载

积分：1
屏幕取色取色器源码
屏幕取色取色器源码

2013-10-28下载

积分：1
SPY++ 工具下载，非源码
查看窗口句柄

2014-11-26下载

积分：1
C#上位机通过TCP通讯实现库卡（KUKA）机器人实时位置返回及运动控制.zip
本项目中的KUKA系统软件为8.3版本，PC端程序基于 .NET Framework 4.0；C#上位机通过TCP通讯与库卡机器人连接，可实时返回机器人各关节位置，返回位置可导出为.CSV文件；通过上位机控制机器人，实现各关节单步运动及当前位置到给定坐标的点运动两种形式；资源包括【KUKA端】、【PC端】及【附件】三部分。KUKA端包括config.dat、sps.sub 、motion16.src、motion16.dat、Xml_motion16.xml 五个必要文件；PC端包括C#上位机程序；附件包括《KUKA系统软件8.3》手册、《KUKA.Ethernet KRL 2.2》手册

2021-05-06下载

积分：1
AutoCAD .net 二次开发源码下载
用VS.NET2005开发ObjectARX程序调试方法1.自动启动AutoCAD：选择工程根目录(解决方案下面的)，鼠标右键-->属性-->工程属性对话框-->调试标签-->启动操作:启动外部程序-->浏览选择AutoCAD的安装目录，选择acad.exe。2.手动加载类库：(1) 按F5;(2) 自动启动AutoCAD，一路继续。(3) 在CAD命令行手动输入"netload"，浏览到自己的动态连接库文件。3.自动加载类库：(1) 工程属性对话框-->调试标签-->启动选项-->命令行参数中输入：/nologo /b "....start.scr"让CAD自动在命令执行工程目录里的start.scr文件。(2) 然后就是在工程目录的根目录创建一个文本文件，名字取为“start.scr”，并在此文件中输入如下文本：netload "....indebuglubanren_2008.dll" (3) 按F5。4.单纯的数据库交互窗体操作，使用Windows 应用程序开发模式调试会更方便些：(1) 工程属性对话框-->应用程序标签-->程序集名称：Windows 应用程序。(2) 调试标签-->启动操作:启动项目。(3) 按F5。

2013-08-30下载

积分：1
统计word和Excel的页数
大量文档打印前，统计word和Excel的页数

2015-02-08下载

积分：1
EF Code First简介及一个入门级实例
一、EF Code First简介 EntityFramework 代码优先二、EF Code First第一个简单实例 1、开发环境及数据库说明开发环境：Visual Studio 2010 Ultimate sp1 Sql Server 2008 R2 数据库：Northwind 2、实例代码结构结构说明： App：控制台应用程序 Data：数据访问 Domain：实体类 3、安装Entity Framework 　　在Visual Studio编辑器中点击Tools -> Library Package Manager -> Package Manager Console，在Package Manager Console窗口中执行下面语句，安装最新版Entity Framework。 PM> Install-Package EntityFramework 　　App层和Data层分别添加对EntityFramework的引用: 　　在App层安装EntityFramework之后，将自动添加App.config和packages.config文件。　　App.config配置Entity Framework版本信息及数据库连接信息，修改其中数据连接信息以适应本地实际环境。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 　　packages.config现实当前项目使用的package： 1 2 3 4 4、实例代码 Domain中Category.cs 1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 6 namespace Northwind.Domain.Entities 7 { 8 public class Category 9 { 10 /// 11 　　　　 /// 分类ID 12 　　　　 /// 13 public int CategoryID { get; set; } 14 15 /// 16 　　　　 /// 分类名称 17 　　　　 /// 18 public string CategoryName { get; set; } 19 } 20 } Data中NorthwindContext.cs 1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 6 using System.Data.Entity; 7 8 using Northwind.Domain.Entities; 9 10 namespace Northwind.Data 11 { 12 public class NorthwindContext : DbContext 13 { 14 public DbSet Categories { get; set; } 15 } 16 } App中Program.cs 1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 6 using Northwind.Data; 7 using Northwind.Domain.Entities; 8 9 namespace Northwind.App 10 { 11 class Program 12 { 13 static void Main(string[] args) 14 { 15 Category c = new Category() { CategoryName = "电子数码" }; 16 17 using (NorthwindContext db = new NorthwindContext()) 18 { 19 db.Categories.Add(c); 20 db.SaveChanges(); 21 } 22 23 Console.WriteLine("Finish"); 24 Console.ReadKey(); 25 } 26 } 27 } 5、运行说明　　由于在上面的数据库连接字符串中并未包含指定的数据库名称，运行成功之后，将在本地数据引擎中创建如下数据库和表：　　数据库名称：Northwind.Data.NorthwindContext 　　表名称：Categories 6、示例代码附件

2014-04-22下载

积分：1

696516资源总数
106571会员总数
2今日下载