登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 160
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • Visual C# 定制个性化的winForm窗体
    Visual C# 定制个性化的winForm窗体,自定义窗体的按钮和标题栏,最终运行效果如示例截图所示,看一看窗体的标题 栏完全和默认的风格不一样了,更接近于Windows8的扁平化风格了,呵呵,或许只是我的个人感觉。右侧是一个大按钮,总之这个窗口中的元素都是自定义的,不是默认的,对于以后自定义个性化的窗口分享一些技巧。
    2022-04-10 03:00:12下载
    积分:1
  • C# 注册表浏览器-仿Windows
    C# 注册表浏览器源码,代码中一些注册表的操作很有实用价值,比如判断node代表的注册键属于哪一个根键,去掉前头的“我的电脑”,如果不是根键,找出路径,取得注册键对象,取得节点所代表的键,取得某一键值所有子键的名称,把所有子键名加入TreeView中,编译运行后,还真挺像windows自身的注册表编辑器,通过这个程序,你可以浏览系统注册表中的各个节点、键值等信息。
    2022-03-13 01:12:07下载
    积分:1
  • C#综合查询数据库的例子
    C#演示如何综合查询数据库,根据条件查询数据库中存储的职工信息,同时对用户的输入进行判断,比如 验证输入为Email,验证输入为数字、 验证输入为电话号码等。   在综合查询职工信息中,将组合SQL字符串,然后进行数据库查询。
    2022-03-19 07:30:03下载
    积分:1
  • C#合成图片 组合文字及图像的实例
    C# 将多个文字图形图像组合成复合图形,一个组合文字及图像的实例。基于WPF技术实现,可作为一个C#学习WPF图像处理的简单范例。C# 将多个文字图形图像组合成复合图形:   DrawingGroup MyGroup = new DrawingGroup();   RadialGradientBrush MyRadialGradientBrush = new RadialGradientBrush();   MyRadialGradientBrush.Freeze();   FontStyle MyStyle = FontStyles.Normal;   FontWeight MyWeight = FontWeights.Medium;   MyWeight = FontWeights.Bold;   MyStyle = FontStyles.Italic;   string MyText = "Visual C++ 2017源码素材网实例精粹罗斌编著";   var MyFont = new FontFamily("宋体");   FormattedText MyFormattedText = new FormattedText(MyText,    System.Globalization.CultureInfo.GetCultureInfo(86),    FlowDirection.RightToLeft,    new Typeface(MyFont, MyStyle, MyWeight, FontStretches.Normal),    FontSize, MyRadialGradientBrush);   Pen MyPen = new Pen(Brushes.Black, 2);   MyPen.Freeze();   ……   更多源代码敬请下载本源码。运行截图如下图所示。
    2022-06-30 08:36:55下载
    积分:1
  • C# LINQ 销售单查询实例
    C# 使用LINQ进行销售单查询实例,可关联销售单列表和销售商品列表 ,包括了销售单号 = b.SaleBillCode, 销售日期 = b.SaleDate,销售员 = b.SaleMan, 商品名称 = p.ProductName,数量 = p.Quantity,单价 = p.Price,金额,代码中同时自定义了销售单据类和销售商品类,用以完成对应功能,在代码编写时定义了LINQJoin类,这些方法和函数都在LINQJoin类中。
    2022-05-23 08:43:26下载
    积分:1
  • C# 使用Graphics对象在程序运行时创建位图
    C# 在程序运行时创建位图,本源码实例主要是学习使用使用Graphics对象创建简单图像的例子,本程序将生成一条曲线图像,参照如下代码:   {//在程序运行时创建位图   int MyWidth=this.pictureBox1.Width;   int MyHeight=this.pictureBox1.Height;   Bitmap MyBitmap = new Bitmap(MyWidth,MyHeight);   Graphics MyGraphics = Graphics.FromImage(MyBitmap);   Pen MyPen = new Pen(Color.Black, 3);   Point[] MyPoints = { new Point(50, 100), new Point(100, 10), new Point(150, 290), new Point(200, 100), new Point(250, 10), new Point(300, 290), new Point(350, 100) };   MyGraphics.Clear(Color.White);   MyGraphics.DrawBeziers(MyPen, MyPoints);   pictureBox1.Image = MyBitmap;
    2022-03-25 22:38:21下载
    积分:1
  • C++版连连看代VS2008
    一个C++用VB2008编写的游戏程序,测试通过,非常适合初学者,还有成系列的学习视频。值得学习,值得学习。
    2022-08-19 02:11:43下载
    积分:1
  • 将DataGridView中内容导出到Word
    Visual C# 2012 将数据生成Word表格文件,将DataGridView中内容导出到Word,这个程序的实现需要使用到几个Office编程库:Interop.Office.dll、Interop.VBIDE.dll、Interop.Word.dll。   实现步骤:实例化SqlConnection连接对象,创建数据库连接,SqlDataAdapter对象,填充DataSet对象,为DataGridView控件设置数据源。然后实例化Word文档对象,声明Word选区,建立Word对象,将数据生成Word表格文件,设置列宽,使用for循环输出列标题数据,最后输出控件中的记录。
    2022-07-08 20:36:37下载
    积分:1
  • C#读取文件内容显示在DataGridView表格中
    Visual C#在DataGridView单元格中显示文本文件的内容,可以理解为,从外部读取文件内容,将其显示在DataGridView   单元格中,可以看出,本代码中使用了DataTable对象、OleDb.OleDbDataAdapter对象,外部文件的格式暂定为txt,其它格式需要相关解析组件支持,实现本功能并不难,以下几行代码就可大致实现:   string MyPath = System.IO.Directory.GetCurrentDirectory();   string MyConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source="+MyPath+";Extended Properties="text;HDR=yes;FMT=delimited";";   string MySQL = "select * from 季度订单.txt";   DataTable MyTable = new DataTable();   System.Data.OleDb.OleDbDataAdapter MyAdapter = new System.Data.OleDb.OleDbDataAdapter(MySQL, MyConnectionString);   MyAdapter.Fill(MyTable);   this.dataGridView1.DataSource = MyTable;   运行界面效果请参见下图,完整源码请在本页下载。
    2022-03-20 07:42:37下载
    积分:1
  • STM32F1的SPWM逆变器
    #include "SPWM.h" #include "led.h" #include "usart.h" u16 TimerPeriod = 7200; u16 DutyFactor = 50; void TIM_Int_Init(void) {  GPIO_InitTypeDef GPIO_InitStructure;       TIM_TimeBaseInitTypeDef  TIM_TimeBaseStructure;  NVIC_InitTypeDef NVIC_InitStructure; RCC_APB2PeriphClockCmd(RCC_APB2Periph_GPIOA | RCC_APB2Periph_GPIOB, ENABLE);              RCC_APB1PeriphClockCmd(RCC_APB1Periph_TIM4 | RCC_APB1Periph_TIM3,ENABLE);            //时钟使能              /* GPIOA配置:通道PA.6和PA.7作为输出引脚*/          GPIO_InitStructure.GPIO_Pin = GPIO_Pin_6 | GPIO_Pin_7;          GPIO_InitStructure.GPIO_Mode = GPIO_Mode_AF_PP;     &nbs
    2022-07-26 17:50:34下载
    积分:1
  • 696518资源总数
  • 105873会员总数
  • 12今日下载