登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 191
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 房屋中介系统文档+
    C# 房屋中介系统文档+源代码,这是一本书中的范例,来自明日科技,这个房屋中介系统可以很容易扩展成一个功能强大的中介系统,而不局限于房屋的中介。系统功能:用户信息管理、求租管理、员工信息、出租管理、交费管理、业务统计、常用工具、系统管理等。这套房屋中介系统的界面也是挺不错的,有点专业范,左侧有树状菜单等。
    2023-06-28 09:40:03下载
    积分:1
  • C# 通用权限管理框架 ERP OA 快速开发框架
    1、菜单导航管理2、操作按钮3、角色管理4、部门管理5、用户管理(用户权限)6、用户组管理(设置成员,用户组权限)7、系统配置(动态配置系统参数)8、附加属性(自定义属性)9、系统日志(异常记录)10、数据库备份/还原11、资源管理,(动态数据库)12、个人信息(基本信息,附加信息,用户角色,拥有权限)13、首页快捷14、数据回收站(业务功能删除过数据,全部保留在回收站)15、系统个性化设置(切换菜单导航)
    2022-03-11 07:50:58下载
    积分:1
  • C# 将图像控件的定义导出为XAML文件
    C# 将图像控件的定义导出为XAML文件,支持的图像文件:图像文件(JPeg,Gif,Bmp,etc,tiff,png)等。   string MyXAML= System.Windows.Markup.XamlWriter.Save(this.image1);   if (System.IO.File.Exists("MyXaml.xaml"))    System.IO.File.Delete("MyXaml.xaml");   System.IO.File.AppendAllText("MyXaml.xaml", MyXAML);   MessageBox.Show(MyXAML, "MyXaml.xaml文件的内容", MessageBoxButton.OK);
    2022-04-14 09:51:54下载
    积分:1
  • C# 为WPF应用程序设置渐变的背景颜色的实例
    C# 为WPF应用程序设置渐变的背景颜色的源码实例,窗口打开后,单击按钮,即可把窗口的背景色设置成渐变色,来看如下代码:private void button1_Click(object sender, RoutedEventArgs e)   {//为WPF应用程序设置渐变的背景颜色(文件名称:Window1.xaml.cs)    this.Background = (Brush)TryFindResource("MyGradientBackground");   }
    2023-05-10 22:40:03下载
    积分:1
  • C# 文件上载/下载器程序示例
    一个挺基础的Visual C# 文件上载/下载器程序源码示例,从指定网址下载文件到本机。下载文件使用client.DownloadFile(),上传文件使用client.UploadFile(),使用指定的方法将指定的本地文件上载到指定的资源。程序要用到一个三方控件:File Downloader and Uploader.dll,请放于Debug目录下,与exe同级,运行时供调用。
    2022-02-28 16:20:26下载
    积分:1
  • Visual C# 交叉表查询
    这是一个Visual C# 交动态交叉表查询示例程序,动态交叉表(SQLServer 2005)查询例子源码:   private void Frm_Main_Load(object sender, EventArgs e)   {    SqlConnection con = new SqlConnection(//创建数据库连接对象    @"Server=WIN-GI7E47AND9RLS;database=db_TomeTwo;Uid=sa;Pwd=");    SqlDataAdapter dap = new SqlDataAdapter(//创建数据适配器对象    "select * from tb_VenditionInfo", con);    DataSet ds = new DataSet();//创建数据集    dap.Fill(ds, "table");//填充数据集    dgv_Message.DataSource =//设置数据源    ds.Tables[0].DefaultView;   }      private void btn_Select_Click(object sender, EventArgs e)   {    SqlConnection con = new SqlConnection(//创建数据库连接对象    @"Server=WIN-GI7E47AND9RLS;database=db_TomeTwo;Uid=sa;Pwd=");    SqlDataAdapter dap = new SqlDataAdapter("Corss", con);//创建数据适配器    dap.SelectCommand.CommandType =//设置命令为存储过程    CommandType.StoredProcedure;    DataSet ds = new DataSet();//创建数据集    dap.Fill(ds, "table");//填充数据集    dgv_Message.DataSource =//设置数据源    ds.Tables[0].D
    2022-12-26 00:25:03下载
    积分:1
  • CS快速开发框架
    花了真金白银买的www.csframework.com、www.cscode.net CS框架网的快速开发框架源码!绝对是高质量的代码!不是市面上一些垃圾代码!功能太强大了,三言两语说不清楚,具体可以看网站介绍。
    2022-07-18 13:08:30下载
    积分:1
  • C# 异步加载图像的方法附示例
    C# 异步加载图像的方法附示例源码,异步加载技术对提升软件内容加载性能很有帮助,不但可以异步加载图片,还可以用于异步加载数据库内容,只是方法不同,本例是异步加载图片,这个也是使用比较多的一种情况,希望对C#初学者有所帮助。   运行本示例exe后,选择一张图片,则会异步加载这张图像,并显示当前图像文件加载进度,如效果图所示。
    2022-11-07 06:40:03下载
    积分:1
  • C#打造自己的智能屏幕取色工具
    C#打造自己的智能屏幕取色工具,自动鼠标坐标点的颜色值,取色窗口会自动躲闪鼠标的位置,取色模块从一个继承自Image类的对象中创建Graphics对象,颜色值可以转换为十进制和十六进制,部分初始化源码如下:   [DllImport("gdi32")]   private static extern IntPtr CreateDC(   string lpszDriver, // 驱动名称   string lpszDevice, // 设备名称   string lpszOutput, // 无用,可以设定位"NULL"   IntPtr lpInitData // 任意的打印机数据   );   [DllImport("gdi32.dll")]   private static extern bool BitBlt(   IntPtr hdcDest, // 目标设备的句柄   int nXDest, // 目标对象的左上角的X坐标   int nYDest, // 目标对象的左上角的X坐标   int nWidth, // 目标对象的矩形的宽度   int nHeight, // 目标对象的矩形的长度   IntPtr hdcSrc, // 源设备的句柄   int nXSrc, // 源对象的左上角的X坐标   int nYSrc, // 源对象的左上角的X坐标   int dwRop // 光栅的操作值
    2022-02-26 10:33:42下载
    积分:1
  • C# 使用Graphics对象在程序运行时创建位图
    C# 在程序运行时创建位图,本源码实例主要是学习使用使用Graphics对象创建简单图像的例子,本程序将生成一条曲线图像,参照如下代码:   {//在程序运行时创建位图   int MyWidth=this.pictureBox1.Width;   int MyHeight=this.pictureBox1.Height;   Bitmap MyBitmap = new Bitmap(MyWidth,MyHeight);   Graphics MyGraphics = Graphics.FromImage(MyBitmap);   Pen MyPen = new Pen(Color.Black, 3);   Point[] MyPoints = { new Point(50, 100), new Point(100, 10), new Point(150, 290), new Point(200, 100), new Point(250, 10), new Point(300, 290), new Point(350, 100) };   MyGraphics.Clear(Color.White);   MyGraphics.DrawBeziers(MyPen, MyPoints);   pictureBox1.Image = MyBitmap;
    2022-03-25 22:38:21下载
    积分:1
  • 696516资源总数
  • 106409会员总数
  • 8今日下载