登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 204
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • TMS320C6748各个接口外设所有标准程序 (亲测好使)
    TMS320C6748各个接口外设所有标准源码程序  (亲测好使)
    2022-07-16 14:39:18下载
    积分:1
  • lua
    lua源码  可编译 安装 使用库 内有说明文档readme.html  lua是广泛使用的脚本语言,用途广泛
    2023-03-10 12:30:04下载
    积分:1
  • C#邮件收发程序 发Email和接收邮件
    C#实现的一个邮件收发程序,功能主要是两大块,发送邮件和接收邮件,类似于一个邮件客户端的功能,在这个邮件发送程序中,写了几个函数分别实现相关的模块功能:   对获得连接的用户身份进行验证   获取登录邮箱的各种信息   判断返回的字符串信息,如果是“+OK”,证明登录成功,否则登录失败   根据输入的邮件编号读取邮件信息   获取由参数标识的邮件的全部文本   对读取的邮件内容进行Base64编码   “登录”按钮事件,实例化SmtpClient邮件发送类对象   初始化StreamReader对象,以便以流的形式读取远程主机中的内容   获取远程主机中指定用户的邮件信息   获得远程主机上指定邮件的相关信息,存储到一个string类型的数组中,数组中的内容包括:邮件日期、发信人、收信人、邮件主题、邮件内容等。
    2022-04-23 02:56:49下载
    积分:1
  • C# 向SQL Server数据库中批量写入超多数据
    Visual C# 向SQL Server数据库中批量写入海量数据,这个虽然不是“大数据”,但这个海量数据也是很考验SQL的负载能力和代码的执行效率。那么C#如何实现效率高、速度快的数据写入呢,这个例子是来自C#开发实战1200例(第Ⅱ卷)中的代码改良,请下载源码后查看,里面有注释。
    2022-04-17 17:11:12下载
    积分:1
  • C# 2015 在按钮中调用出下拉菜单的
    C# 2015 在按钮中调用出下拉菜单的源码,在按钮中显示一个下拉菜单的小三角,用户单击这个小三角即可显示出下拉菜单,这种用法之前也有不少,但有些新手不知道如何实现,希望通过这个简单的例子源码,你会学习到一些相关的知识技巧,制作出按钮下拉菜单的风格来。
    2023-02-15 19:40:04下载
    积分:1
  • C# wpf 创建简单形状动画的例子
    C# wpf 创建简单形状动画的例子,启动动画、停止动画、暂停动画、继续动画、加速动画。创建动画   Rectangle MyRectangle = new Rectangle();   MyRectangle.Width = 50;   MyRectangle.Height = 20;   MyRectangle.Margin = new Thickness(10, 50, 0, 0);   MyRectangle.Fill = new LinearGradientBrush(    Color.FromArgb(255, 0, 255, 255), Color.FromArgb(255, 0, 0, 255), 0);   MyRectangle.HorizontalAlignment = HorizontalAlignment.Left;   this.canvas1.Children.Add(MyRectangle);   this.RegisterName("MyRectangle", MyRectangle);   DoubleAnimation MyAnimation =    new DoubleAnimation(100, 380, new Duration(TimeSpan.FromSeconds(5)));   Storyboard.SetTargetName(MyAnimation, "MyRectangle");   Storyboard.SetTargetProperty(MyAnimation,    new PropertyPath(Rectangle.WidthProperty));   MyStoryboard = new Storyboard();   MyStoryboard.Children.Add(MyAnimation);   动画效果请参见下图所示,源代码请单击下载按钮下载。
    2022-08-25 13:04:57下载
    积分:1
  • C# 只运行一个实例的C#登陆且跳转程序
    C# 只运行一个实例的C#登陆且跳转程序_首先 设置 连接到配置文件组建 App.config,当然 这里的 ConfigurationManager 系统是默认不使用其命名空间的 因此需要解析。连接SQLSERVER数据库后判断数据库密码等。本登录窗口防止多开,只能运行一个实例,多运行会被弹窗提示。
    2022-12-05 17:35:03下载
    积分:1
  • 传世
    传世源码传世源码传世源码传世源码传世源码传世源码传世源码
    2022-03-03 05:08:19下载
    积分:1
  • vb串口调试助手,可用于自己做调试测试工具
    1.用易懂的VB语言编程   2.可设置串口号波特率   3.支持十六进或字符形式发送或接收,可定时发送。3,可自己换程序的图片
    2022-07-13 02:02:52下载
    积分:1
  • C#演示用Brush填充Rectangle图形
    C#画矩形,然后使用Brush填充Rectangle图形,单击按钮后会生成一个填充过的图形,需要创建Graphics对象,创建一个Brush对象,再使用Rectangle绘制一个矩形,然后使用Brush填充,实现这一过程,核心代码如下:   private void button1_Click(object sender, EventArgs e)   {    Graphics ghs = this.CreateGraphics();//创建Graphics对象    Brush mybs = new SolidBrush(Color.Red);//使用SolidBrush类创建一个Brush对象    Rectangle rt = new Rectangle(10, 10, 100, 100);//绘制一个矩形    ghs.FillRectangle(mybs, rt);//用Brush填充Rectangle   }
    2022-07-06 17:10:54下载
    积分:1
  • 696516资源总数
  • 106658会员总数
  • 16今日下载