登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 205
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 异步加载图像的方法附示例
    C# 异步加载图像的方法附示例源码,异步加载技术对提升软件内容加载性能很有帮助,不但可以异步加载图片,还可以用于异步加载数据库内容,只是方法不同,本例是异步加载图片,这个也是使用比较多的一种情况,希望对C#初学者有所帮助。   运行本示例exe后,选择一张图片,则会异步加载这张图像,并显示当前图像文件加载进度,如效果图所示。
    2022-11-07 06:40:03下载
    积分:1
  • C# wpf 创建简单形状动画的例子
    C# wpf 创建简单形状动画的例子,启动动画、停止动画、暂停动画、继续动画、加速动画。创建动画   Rectangle MyRectangle = new Rectangle();   MyRectangle.Width = 50;   MyRectangle.Height = 20;   MyRectangle.Margin = new Thickness(10, 50, 0, 0);   MyRectangle.Fill = new LinearGradientBrush(    Color.FromArgb(255, 0, 255, 255), Color.FromArgb(255, 0, 0, 255), 0);   MyRectangle.HorizontalAlignment = HorizontalAlignment.Left;   this.canvas1.Children.Add(MyRectangle);   this.RegisterName("MyRectangle", MyRectangle);   DoubleAnimation MyAnimation =    new DoubleAnimation(100, 380, new Duration(TimeSpan.FromSeconds(5)));   Storyboard.SetTargetName(MyAnimation, "MyRectangle");   Storyboard.SetTargetProperty(MyAnimation,    new PropertyPath(Rectangle.WidthProperty));   MyStoryboard = new Storyboard();   MyStoryboard.Children.Add(MyAnimation);   动画效果请参见下图所示,源代码请单击下载按钮下载。
    2022-08-25 13:04:57下载
    积分:1
  • C# 浮动窗体 会跑的左右漂浮移动窗口
    C#制作的浮动窗体,动态左右漂浮移动的窗口,打开后,漂浮在其它窗口上边,由左向右漂浮移动,从截图上看不出动态漂浮移动的效果,你可以下载源码,编译运行实例即可看到,窗体漂浮移动部分的代码,如下示:   private void timer1_Tick(object sender, System.EventArgs e)   {    Point p = new Point(this.DesktopLocation.X + 1, this.DesktopLocation.Y);    this.DesktopLocation = p;    if (p.X == 550)    {    timer1.Stop();    }   }
    2023-02-27 10:00:03下载
    积分:1
  • C#检查CheckBox控件是否被选中
    C#检查CheckBox复选框控件是否被选中,或者说是判断用户是否单击了checkbox按钮,可用于用户输入界面中,本示例提供了完整的复选框判断机制,有需要的可参考以下代码:   private void checkBox1_Click(object sender, EventArgs e)   {    if (checkBox1.CheckState == CheckState.Checked)    {    MessageBox.Show("CheckBox控件被选中");    }    else    {    MessageBox.Show("CheckBox控件选择被取消");    }   }
    2022-09-15 05:45:03下载
    积分:1
  • C# 使用 tabControl创建窗体TAB效果
    C# 使用 tabControl创建窗体TAB选项卡效果,大家都熟悉的功能,这个例子比较基础,面向C#的初学者,下面是实现本功能的核心代码:   private void Form1_Load(object sender, EventArgs e)   {    tabControl1.ImageList = imageList1;    tabPage1.ImageIndex = 0;    tabPage1.Text = "选项卡1";    tabPage2.ImageIndex = 0;    tabPage2.Text = "选项卡2";   }   本TAB运行效果请参见截图,完整源码请下载。
    2022-08-22 06:09:52下载
    积分:1
  • C# 判断WPF页面是否运行在浏览器环境下
    C# 判断WPF页面是否运行在浏览器环境下,还可以使用BrowserInteropHelper.Source属性进行深入检测,具体的实现代码如下:   private void Page_Loaded(object sender, RoutedEventArgs e)   {//判断WPF页面是否运行在浏览器环境下    string MyInfo = "";    if (System.Windows.Interop.BrowserInteropHelper.IsBrowserHosted)    {//还可以使用BrowserInteropHelper.Source属性进行深入检测    MyInfo = "当前WPF页面是运行在浏览器环境下!";    }    else    {    MyInfo = "当前WPF页面不是运行在浏览器环境下!";    }    MessageBox.Show(MyInfo, "信息提示", MessageBoxButton.OK);   }
    2022-03-22 08:29:15下载
    积分:1
  • C# 获取本地打印服务器后台文件的路径
    Visual C# MyWinWPF.rar,核心代码分享如下:   private void button1_Click(object sender, RoutedEventArgs e)   {//获取本地打印服务器后台文件的路径    var MyPrintServer = new System.Printing.LocalPrintServer();    string MyInfo = "本地打印服务器后台文件的路径是:" + MyPrintServer.DefaultSpoolDirectory;    MessageBox.Show(MyInfo, "信息提示", MessageBoxButton.OK);   }
    2022-01-23 11:13:33下载
    积分:1
  • FX5U 以太网测试
    此代码是PC机以太网方式连接Fx5u通讯使用,将Mxcompent配置好后,可使用此代码联机,可以实现对PLC 的控制和信息获取,实测可以使用,每项功能都已经实测过了。请放心下载。
    2022-05-29 06:48:52下载
    积分:1
  • C# 使用ODBC非DSN连接SQL Server数据库
    C# NoDSN功能实例,使用ODBC非DSN连接SQL Server数据库,string odbcConStr =//创建数据库连接字符串    @"driver=SQL Server;server=WIN-GI7E47AND9RLS;UID=sa;PWD=;database=db_TomeTwo";   OdbcConnection odbcCon = new OdbcConnection(odbcConStr);//创建数据库连接对象   OdbcDataAdapter da =//创建数据适配器对象    new OdbcDataAdapter("select * from 帐单", odbcCon);   DataTable dt = new DataTable();//创建数据表   da.Fill(dt);//填充数据表   this.dgv_Message.DataSource =//设置数据源    dt.DefaultView;   }
    2023-03-02 09:35:03下载
    积分:1
  • Visual C# WPF 实现文字左右流动(滚动)效果
    Visual C# WPF技术实现文字内容从左向右流动、从右向左流动,其实就是文字滚动,稍加了一些特殊处理,下面来看看代码真的好简单:   private void button1_Click(object sender, RoutedEventArgs e)   {//内容从左向右流动    this.MyFlowDocument.FlowDirection = FlowDirection.LeftToRight;   }   private void button2_Click(object sender, RoutedEventArgs e)   {//内容从右向左流动    this.MyFlowDocument.FlowDirection = FlowDirection.RightToLeft;   }
    2022-02-04 14:45:10下载
    积分:1
  • 696516资源总数
  • 106658会员总数
  • 16今日下载