登录
首页 » C#源码 » Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟

Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟

于 2022-05-18 发布 文件大小:56.31 kB
0 123
下载积分: 2 下载次数: 1

代码说明:

Visual C# 多线程异步抓取网页 网络爬虫控制台程序模拟,程序中定义了一个网页类爬虫程序,通过此程序可获得本网页的网址、网页标题、网页的所有链接信息,只读方式,并且返回网页的全部纯文本信息,获得本网页的大小,从HTML代码中分析出链接信息,从一段HTML文本中提取出一定字数的纯文本,提取网页中一定字数的纯文本,包括链接文字,从本网页的链接中提取一定数量的链接,该链接的URL满足某正则式,从本网页的链接中提取一定数量的链接,该链接的文字满足某正则式等等。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 修复Access数据库的一个范例程序
    C# 修复Access数据库的一个范例程序,不过不知道到底能不能修复吧,这个修复过程的编写,可参考以下代码:   //声明临时数据库的名称   string temp = DateTime.Now.Year.ToString();   temp += DateTime.Now.Month.ToString();   temp += DateTime.Now.Day.ToString();   temp += DateTime.Now.Hour.ToString();   temp += DateTime.Now.Minute.ToString();   temp += DateTime.Now.Second.ToString() + ".bak";   temp = strPathMdb.Substring(0, strPathMdb.LastIndexOf("") + 1) + temp;   //定义临时数据库的连接字符串   string temp2 = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + temp;   //定义目标数据库的连接字符串   string strPathMdb2 = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + strPathMdb;   JRO.JetEngineClass jt = new JRO.JetEngineClass();//创建一个JetEngineClass对象   //使用JetEngineClass对象的CompactDatabase方法压缩修复数据库   jt.CompactDatabase(strPathMdb2, temp2);      File.Copy(temp, strPathMdb, true);//拷贝临时数据库到目标数据库(覆盖)   File.Delete(temp);//删除临时数据库   MessageBox.Show("修复完成");   这个程序中使用了三个类库:Interop.ADODB.dll、Interop.ADOX.dll、Interop.JRO.dll。
    2022-01-26 03:31:51下载
    积分:1
  • C# 设置IE地址栏的自动完成功能
    C# 设置IE地址栏的自动完成功能,就是用户输入的时候,会下拉提示出相关的内容,可提升用户体验,现在使用已经很广泛了,本例子中的这一自动完成功能,代码如下:   private void button1_Click(object sender, EventArgs e)   {    //创建或者打开指定的注册表项    RegistryKey rgK =Registry.CurrentUser.CreateSubKey(@"SoftwareMicrosoftWindowsCurrentVersionExplorerAutoComplete");    rgK.SetValue("AutoSuggest", "yes", RegistryValueKind.String);//设置IE地址栏的自动完成功能    MessageBox.Show("设置成功!");   }   private void button2_Click(object sender, EventArgs e)   {    //创建或者打开指定的注册表项    RegistryKey rgK =Registry.CurrentUser.CreateSubKey(@"SoftwareMicrosoftWindowsCurrentVersionExplorerAutoComplete");    rgK.SetValue("AutoSuggest", "no", RegistryValueKind.String);//取消IE地址栏的自动完成功能    MessageBox.Show("取消成功!");   }
    2022-12-03 17:35:03下载
    积分:1
  • C# 3DTools.dll WPF 3D建模、透视、动画效果演示实例
    这是一个使用C# 3DTools.dll WPF技术实现的 3D建模、透视、动画效果演示实例,本源码包括了以下演示范围:使用ScreenSpaceLines3D绘制的3D坐标系、3D立方体、球、不同光源的折射、不同材质的视觉效果、2D房子、3D房子,用MatrixCamera模拟透视相机等功能,关于透视的若干参数设置和实现原理,请参考PerspectiveByMatrixCamera.xaml.cs,在此文件中包括了正射投影的若干参数, 计算M坐标系下的三个轴单位向量 Mx,My,Mz,计算平移矩阵的dx,dy,dz,计算正射投影矩阵的Sx,Sy,Sz,dz等。   创建相机和光源、坐标系请参考Sphere.xaml.cs文件,如果line3D非空,则需要绘制构建的三角网,计算出来的点,然后加入到MeshGeometry3D的Positions属性。
    2023-08-07 10:10:03下载
    积分:1
  • LIVE555协议
    环境为VS2010+Win7,文件里包含编译好的live555、提取的4个lib、myLive555Header和编译截图,具体过程可以参考博文:http://www.cnblogs.com/skyseraph/
    2022-05-22 12:22:07下载
    积分:1
  • C# 使用Graphics对象在程序运行时创建位图
    C# 在程序运行时创建位图,本源码实例主要是学习使用使用Graphics对象创建简单图像的例子,本程序将生成一条曲线图像,参照如下代码:   {//在程序运行时创建位图   int MyWidth=this.pictureBox1.Width;   int MyHeight=this.pictureBox1.Height;   Bitmap MyBitmap = new Bitmap(MyWidth,MyHeight);   Graphics MyGraphics = Graphics.FromImage(MyBitmap);   Pen MyPen = new Pen(Color.Black, 3);   Point[] MyPoints = { new Point(50, 100), new Point(100, 10), new Point(150, 290), new Point(200, 100), new Point(250, 10), new Point(300, 290), new Point(350, 100) };   MyGraphics.Clear(Color.White);   MyGraphics.DrawBeziers(MyPen, MyPoints);   pictureBox1.Image = MyBitmap;
    2022-03-25 22:38:21下载
    积分:1
  • 一个C# 多线程的网页异步抓取类文件代
    一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
    2023-05-03 15:55:03下载
    积分:1
  • C# 禁止鼠标左键单击的实现
    C# 禁止鼠标左键单击,附上例子源码,禁止后将不响应鼠标左键消息,当然也可恢复鼠标左键,直接关闭本程序即可恢复,实现方法也很简单,看如下代码:   private void button1_Click(object sender, EventArgs e)   {//禁止鼠标左键单击    Application.AddMessageFilter(this);    MessageBox.Show("鼠标左键已经被禁止,请用Tab键执行操作!", "信息提示", MessageBoxButtons.OK, MessageBoxIcon.Information);   }   private void button2_Click(object sender, EventArgs e)   {//允许鼠标左键单击    Application.RemoveMessageFilter(this);    MessageBox.Show("鼠标左键已经被解禁,可以执行操作!", "信息提示", MessageBoxButtons.OK, MessageBoxIcon.Information);   }   public bool PreFilterMessage(ref System.Windows.Forms.Message MySystemMessage)   {//不响应鼠标左键消息    if (MySystemMessage.Msg >= 513 && MySystemMessage.Msg
    2022-03-09 09:45:43下载
    积分:1
  • 几个C# 窗口标题栏 按钮 任务栏自定义实例
    本源码主要是收集的几个C# 窗口标题栏 按钮 任务栏自定义实例,比如隐藏和显示标题栏、允许和禁止在窗口任务栏显示程序图标等,帮助C#初学者了解一些基础的C#窗口操作知识,有很好的学习参考价值。   private void button1_Click(object sender, RoutedEventArgs e)   {//隐藏标题栏    this.WindowStyle = System.Windows.WindowStyle.None;   }   private void button2_Click(object sender, RoutedEventArgs e)   {//显示标题栏    this.WindowStyle = System.Windows.WindowStyle.SingleBorderWindow;   }   private void button3_Click(object sender, RoutedEventArgs e)   {//禁止在任务栏上显示程序按钮    this.ShowInTaskbar = false;   }   private void button4_Click(object sender, RoutedEventArgs e)   {//允许在任务栏上显示程序按钮    this.ShowInTaskbar = true;   }   如下图所示,点击对应的按钮,可演示对应的功能。
    2023-03-24 21:30:03下载
    积分:1
  • MFC股票软件
    MFC股票软件源码,用来分析股票数据。
    2022-07-06 19:06:18下载
    积分:1
  • 通过C#的程序实现分离数据库功能
    C#分离数据库功能,这个功能相信对于熟悉SQLSERVER的程序开发者不陌生了,本示例演示C#编写程序,实现数据库分离功能。C#分离数据库将执行以下代码:   try   {    SqlCommand cmd = new SqlCommand();//创建数据库命令对象    con.Open();//打开数据库连接    cmd.Connection = con;//设置连接属性    cmd.CommandText =//设置要执行的SQL语句    "sp_detach_db @dbname= + this.comboBox1.Text+";    cmd.ExecuteNonQuery();//执行SQL语句    MessageBox.Show("分离成功");//弹出消息对话框   }   catch(Exception ey)   {    MessageBox.Show(ey.Message);//抛出异常信息,弹出消息对话框   }
    2022-04-06 22:36:25下载
    积分:1
  • 696518资源总数
  • 105549会员总数
  • 12今日下载