一个C# 多线程的网页异步抓取类文件代码

代码说明：

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码，这个类实现对网页URL指定内容网页的抓取，并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等，本类中还定义了大量的私有方法，从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本，包括链接文字、提取一定数量的链接，该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。 　　本代码作者：大黑。 　　本爬虫程序的速度如下： 　　10线程最快大概400个链接每分钟 　　6-8线程最快大概200-300个链接每分钟 　　2-4线程最快大概150-200个链接每分钟 　　单线程最快大概70-100个链接每分钟 　　之所以用多线程异步抓取完全是出于效率考虑，本程序多线程同步并不能带来速度的提升，只要抓取的网页不要太多重复和冗余就可以，异步并不意味着错误。