网络爬虫源码

代码说明：

网络爬虫主要有以下功能： 从一个初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 在遍历URL的过程中，即时统计相关数据。