heritrix
于 2023-04-14 发布
文件大小:25.70 MB
0 111
下载积分: 2
下载次数: 1
代码说明：
网络爬虫，用于自动捕获各种信息。Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。 Heritrix主要有三大部件：范围部件，边界部件，处理器链 范围部件：主要按照规则决定将哪个URI入队。 边界部件：跟踪哪个预定的URI将被收集，和已经被收集的URI，选择下一个 URI，剔除已经处理过的URI。 处理器链：包含若干处理器获取URI，分析结果，将它们传回给边界部件
下载说明：请别用迅雷下载，失败请重下，重下不扣分！
发表评论
