web爬虫工具,抓取网页
于 2022-03-19 发布
文件大小:3.59 MB
0 41
下载积分: 2
下载次数: 1
代码说明:
基于webcollector-2.12 开发,web爬虫工具,抓取网页,使用方便快捷。 WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架(内核),它提供精简的的API,只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本,支持分布式爬取。 WebCollector致力于维护一个稳定、可扩的爬虫内核,便于开发者进行灵活的二次开发。内核具有很强的扩展性,用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup,可进行精准的网页解析。2.x版本中集成了selenium,可以处理javascript生成的数据。
下载说明:请别用迅雷下载,失败请重下,重下不扣分!
发表评论