登录
首页 » C# » 网络爬虫源代码

网络爬虫源代码

于 2022-03-22 发布 文件大小:780.31 kB
0 76
下载积分: 2 下载次数: 1

代码说明:

主要特性有: 可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。 有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。 健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • open
    this programme oper is very efficient
    2018-05-09 22:07:58下载
    积分:1
  • Cqiweibakema_o
    设雷达信号是码宽为0.5微妙,中心频率是10MHz的7为巴克码2PSK信号,接收的雷达回波中频采样频率为为40MHz,中频进行正交下变频。假设在13.5km处有一个点目标,仿真该雷达的脉冲压缩处理。 已通过测试。 (Let the radar signal is yards wide 0.5-subtle, the center frequency of the the Buck the code 2PSK signal, the received radar echo IF sampling frequency of 10MHz to 40MHz, IF quadrature down-conversion. Assuming the 13.5km at a point target simulation of the radar pulse compression processing. Has been tested.)
    2012-07-19 17:33:30下载
    积分:1
  • paint
    绘图板软件,实现了文件打开,矢量保存,各种线和图形的绘画,颜色的更换。(it is a paint pad,you can use it to change your color,your paint,and can save yours.)
    2012-01-01 08:18:27下载
    积分:1
  • codeblocks 中tree使用示例
    codeblocks开发平台中开发的基于frame的程序,里面示例中添加了框架菜单及树状菜单的功能,展示了各种menu类的相关功能,还有就是wxTree树状菜单的添加及事件处理函数的使用实例;简单易学。
    2022-03-31 03:09:34下载
    积分:1
  • TEMPAT89C51
    Temperature Transducer LM35
    2010-12-25 09:16:39下载
    积分:1
  • stm32-main
    说明:  STM32F107卡用于串口通讯代码,一个实用的例子(STM32F107 card is used for serial communication code, a practical example of)
    2011-03-25 21:03:15下载
    积分:1
  • bsagent
    ns2下leach源码文件分析,在leach 下的数据传输方法分析(Leach source document analysis under ns2)
    2011-05-10 19:42:29下载
    积分:1
  • INQIM2
    说明:  
    2018-02-15 15:14:28下载
    积分:1
  • openglearthsun
    opengl地球太阳模型,可以用键盘调整地球公转速度。(opengl sun Earth model, you can use the keyboard to adjust the speed of the Earth' s revolution.)
    2020-07-02 10:20:02下载
    积分:1
  • decomposition
    运行emd,得到输入信号X的固有模态函数(imf),每列代表着信号X的一阶分量,X就是我们采集的信号。 hhtdn是hht去噪的程序,可以不看,仅看emd 和 findpeaks wvtdn是wavelet去噪程序,如果只是分解信号,仅用下面的语句即可 [C,L] = wavedec(x_noise,dl,wn); x_noise就是我们采集的信号,dl是分解的阶数,wn是分解的母小波名称(% Empiricial Mode Decomposition (Hilbert-Huang Transform) % imf = emd(x) % Func : findpeaks)
    2021-04-13 22:28:55下载
    积分:1
  • 696518资源总数
  • 106215会员总数
  • 5今日下载