登录
首页 » python » 多线程爬取文档网

多线程爬取文档网

于 2023-05-31 发布 文件大小:1.37 kB
0 164
下载积分: 2 下载次数: 1

代码说明:

使用python线程池多线程爬取文档网中的文档,目前为指定关键词,采取深度优先策略爬取文档链接、按业下载文档,递归下载每一页,内存消耗较大。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • wxPython-in-action-zh
    wxPython in Action(中文) 第1部分 wxPython入门 第2部分 基本的wxPython 第3部分 高级wxPython(WxPython in Action (in Chinese) Part 1 wxPython primer Part 2 basic wxPython Part 3 senior wxPython)
    2015-10-20 23:06:53下载
    积分:1
  • PCA
    说明:  一个用python实现的PCA算法,并且给了简易素材(A PCA algorithm implemented in python, and gave a simple material)
    2020-08-23 14:38:17下载
    积分:1
  • 基于KNN的验证码识别
    说明:  用KNN算法实现了一个识别4位验证码的系统(A 4-bit Verification Code Recognition System Using KNN Algorithms)
    2020-06-25 13:40:02下载
    积分:1
  • test1
    训练一个深度学习的循环神经网络,可实现获取公开数据集并进行训练,框架为Pytorch(Training a deep learning circular neural network can achieve the acquisition and training of open data sets, and the framework is Pytorch)
    2019-05-28 23:05:09下载
    积分:1
  • code
    利用python编写室内定位机器学习,计算结果,室内定位(Indoor Localization by wifi)
    2021-04-23 16:48:47下载
    积分:1
  • fourier2020.11.30
    说明:  测井曲线的傅立叶变换,import pandas as pd import matplotlib.pyplot as plt import myfuntion as mf import pylab as py from matplotlib.font_manager import FontProperties(import pandas as pd import matplotlib.pyplot as plt import myfuntion as mf import pylab as py from matplotlib.font_manager import FontProperties)
    2020-12-14 17:12:49下载
    积分:1
  • server 1.4
    开启本地HTTP服务,并可以自定义端口,任意文件下载(Open the local HTTP service, and you can customize the port and download any file.)
    2020-06-24 18:20:01下载
    积分:1
  • python实现A*和双向A*(启发式搜索)
    1. 实验目的 1) 掌握搜索算法的基本设计思想与方法,  2) 掌握A*算法的设计思想与方法,  3) 熟练使用高级编程语言实现搜索算法,  4) 利用实验测试给出的搜索算法的正确性。   1. 实验问题  寻路问题。以图1为例,输入一个方格表示的地图,要求用A*算法找到并输出从起点(在方格中标示字母S)到终点(在方格中标示字母T)的代价最小的路径。有如下条件及要求:   1) 每一步都落在方格中,而不是横竖线的交叉点。 2) 灰色格子表示障碍,无法通行。 3) 在每个格子处,若无障碍,下一步可以达到八个相邻的格子,并且只可以到达无障碍的相邻格子。其中,向上、下、左、右四个方向移动的代价为1,向四个斜角方向移动的代价为 √2。 4) 在一些特殊格子上行走要花费额外的地形代价。比如,黄色格子代表沙 漠,经过它的代价为4;蓝色格子代表溪流,经过它的代价为2;白色格子为普通地形,经过它的代价为0。 5) 经过一条路径总的代价为移动代价 地形代价。其中移动代价是路径上所做的所有移动的代价的总和;地形代价为路径上除起点外所有格子的地形代价的总和。
    2021-05-06下载
    积分:1
  • snake
    说明:  将物体用一堆点框出来,实际先初始化一堆点,然后迭代靠近物体边缘最终框出物体。(The object is framed with a pile of points. In fact, first initialize a pile of points, then iterate close to the edge of the object, and finally frame the object.)
    2021-02-27 22:31:23下载
    积分:1
  • verify
    采用PIL 和pytesser进行简单的验证码识别 程序包中已经包含了pytesser,但是需要自己安装PIL 使用样例 getverify1( v1.jpg ) 返回值为识别出的字符(To PIL and pytesser simple identification code validation package already contains pytesser, but need to install PIL using the sample getverify1 (' v1.jpg' ) return value identifies the character)
    2013-02-13 00:19:30下载
    积分:1
  • 696518资源总数
  • 105665会员总数
  • 6今日下载