-
搜索引擎
爬虫模块、预处理模块和搜索模块。
搜索引擎的三个部分是相互独立的,三个部分分别工作,主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。
用户通过浏览器提交查询的词或者短语 P,搜索引擎根据用户的查询返回匹配的网页信息列表 L;
上述过程涉及到两个问题,如何匹配用户的查询以及网页信息列表从何而来,根据什么而排序?用户的查询 P 经过分词器被切割成小词组 并被剔除停用词 ( 的、了、啊等字 ),根据系统维护的一个倒排索引可以查询某个词 pi 在哪些网页中出现过,匹配那些 都出现的网页集即可作为初始结果,更进一步,返回的初始网页集通过计算与查询词的相关度从而得到网页排名,即 Page Rank,按照网页的排名顺序即可得到最终的网页列表;
假设分词器和网页排名的计算公式都是既定的,那么倒排索引以及原始网页集从何而来?原始网页集在之前的数据流程的介绍中,可以得知是由爬虫 spider 爬取网页并且保存在本地的,而倒排索引,即词组到网页的映射表是建立在正排索引的基础上的,后者是分析了网页的内容并对其内容进行分词后,得到的网页到词组的映射表,将正排索引倒置即可得到倒排索引;
网页的分析具体做什么呢?由于爬虫收集来的原始网页中包含很多信息,比如 html 表单以及一些垃圾信息比如广告,网页分析去除这些信息,并抽取其中的正文信息作为后续的基础数据。
- 2022-05-07 14:54:09下载
- 积分:1
-
程序主要实现了画图的基本程序!比较适合初学者!
程序主要实现了画图的基本程序!比较适合初学者!-Procedures for the main achievement of the basic procedures for the drawing! More suitable for beginners!
- 2022-02-25 14:01:01下载
- 积分:1
-
关机接口及其演示程序
关机接口及其演示程序-shutdown interface and Demonstration Program
- 2022-06-17 14:26:17下载
- 积分:1
-
印刷电路板仿真操作系统
模拟操作系统的PCB操作-PCB simulation operating system operation
- 2022-08-19 02:21:58下载
- 积分:1
-
ScriptDocs about Microsoft Windows Scripting technologies a good book
ScriptDocs讲述Microsoft Windows 脚本技术的一本好书-ScriptDocs about Microsoft Windows Scripting technologies a good book
- 2022-07-23 10:46:01下载
- 积分:1
-
tree (non
树(非二叉树)的建立与后序遍历-tree (non-binary tree) and the establishment after preorder
- 2022-12-17 17:30:03下载
- 积分:1
-
Wince下自动搜索SD卡的有EXE文件.
Wince下自动搜索SD卡的有EXE文件.-Wince automatically search SD card are EXE files.
- 2022-02-14 03:32:51下载
- 积分:1
-
Graphics course design. . To achieve a straight line, Biezer curves, rectangles...
图形学课程设计。。实现直线,Biezer曲线,矩形等图形绘制,并利用属性面板修改绘制图形-Graphics course design. . To achieve a straight line, Biezer curves, rectangles and other graphics rendering, and using properties panel to edit graphics rendering
- 2022-09-05 18:35:02下载
- 积分:1
-
TS流解析
TS流分析工具,TS流解析代码,TS流文档
1)在终端显示流中所有节目的信息(节目号,解码名字,音视频ID,输入一个节目号能够保存音视频数据包,能够在播放器中播放)。(PAT,SDT,PMT表的解析)
2)输入一个节目号能够显示未来几天的信息(EIT表的解析)
3)显示NIT表中的信息
4)显示CAT表的信息(主要是ECM_PID,和EMM_PID)
5)显示系统的时间,这个是我猜的其实我也不知道是系统时间(TDT表的解析)
- 2022-11-16 08:05:04下载
- 积分:1
-
计算器 加减乘除 可点击可输入 单步不能表达式
计算器 加减乘除 可点击可输入 单步不能表达式-Multiplication and division addition and subtraction calculator can click on to enter the single-step can not be an expression
- 2022-04-15 16:13:53下载
- 积分:1