设为首页 收藏本站 开启辅助访问
 找回密码
 亲，注册吧

QQ登录

只需一步，快速开始

微信登录

微信扫一扫，快速登录

官溪人网»官溪人社区 › 老站数据整合 › 建站运营经验 › 搜索引擎抓取系统概述(含搜索引擎工作原理等）
123下一页
返回列表 发新帖
查看: 5040|回复: 68

搜索引擎抓取系统概述(含搜索引擎工作原理等）

[复制链接]
发表于 2013-12-15 02:16:37 | 显示全部楼层 |阅读模式
　　站长朋友们，今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容，并且欢迎大家来此与我讨论或分享一些自己的经验、心得等等。今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。

　　互联网信息爆发式增长，如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游，主要负责互联网信息的搜集、保存、更新环节，它像蜘蛛一样在网络间爬来爬去，因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被叫做：Baiduspdier、Googlebot、Sogou Web Spider等。

　　Spider抓取系统是搜索引擎数据来源的重要保证，如果把web理解为一个有向图，那么spider的工作过程可以认为是对这个有向图的遍历。从一些重要的种子 URL开始，通过页面上的超链接关系，不断的发现新URL并抓取，尽最大可能抓取到更多的有价值网页。对于类似百度这样的大型spider系统，因为每时 每刻都存在网页被修改、删除或出现新的超链接的可能，因此，还要对spider过去抓取过的页面保持更新，维护一个URL库和页面库。

　　1、spider抓取系统的基本框架

　　如下为spider抓取系统的基本框架图，其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。
spider的基本抓取过程流程图.jpg
spider的基本抓取过程流程图 (1).JPG
　　2、spider抓取过程中涉及的网络协议

       搜索引擎与资源提供者之间存在相互依赖的关系，其中搜索引擎需要站长为其提供资源，否则搜索引擎就无法满足用户检索需求；而站长需要通过搜索引擎将自己的 内容推广出去获取更多的受众。spider抓取系统直接涉及互联网资源提供者的利益，为了使搜素引擎与站长能够达到双赢，在抓取过程中双方必须遵守一定的 规范，以便于双方的数据处理及对接。这种过程中遵守的规范也就是日常中我们所说的一些网络协议。以下简单列举：

　　http协议：超文本传输协议，是互联网上应用最为广泛的一种网络协议，客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户，服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息，可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。

　　https协议：实际是加密版http，一种更加安全的数据传输协议。

　　UA属性：UA即user-agent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份来做出不同的反馈结果。

　　robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org 。百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标 签，index、follow、nofollow等指令。

　　3、spider抓取的基本过程

　　spider的基本抓取过程可以理解为如下的流程图：

spider抓取系统的基本框架.jpg
spider抓取系统的基本框架 (1).JPG

搜索引擎spider在抓取过程中面对着复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略。
搜索引擎, 网站运营, 工作原理, 互联网, 百度

相关帖子

该会员没有填写今日想说内容.
回复

使用道具 举报

张张

218

主题

1020

回帖

944

积分

超级版主

Rank: 15Rank: 15Rank: 15Rank: 15Rank: 15

积分
944
QQ
发表于 2014-5-21 01:11:23 | 显示全部楼层
有道理。。。
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-5-31 10:59:25 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

骑蜗牛的机器猫

0

主题

390

回帖

395

积分

中学生

Rank: 3Rank: 3

积分
395
发表于 2014-6-4 20:46:53 | 显示全部楼层
学习了，谢谢分享、、、
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-8 12:19:37 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-12 22:04:55 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-14 21:01:24 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-17 13:39:43 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

月光痕迹

40

主题

574

回帖

762

积分

中学生

Rank: 3Rank: 3

积分
762
发表于 2014-6-20 04:18:30 | 显示全部楼层
不错不错，楼主您辛苦了。。。
回复 支持 反对

使用道具 评分 举报

发表于 2014-6-22 16:08:56 | 显示全部楼层
路过，支持一下啦
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-24 22:48:25 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-6-28 02:16:54 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-2 21:30:02 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-6 21:55:13 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-8 22:07:32 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

7メ时代

0

主题

1108

回帖

1144

积分

本科生

Rank: 4

积分
1144
发表于 2014-7-10 18:25:12 | 显示全部楼层
找到好贴不容易，我顶你了，谢了
回复 支持 反对

使用道具 评分 举报

发表于 2014-7-14 10:33:09 | 显示全部楼层
不知该说些什么。。。。。。就是谢谢
回复 支持 反对

使用道具 评分 举报

sinky_8

2

主题

240

回帖

259

积分

小学生

Rank: 2

积分
259
发表于 2014-7-17 04:24:56 | 显示全部楼层
我抢、我抢、我抢沙发~
回复 支持 反对

使用道具 评分 举报

发表于 2014-7-18 18:47:54 | 显示全部楼层
真是 收益 匪浅
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-21 10:40:52 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-23 05:50:21 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

发表于 2014-7-25 16:53:25 | 显示全部楼层
没看完~~~~~~ 先顶，好同志
回复 支持 反对

使用道具 评分 举报

发表于 2014-7-28 16:25:32 | 显示全部楼层
不错不错，楼主您辛苦了。。。
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-7-31 18:20:27 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-8-3 17:27:52 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-8-7 14:51:44 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

[five]@

0

主题

1004

回帖

1050

积分

本科生

Rank: 4

积分
1050
发表于 2014-8-11 16:20:51 | 显示全部楼层
学习了，谢谢分享、、、
回复 支持 反对

使用道具 评分 举报

发表于 2014-8-14 01:31:39 | 显示全部楼层
我抢、我抢、我抢沙发~
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-8-17 03:24:03 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

0 该用户已被删除
发表于 2014-8-18 18:38:58 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 评分 举报

下一页 »
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 亲，注册吧 微信登录

本版积分规则

快速回复 返回顶部 返回列表