百度官方说明 搜索引擎抓取系统概述(含搜索引擎工作原理等)

[复制链接]
ARCHY明星会员实名认证 发表于 2013-8-15 09:39:12 [百度官方说明] 显示全部楼层 |阅读模式 上一主题 下一主题
discuz使用视频教程

马上注册,一起探讨正确快速的建站方法

您需要 登录 才可以下载或查看,没有帐号?快速注册

x
  站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,并且欢迎大家来此与我讨论或分享一些自己的经验、心得等等。今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。

  互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被叫做:Baiduspdier、Googlebot、Sogou Web Spider等。

  Spider抓取系统是搜索引擎数据来源的重要保证,如果把web理解为一个有向图,那么spider的工作过程可以认为是对这个有向图的遍历。从一些重要的种子 URL开始,通过页面上的超链接关系,不断的发现新URL并抓取,尽最大可能抓取到更多的有价值网页。对于类似百度这样的大型spider系统,因为每时 每刻都存在网页被修改、删除或出现新的超链接的可能,因此,还要对spider过去抓取过的页面保持更新,维护一个URL库和页面库。

  1、spider抓取系统的基本框架

  如下为spider抓取系统的基本框架图,其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

spider的基本抓取过程流程图

spider的基本抓取过程流程图

spider的基本抓取过程流程图

spider的基本抓取过程流程图

  2、spider抓取过程中涉及的网络协议

       搜索引擎与资源提供者之间存在相互依赖的关系,其中搜索引擎需要站长为其提供资源,否则搜索引擎就无法满足用户检索需求;而站长需要通过搜索引擎将自己的 内容推广出去获取更多的受众。spider抓取系统直接涉及互联网资源提供者的利益,为了使搜素引擎与站长能够达到双赢,在抓取过程中双方必须遵守一定的 规范,以便于双方的数据处理及对接。这种过程中遵守的规范也就是日常中我们所说的一些网络协议。以下简单列举:

  http协议:超文本传输协议,是互联网上应用最为广泛的一种网络协议,客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户,服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息,可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。

  https协议:实际是加密版http,一种更加安全的数据传输协议。

  UA属性:UA即user-agent,是http协议中的一个属性,代表了终端的身份,向服务器端表明我是谁来干嘛,进而服务器端可以根据不同的身份来做出不同的反馈结果。

  robots协议:robots.txt是搜索引擎访问一个网站时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下,且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org 。百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robots的meta标 签,index、follow、nofollow等指令。

  3、spider抓取的基本过程

  spider的基本抓取过程可以理解为如下的流程图:

spider抓取系统的基本框架

spider抓取系统的基本框架

019801376296362.JPG

搜索引擎spider在抓取过程中面对着复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。下节会说说:搜索引擎spider抓取过程中的策略





上一篇:网站被谷歌K了,恢复的5大方法
下一篇:搜索引擎spider抓取过程中的策略

大神点评16

250ppw 发表于 2013-8-15 09:59:51 [百度官方说明] 显示全部楼层
回个帖子支持一下!
╰゛____Read_︵ 发表于 2013-8-23 13:24:43 [百度官方说明] 显示全部楼层
这种过程中遵守的规范也就是日常中我们所说的一些网络协议。
三部曲网络科技 www.sanbuqv.com
伊美源 发表于 2013-9-6 13:45:25 [百度官方说明] 显示全部楼层
对菜鸟来说看起来好复杂哦!
伊美源国际美业www.hkymy.com
南国小宝 发表于 2013-9-12 23:25:21 [百度官方说明] 显示全部楼层
不错,谢谢分享
小溪唉 发表于 2013-9-14 16:52:12 [百度官方说明] 显示全部楼层
有点深,没看明白
www.360zebra.com海淘转运
爱玩手机 发表于 2013-10-14 17:27:52 [百度官方说明] 显示全部楼层
好啊,学习了
手游攻略 www.2wsj.com 手游下载
liupic 发表于 2013-10-30 18:24:54 [百度官方说明] 显示全部楼层
超文本传输协议,是互联网上应用最为广泛的一种网络协议,客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户,服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息,可以看到包括是否成功、服务 器类型、网页最近更新时间等内容
www.liupic.com 溜图网
一起飞翔 发表于 2013-11-1 01:59:39 [百度官方说明] 显示全部楼层
谢谢分享111
肖大胖学seo 发表于 2017-3-2 09:02:42 [百度官方说明] 显示全部楼层
学习了
wulian55520 发表于 2017-3-4 10:50:54 [百度官方说明] 显示全部楼层

感谢楼主无私的分享与奉献
晓晓凯 发表于 2017-4-7 19:18:04 [百度官方说明] 显示全部楼层
很给力,希望分享更多给力的帖子啊。
婆媳关系 px.kxfsw.com 婆媳论坛 婆媳矛盾
挽回爱情wh.kxfsw.com挽回婚姻 修复婚姻
downun 发表于 2017-4-20 10:26:30 [百度官方说明] 显示全部楼层
强烈支持,站帮网有你更精彩
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

快速回复 返回顶部 返回列表