应该了解的网络爬虫分类和策略

[复制链接]
2898资源平台 发表于 2019-9-10 15:51:44 显示全部楼层 |阅读模式 上一主题 下一主题

马上注册,一起探讨正确快速的建站方法

您需要 登录 才可以下载或查看,没有帐号?快速注册

x
  随着互联网的发展,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫,网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序,今天2898站长资源平台小编就带大家来了解网络爬虫的分类和策略是什么,一起来看看吧。
  网络爬虫有很多种类,简单介绍以下几种:
  1: 通用网络爬虫
  通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。
  通用网络爬虫策略:深度优先策略和广度优先策略。
  2: 聚焦网络爬虫
  聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。
  聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。
  3: 增量式网络爬虫
  增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。
  增量式网络爬虫策略:广度优先策略和PageRank优先策略等。
  4: Deep Web爬虫
  搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。
  网络爬虫抓取策略一般分为三种:
  a、广度优先
  搜索完当前页面所有链接,才开始进入下一层。
  b、最佳优先
  根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。
  c、深度优先
  顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。
  总结: 以上就是2898站长资源平台小编跟大家分享的网络爬虫的分类和策略,希望对大家有帮助。

大神点评1

强强庚心 发表于 2019-9-10 16:22:26 显示全部楼层
网络爬虫就是搜索引擎发现和抓取文档的自动化程序
您需要登录后才可以回帖 登录 | 快速注册

本版积分规则

快速回复 返回顶部 返回列表