仪器设备网百科物性测验仪器及设备

  匍匐器（Spider）指在 Web 上周游，寻觅要添加进搜索引擎索引中的列表。匍匐器有时也称为 Web 匍匐榜（Webcrawler）或机器人。针对有机列表优化页面也就为了招引匍匐器的留意。

  网络爬虫，也称为蜘蛛程序（Spider）。网络爬虫是一个主动提取网页的程序，是搜索引擎的重要组成部分。作为爬虫来讲，便是尽可能多和快的给搜索引擎运送网页，完成强壮的数据支撑。 网络爬虫是经过网页的链接地址来寻觅网页，从网站某一个页面（通常是主页）开端，读取网页的内容，找到在网页中的其他链接地址，然后经过这一些链接地址寻觅下一个网页，这样一向循环下去，直到把这一个网站一切的网页都抓取完停止。 如果把整个互联网当成一个网站，那么网络爬虫就可以用这个原理把网络上一切的网页都抓取下来。 #2#

  Google为了获取上亿的网页，规划了一个分布式的匍匐体系。一个URL服务器将URL列表提供给网络匍匐器。每个匍匐器一起坚持大约300个网络连接。在最高速度的时分，经过4个匍匐器，该体系能每秒钟获取超越100个网页。 #3#