随着网络的迅速发展，互联网成为包括网站页面等大量信息的载体，如何有效地提取并利用这些网站和信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎百度baidu和谷歌Google等，作为一个辅助人们搜索网站和信息的工具成为用户访问互联网的重要入口和指南。
那么，百度蜘蛛究竟是什么?
百度蜘蛛Baiduspider是网络爬虫的一种，是一种按照一定的爬取规则，自动地抓取互联网信息的程序或者脚本。另外一些不常使用的名字还有网络蚂蚁、自动索引、模拟程序或者网络蠕虫。
百度蜘蛛作为一个自动化运行程序，夜以继日的在互联网上找寻新的网址URL，接着抓取URL网址上的内容，把内容返回到百度的网页存储数据库，它是 百度抓取网站 的重要程序。
百度蜘蛛有什么作用?
百度蜘蛛作为百度搜索引擎的一个自动程序，它可以访问为百度搜索收集整理互联网上的网站、网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能按照自己的需要在百度搜索引擎中搜索需要的结果，包括各种网站的网页、图片、视频、文档、等内容。毫无疑问，大家的网站就是这样实现 搜索引擎收录。
百度蜘蛛有哪些种类?
百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
产品名称 对应user-agent
网页搜索 Baiduspider
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
竞价蜘蛛 Baiduspider-sfkr
原文地址：http://www.ezyw.com/seobase/5518.html
