网站SEO优化，在搜索引擎领域，有哪些常用的网络爬虫？
2020-10-08 09:56:44
网络爬虫也有人叫做网络蜘蛛。
Web Spider，是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。但业界内很少叫蜘蛛的，一般都叫做网络爬虫，Spider只是个别爬虫的名称。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
不同的搜索引擎有着各自的爬虫，以下是一些我们经常接触到的爬虫程序。
1. 百度爬虫：
Baiduspider，包括Baiduspider-image（抓取图片）、Baiduspider-mobile（抓取wap）Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）
2. 谷歌爬虫：
Googlebot
3. 360爬虫：
360Spider
4. 搜狗爬虫：
Sogou News Spider。
5. 搜狗爬虫还包括如下这些：
Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
6. SOSO爬虫：
Sosospider
7. 雅虎爬虫：
Yahoo! Slurp China
8. 有道爬虫：
YoudaoBot或者YodaoBot
9. MSN爬虫：
msnbot-media
10. 必应爬虫：
bingbot。
11. 一搜爬虫：
YisouSpider。
12. Alexa爬虫：
ia_archiver。
13. 宜搜爬虫：
EasouSpider。
14. 即刻爬虫：
JikeSpider。
