spider-蜘蛛是搜索引擎用来访问Internet上网页的自动程序，也有人叫它机器人。
spider-蜘蛛的特点
spider-蜘蛛根据html 的语法和格式，对读取的页面进行代码过滤，收入相关的文字内容。目前搜索引擎无法象人那样去读相应的图片、Flash、影片里面的内容。图片中的文字对spider-蜘蛛来说是毫无意义的。对于javascript 里面的内容，现在已经有部分网站开始收录。
各大搜索引擎蜘蛛的名称：
baiduspider – 百度机器人。
Googlebot – 谷歌机器人
Slurp – 雅虎机器人
msnbot – Msn机器人
YoudaoBot – 有道机器人
Sogou+get+spider – 搜狗机器人