蜘蛛在Web 上漫游.寻找要添加进搜索引擎索引中的列表。蜘蛛有时也称爲爬行器或者机器人。针对有机列表优化页面也就是爲了吸引蜘蛛的注意。
蜘蛛，也称爲蜘蛛程序(Spider).网络蜘蛛是壹个自动提取网页的程序，是搜索引擎的重要组成部分。作爲蜘蛛来讲，就是尽可能多和快地给搜索引擎输送网页，实现强大的数据支持。
网络蜘蛛是通过网页的链接地址来寻找网页，从网站某壹个页面(通常是首页)开始.读取网页的内容，找到在网页中的其他链接地址.然後通过这些链接地址寻找下壹个网页，这样壹直循环下去.直到把这个网站所有的网页都抓取完爲止
