Googlebot指谷歌蜘蛛，意思也叫做谷歌网页抓取机械人 ，意思其用处是意思用来抓取网页内容 。百度蜘蛛叫做Baiduspider ，意思360蜘蛛叫做360spider 。意思
Google具有除夜量Googlebot ，意思有些Googlebot专门用来抓取暗网页面 ，意思有些Googlebot用来抓取更新频繁的意思网页 ，有些Googlebot用来抓取挪动网页 。意思非论任何圭表类型的意思Googlebot ，都是意思为了更高效的抓取网页数据 。
Googlebot24小时延续工作 ，意思创作创造并抓取互联网中的意思网页数据（文字 、图片 、意思视频），意思并把抓取到的网页数据保管到Google数据库中 。Googlebot只担当抓取网页数据 ，至于抓取到的网页可否展示给用户 ，Google还要经由火解措置（参考文章 ：谷歌搜刮的工作事理是甚么）。
Googlebot会屈就网站更新频率和网站处事器的承载身手决意抓取频次 ，既担保Googlebot的抓取屈就 ，又不防影响到网站正常运转 。
文章推荐：