Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些...(展开)

　【baiduspider】百度蜘蛛叫Baiduspider不是baidubot　　今天又遇到有同学问我关于ROBOTS该如何去写的问题，这里整理下给大家，其实...(展开)