做SEO这些年遇到过形形色色的robots协议的写法，有的站长还会利用botots屏蔽对方的友情连接，不是没有而是你还没遇到，或许有一天你会无意间发现。robo...(展开)

Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些...(展开)

robots txt文件的作用：网站根目录下的robots txt文件是写给搜索引擎“看”的，用户网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面...(展开)

很多建站新手对robots.txt文件的重要作用不是很清楚，利用这篇文章普及一下WordPress站点robots.txt文件编写知识。Robots协议（也称为...(展开)

　【baiduspider】百度蜘蛛叫Baiduspider不是baidubot　　今天又遇到有同学问我关于ROBOTS该如何去写的问题，这里整理下给大家，其实...(展开)