如何利用Robots.txt优化你的WordPress站点

　　User-agent:?*

　　Disallow:?/wp-admin/

　　Disallow:?/wp-content/

　　Disallow:?/wp-includes/

　　Disallow:?page/

　　Disallow:?/tagtrackback

　　Disallow:?/feed

　　Disallow:s=*

　　Disallow:?comment-page-*和Disallow: page/和Disallow: /tagtrackback

　　禁止搜索引擎抓取收录trackback等垃圾信息

　　5、Disallow: /feed、Disallow: ?s=*

　　禁止搜索引擎抓取站内搜索结果

　　7、Disallow:?/*?*

　　禁止搜索抓取动态页面

　　8、Disallow: /attachment/

　　禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。

　　上面只是些基本的写法，当然还有很多，不过够用了。

　　如何行使robots协议优化你的WordPress博客站，robots.txt详解！

赏