用實例告訴你怎麼寫robots.txt文件

遊戲數碼

想要讓你的網站有進一步完善的SEO，修改或者寫robots.txt文件就是必須進行的一項工作。

尤其是在建站初期的規劃和修改階段，更要重視對robots.txt文件的修改，還有就是在對網站完成以後，對某些目錄也要進行一定的限制，這樣才會對蜘蛛很友好。

記得將修改好的文件保存在網站根目錄，並保存為robots.txt文件。

工具/原料

文本編譯器就可以了
還可以在線製作，然後另存為

方法/步驟

不任何搜尋引擎收錄任務目錄和文件：

（這樣用法一般在建站初期，很多文件在進行修改階段。）

讓所有目錄和文件都可以讓所有搜尋引擎收錄：

（這樣寫雖然很簡單，但是對搜尋引擎可是很不友好的）

　

不想讓某個搜尋引擎的訪問你的網站，這樣也不會被那個搜尋引擎收錄啦

（針對某個搜尋引擎，用法可以根據你自己的實際情況設置）

　

只允許某個搜尋引擎的訪問你的網站，同時要設置其他搜尋引擎不允許訪問才行

（針對某個搜尋引擎，用法可以根據你自己的實際情況設置）

設置網站的某個目錄對搜尋引擎的訪問做了限制，即搜尋引擎不會訪問這三個目錄。

（平時使用的最多，一般設置參數文件夾，管理文件夾等）

　

需要注意的是對每一個目錄必須分開聲明，而不要寫成：「Disallow: /cgi-bin/ /tmp/」。

注意事項

User-agent:後面的*，表示任何搜尋引擎的意思。

本文內容整理自網絡, 文中所有觀點看法不代表淘大白的立場