用實例告訴你怎麼寫robots.txt文件

想要讓你的網站有進一步完善的SEO,修改或者寫robots.txt文件就是必須進行的一項工作。

尤其是在建站初期的規劃和修改階段,更要重視對robots.txt文件的修改,還有就是在對網站完成以後,對某些目錄也要進行一定的限制,這樣才會對蜘蛛很友好。

記得將修改好的文件保存在網站根目錄,並保存為robots.txt文件。

工具/原料

文本編譯器就可以了
還可以在線製作,然後另存為

方法/步驟

不任何搜尋引擎收錄任務目錄和文件:

(這樣用法一般在建站初期,很多文件在進行修改階段。)

讓所有目錄和文件都可以讓所有搜尋引擎收錄:

(這樣寫雖然很簡單,但是對搜尋引擎可是很不友好的)

 

不想讓某個搜尋引擎的訪問你的網站,這樣也不會被那個搜尋引擎收錄啦

(針對某個搜尋引擎,用法可以根據你自己的實際情況設置)

 

只允許某個搜尋引擎的訪問你的網站,同時要設置其他搜尋引擎不允許訪問才行

(針對某個搜尋引擎,用法可以根據你自己的實際情況設置)

設置網站的某個目錄對搜尋引擎的訪問做了限制,即搜尋引擎不會訪問這三個目錄。

(平時使用的最多,一般設置參數文件夾,管理文件夾等)

 

需要注意的是對每一個目錄必須分開聲明,而不要寫成:「Disallow: /cgi-bin/ /tmp/」。

注意事項

User-agent:後面的*,表示任何搜尋引擎的意思。

本文內容整理自網絡, 文中所有觀點看法不代表淘大白的立場