如何解決百度蜘蛛只爬取首頁的問題

我們看網站日誌的時候不能只是看搜尋引擎的日誌爬取的頻率和返回的http碼!要想了解搜尋引擎,就必須從它的動態看起,就是要看它一系列都抓取了什麼,最長見的問題就是百度蜘蛛只爬取首頁的問題,很多站長沒有察覺到這個細節,而只是抱怨為什麼百度蜘蛛頻繁抓取,而快照、搜錄並沒有很好的表現,甚至出現搜錄減少,快照延遲一個星期以上,這些都是百度蜘蛛只爬取首頁所帶來的問題,下面就來分析一下。

1.robots.txt、伺服器限制和優化策略。如果出現百度蜘蛛只爬取首頁的問題,首先就是要看我們網站的robots.txt,是不是通配符用錯了,而導致屏蔽了所有的內頁。其次就要看看我們的伺服器,同伺服器的網站是不是也是這樣,看看網站日誌是否近期有爬取內頁的行為,返回碼是什麼,等都可以看出來。在此就是想一下自己的優化手段是否合理,比如有沒有文章純採集或者群發等行為。

 2.網站的結構和內容。假如伺服器,網站robots.txt,優化策略都沒有問題,還是沒有解決如何解決百度蜘蛛只爬取首頁的問題,那麼就要從網站本身的結構上分析,網站結構是否混亂,首頁有沒有足夠的連結指向內頁。還要看看網站的質量上,首先就是網站是不是一個超新站,站內內容跟新是否有規律等。

本文內容整理自網絡, 文中所有觀點看法不代表淘大白的立場