Nginx如何限制百度蜘蛛抓取

有時候蜘蛛抓取網過於頻繁,導致網站打開很緩慢,我們可以通過nginx限制蜘蛛的抓取頻率,太高后,返回503

工具/原料

nginx配置文件/usr/local/nginx/conf/nginx.conf

方法/步驟

首先在#全局配置 在配置文件nginx.conf中設置

limit_req_zone      $anti_spider    zone=anti_spider:60m    rate=200r/m;

#限定某一個網站或者某一個目錄 在server中設置

限定某一個網站

limit_req zone=anti_spider burst=5 nodelay;

if ($http_user_agent ~* "Baiduspider") {

set $anti_spider $http_user_agent;

}

如果限制某一個目錄

注意事項

linit_req_zone 中的rate=200r/m 表示每分鐘只能處理200個請求。 limit_req 中的burst=5 表示最大並發為5。即同一時間只能同時處理5個請求。 可根據需求調大

相關文章

  1. 吸引百度蜘蛛抓取的方法

    8.內鏈建設 蜘蛛的爬行是跟著連結走的,所以內鏈的合理優化可以幫助蜘蛛抓取到更多的頁面,促進網站的收錄.內鏈建設過程中要給用戶合理推薦,除了在文章中增加錨文本之外,可以設置相關推薦,熱門文章,更多喜歡 ...
  2. ​ 怎麼快速讓百度蜘蛛抓取新網站內容

    許多新站面臨的問題是百-度蜘+蛛很少光臨,即便原創內容多,但是收錄也少的可憐.其實並非因為你的網-站質-量問題,是你缺少一些技巧.我以個人經驗介紹幾個小技巧吸引蜘-蛛,增加新站的收錄量. 方法/步驟 ...
  3. 網站如何更好的被百度蜘蛛抓取呢?

    現在有哪些方法可以增加百度蜘蛛的收錄? 1.網站及頁面權重 這個肯定是首要的了,權重高.資格老.有權威的網站蜘蛛是肯定特殊對待的,這樣的網站抓取的頻率非常高,而且大家知道搜尋引擎蜘蛛為了保證高效,對於 ...
  4. 網站優化被百度蜘蛛抓取後的具體操作方法

    網站優化怎麼做,殊不知很多的站長,都是懵懵懂懂的把網站上線,上線之後又發現網站的很多地方都沒有優化好,今天溪風seo老師給大家講解一下,新站網站優化從那幾個方法會做. FTP工具 網站地圖製作工具 網 ...
  5. 百度引擎蜘蛛抓取上網站算法

    真正在本人沒有發起應用真本創東西,果為現在蜘蛛們已很智能了,它們有它們本身的算法,然後依照算法辨認您的文章是沒有是用機器真本創了,如果有的話,蜘蛛是還是沒有會支錄您的文章的,以是本人發起當我們更新文章 ...
  6. 如何增加蜘蛛抓取頻率?

    如何增加百度蜘蛛的抓取頻率,很多朋友已經知道一二了,我這裡講一些重點就好了,因為百度的算法有200多種,我們只能猜測的去挖掘其中的重點. 工具/原料 1.外鏈工具. 2.百度分享帳號. 方法/步驟 1 ...
  7. 吸引百度蜘蛛抓網站內容的方法

    我們都知道網站如何想獲得不錯的排名和流量,就必須有一定量的網站內容被百度蜘蛛給抓取.收錄.所以我們要想辦法讓蜘蛛儘可能多的收錄頁面,也儘可能讓蜘蛛吸引更重要的頁面.但是隨著百度算法不斷改革,站長們越來 ...
  8. 如何吸引蜘蛛抓取你的文章

    去年年底開通了新浪微博,想通過這個平台做推廣宣傳.做優化的都清楚,博客要養,也就是說時間的累積,也要你用心去打理.所以,博客的內容基本都是原創,但是我發現即使是原創了也不被收錄.直到今天,我一直糾結為 ...
  9. 淺析百度搜尋引擎抓取收錄規則是怎樣的

    很多剛開始做SEO的朋友經常問到的一個問題就是,搜尋引擎到底是怎樣抓取文章內容的,它的收錄原則大概是怎樣,首先聲明:一下方法均為本人經驗總結,並非官方給出的抓取原則.下面我來簡單說一下: 方法/步驟 ...
  10. 百度平台抓取診斷工具一直抓取中的解決方法

        百度平台最新推出的抓取診斷工具是可以讓站長從百度蜘蛛的視角查看抓取內容,自助診斷百度蜘蛛看到的內容,和預期是否一致.每個站點每月可使用300次,抓取結果只展現百度蜘蛛可見的前200KB內容. ...
  11. 吸引蜘蛛抓取的6個方法

    網站的收錄是很重要的,很多站長都在不斷想辦法希望能夠提示網站收錄,但是網站收錄也需要蜘蛛去抓取.那麼怎麼才能吸引蜘蛛多去抓取頁面呢?今天就為大家介紹幾種吸引蜘蛛抓取的方法. 方法/步驟 友鏈 友情連結 ...
  12. 百度首頁抓取快照的圖片的由來

    首頁上的這張圖片主要是受哪些因素影響被抓取,顯示在網站首頁的? 工具/原料 網站首頁抓取圖 方法/步驟 1.目前站長只需要將圖片放在頁面主體內容中,百度會進行相應的圖片識別及場景識別,後續會提供協議規 ...
  13. WP博客的中文Tag出現蜘蛛抓取404錯誤怎麼辦?

    WordPress搭建的博客或網站常出現一個問題就是中文tag連結不存在,google管理員工具提示抓取404錯誤,特別是Windows主機常出現中文標籤連結抓取錯誤,中文標籤不能正常顯示,中文Tag ...
  14. 蜘蛛抓取網站的基本規則

    網站做優化的都是希望搜尋引擎蜘蛛可以快速抓取,這些大家都是希望的.但是蜘蛛抓取SEO網站的基本規則又是怎樣的? 第一:高質量內容 網站高質量內容永遠是搜尋引擎蜘蛛抓取的首選.不管是谷歌還是百度,高質量 ...
  15. 關於網站百度收錄抓取原理

    百度搜尋引擎在抓取網站時,必須有個渠道.網站剛上線時,新建一普通頁面,若沒有什麼人訪問這個頁面,而且在別的地方也沒有出現過這個頁面的話,那麼百度蜘蛛就無法正確抓取網站的這個頁面,所以搜尋引擎抓取頁面必 ...
  16. 百度蜘蛛爬取的規律是什麼

    百度蜘蛛是如何爬取的 第一,百度蜘蛛極為活躍,經常看看你的伺服器日誌,你就懷發現百度蜘蛛抓取的頻率和數量都非常大.百度蜘蛛幾乎每天都會訪問我的論壇,並且至少抓取幾十個網頁.我的論壇只開通了不到一個月, ...
  17. 2017年百度如何抓取信息

    對於百度來說,核心業務是搜尋引擎,而對於搜尋引擎抓取信息的原理,蜘蛛(爬蟲你)是實現大量的爬蟲信息的一個程序. 方法/步驟 百度已經屹立中國十幾年,在不斷的技術改進中,爬蟲技術也不斷升級,大概以主動被 ...
  18. 百度蜘蛛spider更新時間規律及抓取頻次原則

    大連SEOer姜文,為您介紹百度蜘蛛spider更新時間規律及抓取頻次原則 方法/步驟 百度蜘蛛更新時間的規律 大家通過看伺服器日誌就可以發現,其實百度蜘蛛時刻都是在抓取爬行的,並且抓取的頻率和數量都 ...
  19. 百度不收錄原因分析之蜘蛛spider抓取篇

    目前百度spider抓取新連結的途徑有兩個,一是主動出擊發現抓取,二就是從百度站長平台的連結提交工具中獲取數據,其中通過主動推送功能"收"上來的數據最受百度spider的歡迎.對於 ...
  20. 教你如何提高百度蜘蛛的抓取次數

    作為一名SEOER,每天都在關注百度蜘蛛什麼時候來抓取我的網站,它抓取了那些頁面,我們常常通過IIS的日誌查看這些記錄,同時還時刻在站長工具之類的網站上查詢自己的管理的域名的收錄數,快照時間,關鍵字排 ...