Python3使用urllib爬取簡單頁面

Python3使用urllib爬取簡單頁面

方法/步驟

打開Python開發工具IDLE,新建『url.py』文件,編寫代碼如下:

from urllib.request import urlopen

resp = urlopen('http://www.baidu.com')

print (resp.read())

F5運行程序,獲取到百度的首頁的頁面,列印原始碼到Shell

改寫代碼,列印百度返回狀態碼

from urllib.request import urlopen

resp = urlopen('http://www.baidu.com')

print (resp.getcode())

F5運行程序,列印出請求返回狀態碼200

200 代表正常

500 伺服器出錯

400 請求參數異常

改寫代碼,列印請求url地址

from urllib.request import urlopen

resp = urlopen('http://www.baidu.com')

print (resp.getcode())

print (resp.geturl())

F5運行程序,列印出發起訪問百度url

改寫代碼,列印返回頭部信息

from urllib.request import urlopen

resp = urlopen('http://www.baidu.com')

print (resp.getcode())

print (resp.geturl())

print (resp.info())

F5運行程序,列印出返回頭部信息

相關文章

  1. 簡單分析搜尋引擎蜘蛛的爬取策略

    搜尋引擎蜘蛛每天是怎麼樣去爬取我們的網的呢?針對這些你有多少的了解?那搜尋引擎蜘蛛的爬取過程又是怎麼樣的呢?在搜尋引擎蜘蛛系統中,待爬取URL隊列是很關鍵的部分,需要蜘蛛爬取的網頁URL在其中順序排列 ...
  2. 怎樣用Python3爬取抖音神曲

    今天小編給大家帶來的是怎樣用Python3爬取抖音神曲,希望能幫助到大家! 工具/原料 Python3 抖音 方法/步驟 這裡我給大家代碼吧!1     def get_video_urls(self ...
  3. python3爬取千庫網圖片

    python爬蟲就是好.一張一張下圖片,太麻煩.用python沒毛病. 工具/原料 python3 編輯器pycharm或sublime 方法/步驟 爬蟲大體流程: 1,找到要爬取的網頁 2,發送請求 ...
  4. python3多線程爬取喜馬拉雅音頻

    python的功能很強大,第三方庫也很給力.這次小編帶大家扒一扒喜馬拉雅的郭德綱專輯.喜歡相聲的朋友不要錯過.喜歡python編程的更不要錯過. 工具/原料 python3 requests模塊 ge ...
  5. 如何用python3爬取招聘網站

    如何用python3爬取招聘網站 工具/原料 python3 方法/步驟 1.實現更換user_agent方法代碼如下 2.實現隨機選取的方法代碼 3.按F12的Network的數據包中查找到如下數據 ...
  6. 使用Jquery Mobile框架製作可以跳轉的簡單頁面

    時下,用HTML製作手機端的頁面很是流行,下面小編就教大家用jquery Mobile框架,製作可以實現簡單跳轉的頁面. 方法/步驟 首先我們需要打開Deaweaver軟體,新建一個html5文件,並 ...
  7. python使用requests爬取網頁出現中文亂碼

    在python中,若使用requests庫來抓取網頁,當遇到中文頁面時,容易出現亂碼問題.這是由於字符編碼問題引起的. 在requests中有提供相應的辦法,通過指定encoding,基本可以解決問題 ...
  8. 如何運用Dreamweaver做成一個簡單頁面?

    運用Dreamweaver做成一個簡單頁面 工具/原料 adobe dreamweaver 方法/步驟 安裝adobe dreamweaver,打開點擊html,如圖所示 點擊創建 這部比較關鍵.需要 ...
  9. WORD如何取掉頁面下面的那條橫線?

    在編輯WORD文檔時,我們會用到頁眉頁腳.在頁眉編輯時,頁眉下面會有一條橫線.有時,我們並不需要這條橫線,怎麼辦?小編給大家講講去掉這根橫線的方法. 工具/原料 WORD軟體 方法一 打開Word文檔 ...
  10. Java 如何爬取網頁

    百度搜尋引擎的原理其中之一就是定期的派出網絡爬蟲到網際網路上去爬取網頁.我這裡用java寫了一個最簡單的小程序來實現這一功能. 工具/原料 Eclipse JDK 1.6 EditPlus 方法/步驟 ...
  11. 如何解決百度蜘蛛只爬取首頁的問題

    我們看網站日誌的時候不能只是看搜尋引擎的日誌爬取的頻率和返回的http碼!要想了解搜尋引擎,就必須從它的動態看起,就是要看它一系列都抓取了什麼,最長見的問題就是百度蜘蛛只爬取首頁的問題,很多站長沒有察 ...
  12. python通過cookie爬取個人網站

    通過cookie獲取個人網站信息,並匹配出需要的關鍵字,這裡先以urllib+re模塊登陸網站為例 工具/原料 python的urllib2或request或httplib2包 解析內容需要使用正則表 ...
  13. 如何爬取網頁數據

    Python是進行網頁爬蟲和網頁數據抓取的一個不錯語言.其中python也提供了不少模塊用於數據抓取.urllib是用於打開網頁連結的模塊,urlopen()函數用於打開網頁,bs4(Beautifu ...
  14. 百度蜘蛛爬取的規律是什麼

    百度蜘蛛是如何爬取的 第一,百度蜘蛛極為活躍,經常看看你的伺服器日誌,你就懷發現百度蜘蛛抓取的頻率和數量都非常大.百度蜘蛛幾乎每天都會訪問我的論壇,並且至少抓取幾十個網頁.我的論壇只開通了不到一個月, ...
  15. 分析蜘蛛爬取網頁的優先方式

    1.進步頁面蜘蛛爬取率:大師知道蜘蛛爬取網頁分為廣度優先和深度優先,豈論是那種行動靠的但凡站內連結的公正組織,以是這一條的傳染感動大師理應讀比較懂得,只要進步了蜘蛛爬取頁面率高,威力包管你能更好的泡蜘 ...
  16. pygame安裝教程;python3 pygame安裝(超簡單)

    網上有很多關於python,pygame的安裝教程.大都比較麻煩,下面為大家介紹一種非常簡單的安裝方法.(因為安裝大都是新手教程寫詳細一些) 作者的電腦是32位 python是3.6 工具/原料 已安 ...
  17. python 爬蟲 入門 爬取新浪新聞

    一提到python,大家經常會提到爬蟲,爬蟲近來興起的原因我覺得主要還是因為大數據的原因,大數據導致了我們的數據不在只存在於自己的伺服器,而python語言的簡便也成了爬蟲工具的首要語言,我們這篇文章 ...
  18. java中從高德地圖爬取數據

    本人csdn博客地址:http://blog.csdn.net/java_wucao/article/details/77800891,也可查看 工具/原料 idea 高德地圖開發者帳號 maven ...
  19. 如何用記事本爬取公眾號歷史文章?

    不知道有沒有人,和我有一樣的習慣,微信公眾號里的文章,不會深入的閱讀.遇到好的文章,就收藏起來,然後在電腦上閱讀.特別是需要動手的Excel.PPT等教程. 如果遇到好的公眾號,恨不得把它的每篇文章, ...
  20. java爬蟲框架webmagic的搭建與示例,爬取csdn

    最近在搗鼓python,被python的神話傳說洗腦了,用了一陣才發現也沒有真的那麼牛逼,關鍵還是看用熟悉哪個,而且python相對java的簡略,其實也是有利有弊,自由度高了,項目一大,可讀性就降低 ...