python 爬蟲 入門 爬取新浪新聞

一提到python,大家經常會提到爬蟲,爬蟲近來興起的原因我覺得主要還是因為大數據的原因,大數據導致了我們的數據不在只存在於自己的伺服器,而python語言的簡便也成了爬蟲工具的首要語言,我們這篇文章來講下爬蟲,爬取新浪新聞

方法/步驟

大家知道,爬蟲實際上就是模擬瀏覽器請求,然後把請求到的數據,經過我們的分析,提取出我們想要的內容,這也就是爬蟲的實現

首先,我們要寫爬蟲,可以借鑑一些工具,我們先從簡單的入門,首先說到請求,我們就會想到python中,非常好用的requests,然後說到分析解析就會用到bs4,然後我們可以直接用pip命令來實現安裝,假如安裝的是python3,也可以用pip3

安裝好這兩個類庫之後,然後我們就可以先請求數據,查看下新聞的內容,這個時候我們有可能看到的是亂碼

怎麼處理亂碼呢?我們可以拿瀏覽器打開網頁,右鍵查看網頁原始碼,我們可以看到編碼格式為utf-8

然後我們在輸出的時候添加編碼格式,就可以查看到正確編碼的數據了

拿到數據之後,我們需要先分析數據,看我們想要的數據在哪裡,我們打開瀏覽器,右鍵審查,然後按示例圖操作,就可以看到我們新聞所在的標籤,假如是windows系統,選擇開發中工具裡面一樣

我們知道屬於哪個標籤之後,就是用bs4來解析拿到我們想要的數據了

我們想要拿到新聞的具體標題,時間,地址,就需要我們在對元素進行深入的解析,我們還是按之前的方法,找到標題所在的標籤

然後我們編寫標題時間地址的python程序,就可以爬取出對應的標題內容,時間和地址

簡單的python爬取新聞就講到這裡啦

注意事項

以上知識,若有出入,謝謝您留言幫忙,避免誤導其他讀者

相關文章

  1. 如何屏蔽微博私信 屏蔽新浪新聞

    玩微博中,經常看到有人私信你,心動不已的去看了一下,結果是新浪新聞的.整個心涼了 .而且它每天都會發新聞過來,怎樣避開它,看不到它.煩人的新聞,我要把它來黑·屏蔽 .下面我教大家怎麼用電腦和手機屏蔽新 ...
  2. 怎麼向新浪新聞投稿?

    怎麼向新浪新聞投稿? 方法/步驟 首要打開先打開新浪網,http://www.sina.com.cn/,里在欄目里,找到 專欄 目錄 找到欄目目錄之後,點擊進入專欄頁面,然後找到投稿目錄,如圖 點擊進 ...
  3. 屏蔽新浪微博「新浪新聞」「微博名人」等私信的

    很多新浪微博的朋友會發現,我們明明沒有關注某些官方的帳號,但是這些帳號老是給我們發私信,搞得我們很煩.下面,小編就來教大家怎麼解決這個問題,來屏蔽這些如"新浪新聞"."微 ...
  4. python使用requests爬取網頁出現中文亂碼

    在python中,若使用requests庫來抓取網頁,當遇到中文頁面時,容易出現亂碼問題.這是由於字符編碼問題引起的. 在requests中有提供相應的辦法,通過指定encoding,基本可以解決問題 ...
  5. 新浪新聞怎麼截屏塗鴉分享

    新浪新聞新功能截屏塗鴉再分享到社交平台,在我們看到一個篇不錯的新聞後,想分享給朋友或朋友圈,以前是直接一鍵就分享了.但卻缺少了個性的塗鴉點評.將自己對的這個新聞的想法以塗鴉的方式保留下來,再發送給朋友 ...
  6. 新浪新聞怎麼下載視頻 保存在本地的方法

    新浪新聞是比較久的新聞客戶端之一.我們有些網友喜歡在這上面觀看新聞.我們有的時候會看到自己喜歡的新聞視頻或者說看到對自己有價值的新聞視頻.那麼我們怎麼把新聞視頻下載下來呢?善良的野諸總結了一些自己的方 ...
  7. python爬蟲入門教程

    爬蟲是一個是一個好玩的技術,偷偷爬取mm的照片,爬取知乎用戶頭像等等,這些教程經驗帖在網上隨便一搜,到處都是:那麼今天小編將給大家簡單講講python爬蟲的入門.鑑於經驗排版模式有限,所以這裡只能簡單 ...
  8. 怎樣採集新浪新聞

    現在許多的站長需要將新聞數據全面準確的抓取回來,快速高效地對目標站點或欄目進行信息採集,大大加大了對信息抓取速度的要求,需要保證在同等單位時間內信息抓取量的倍數增長,所以今天我們講講怎麼通過快速抓取新 ...
  9. 怎樣屏蔽新浪新聞微博私信【圖文】

    怎樣屏蔽新浪新聞微博私信?屏蔽後,就不會每天一上微博就有新浪新聞的私信蹦出來擾人了. 工具/原料 新浪帳號 方法/步驟 登錄新浪微博網站或APP客戶端,登錄帳號. 在微博首頁左側菜單欄里找到" ...
  10. python通過cookie爬取個人網站

    通過cookie獲取個人網站信息,並匹配出需要的關鍵字,這裡先以urllib+re模塊登陸網站為例 工具/原料 python的urllib2或request或httplib2包 解析內容需要使用正則表 ...
  11. 看新浪新聞分享有獎

    新浪新聞最近推出一項活動:看新浪新聞分享有獎. 工具/原料 電腦(聯網) 新浪新聞 方法/步驟 用瀏覽器打開新浪官網,選擇一條新聞進行查看. 在打開的新聞標題右下方有"分享有獎"字 ...
  12. 怎麼取消新浪新聞的私信

    每天一上新浪微博,那煩人的新聞私信就彈出來,這個怎麼取消呢?答案就在以下的內容中. 手機版 進入新浪微博客戶端,點擊[消息]標籤,再點擊[新浪新聞] 在該界面點擊省略號圖標,出來的菜單選擇[屏蔽消息] ...
  13. 手機新浪微博如何屏蔽新浪新聞?

    每天看微博時,總會看到新浪新聞,有時覺得手機其他軟體看新聞比較方便,可以屏蔽新浪新聞,那麼怎樣屏蔽呢,下面截圖演示一下. 工具/原料 紅米note手機 方法/步驟 首先打開手機上的新浪微博,輸入帳號和 ...
  14. #過年#過年 手機端新浪新聞如何搶紅包

    #過年#過年 手機端新浪新聞如何搶紅包 工具/原料 手機 #過年#過年 手機端新浪新聞如何搶紅包: 1.打開下載好的新浪新聞APP. 2.點擊:紅包圖標. 3.點擊:參與紅包狂歡活動. 4.查看紅包活 ...
  15. 電視上怎麼看新浪新聞,操作方法

    現在智能電視不僅能收看直播點播玩遊戲,也能和手機端一樣瀏覽新聞資訊哦.下面我就來教大家怎麼在電視上看新浪新聞哦. 操作方法: 開啟智能電視連接網絡後進入當貝桌面工具 點擊界面左側中的搜應用即可 輸入x ...
  16. 如何使用八爪魚採集新浪新聞文章

    本文介紹如何使用採集器採集新浪新聞文章的方法. 採集的內容包括:新聞標題,新聞正文 工具/原料 使用功能點:  列表及詳細信息採集  Ajax點擊加載  Xpath修改  自定義數據欄位 方法 ...
  17. 如何用discuz採集新浪新聞教程

    我們用dxc採集器的時候,有時候需要在論壇里放入新聞,這時候怎麼辦,可以採集嗎?小老弟的回答是可以,不過設置非常重要,不然你就會出現發布後貼內容為空白. 工具/原料 discuz裡邊安裝了DXC採集插 ...
  18. 新浪新聞如何關閉自動播放視頻?

    有時候我們使用新浪新聞看新聞,沒有點開視頻,視頻就自動播放了,下面小編來教大家新浪新聞如何關閉自動播放視頻,希望小編的經驗可以幫助到了你哦. 工具/原料 新浪新聞 自動播放視頻 新浪新聞關閉自動播放視 ...
  19. 新浪新聞如何開啟夜間模式?

    晚上看新聞為了不傷眼睛,可以開啟夜間模式保護眼,下面小編來教大家新浪新聞如何開啟夜間模式,希望小編的經驗可以幫助到了你哦. 工具/原料 新浪新聞 夜間模式 新浪新聞開啟夜間模式方法: 首先打開手機桌面 ...
  20. 在手機新浪新聞中怎麼進行世界盃競猜活動

    新浪應用在世界盃期間推出了使用金幣競猜世界盃的活動,來和小編一起看看怎麼操作的吧. 工具/原料 手機.新浪新聞 方法/步驟 打開手機中已下載的新浪新聞應用,並登錄帳號 進入新浪新聞應用後,點擊頁面頂部 ...