python通過cookie爬取個人網站

通過cookie獲取個人網站信息,並匹配出需要的關鍵字,這裡先以urllib+re模塊登陸網站為例

工具/原料

python的urllib2或request或httplib2包
解析內容需要使用正則表達式或bs4或xpath取提取網頁信息

方法/步驟

將cooklibjar模塊註冊到urllib2模塊中

找出需要登陸網站的登陸Url和抓取到需要Post的數據包,傳入urllib2模塊函數中

除了以上方法,還可以使用selenium三方庫登陸網站,之後使用re模塊提取信息,具體代碼步驟及詳細信息訪問qq號: 735459024

注意事項

注意不要找錯了login的url了

本文內容整理自網絡, 文中所有觀點看法不代表淘大白的立場