怎麼用Java程序抓取網頁原始碼?

怎麼用java程序抓取網頁原始碼?如果抓取代碼都用程序來做的話,相信要快很多。程序如下:       import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;public class HtmlParser {public static String getHtmlContent(URL url, String encode) {StringBuffer contentBuffer = new StringBuffer();int responseCode = -1;HttpURLConnection con = null;try {con = (HttpURLConnection) url.openConnection();con.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");// IE代理進行下載con.setConnectTimeout(60000);con.setReadTimeout(60000);// 獲得網頁返回信息碼responseCode = con.getResponseCode();if (responseCode == -1) {System.out.println(url.toString() + " : connection is failure...");con.disconnect();return null;}if (responseCode >= 400) // 請求失敗{System.out.println("請求失敗:get response code: " + responseCode);con.disconnect();return null;}InputStream inStr = con.getInputStream();InputStreamReader istreamReader = new InputStreamReader(inStr, encode);BufferedReader buffStr = new BufferedReader(istreamReader);String str = null;while ((str = buffStr.readLine()) != null)contentBuffer.append(str);inStr.close();} catch (IOException e) {e.printStackTrace();contentBuffer = null;System.out.println("error: " + url.toString());} finally {con.disconnect();}return contentBuffer.toString();}public static String getHtmlContent(String url, String encode) {if (!url.toLowerCase().startsWith("http://")) {url = "http://" + url;}try {URL rUrl = new URL(url);return getHtmlContent(rUrl, encode);} catch (Exception e) {e.printStackTrace();return null;}}public static void main(String argsp[]){System.out.println(getHtmlContent ;}}

相關文章

  1. 如何java寫/實現網絡爬蟲抓取網頁

    很多時候我們需要一些數據或者信息,而這些信息可能是收費的,不公開的,也可能是信息量比較大,如果單純靠我們手工來做的話可能比較浪費時間,所以我們需要寫一個網絡爬蟲,高效地將自己需要的信息抓取下來,在這裡 ...
  2. PHP抓取網頁failed to open stream解決方案

    本教程完美解決PHP抓取網頁failed to open stream: HTTP request failed!遇到的問題. 工具/原料 PHP一系列軟體 電腦一台 方法/步驟 如圖所示:抓取失敗了 ...
  3. 搜尋引擎抓取網頁原理學習筆記

    做正規seo技術必會的搜尋引擎抓取網頁原理應該是很複雜的.可以寫洋洋灑灑的長篇論文.這裡就將我自己學習到的網頁抓取原理記錄一下.筆記應該不夠完整隻將重要過程做個介紹 步驟/方法 做正規seo技術必會的 ...
  4. 一次抓取網頁中所有圖片

    一次抓取網頁中所有圖片 我們上網找素材的時候,經常會遇到一些網頁裡面用了很多自己能夠用到的圖片,但是每一個都要單擊右鍵,然後圖片另存為,很是麻煩.其實藉助SnagIt抓圖軟體可以一次抓取網頁內所有圖片 ...
  5. Java 如何爬取網頁

    百度搜尋引擎的原理其中之一就是定期的派出網絡爬蟲到網際網路上去爬取網頁.我這裡用java寫了一個最簡單的小程序來實現這一功能. 工具/原料 Eclipse JDK 1.6 EditPlus 方法/步驟 ...
  6. 小樂圖客攻略:[16]如何抓取網頁CSS背景圖

    我們知道在網頁取圖時,經常遇到一些使用小樂圖客取不到的圖.這時就需要考慮這些圖片是否屬於CSS背景圖,實際圖片地址是否隱藏在CSS文件中.本文分享給大家如何批量從網站CSS文件中抓取背景圖的方法. 工 ...
  7. 搜尋引擎抓取網頁的方法

    愈來愈多的站長加入到了seo的行列之中,新站長需要知道很多的基礎知識,才能開始優化之旅,有很多半罐子的理論有時會誤導你,網站優化給新手站長推薦Google給網站管理員的網站站長指南.這是一本簡潔的精確 ...
  8. 抓取網頁指定內容(資料),獲取網頁里的圖片

    最近有遇到同學反饋,網頁里的那些沒有特徵值的文本元素不知道怎麼獲取.以及,不知道怎麼獲取保存網頁里出現的圖片. 工具/原料 按鍵精靈2014 方法/步驟 獲取網頁指定文字: 目前按鍵支持的元素特徵值有 ...
  9. 如何抓取網頁或考試軟體中不能複製的文字

    一些網頁或軟體中的文字被限制,不能複製.而我們卻需要把這些文字複製出來,那麼怎麼才能把這些被限制的文字複製出來呢,下面我給您分享一個好方法:那就是利用圖片文字抓取工具軟體把這些被限制的文字提取出來.這 ...
  10. 如何抓取網頁製作製作 mdx 格式詞典

    一個簡單得不能再簡單的網頁抓取然後製作mdx教程 工具/原料 作業系統:Windows 7 旗艦版64位 抓取工具:wget 文本處理:EditPlus, UltraEdit, TextForever ...
  11. 各種瀏覽器抓取網頁圖片技巧

    各種瀏覽器抓取網頁圖片技巧 工具/原料 電腦上安裝好相應的瀏覽器即可 方法/步驟 先說下360的單張圖片抓取 art+滑鼠點擊想要得到的相應圖片,然後保存到相應位置即可. 360的整個頁面圖片的抓取 ...
  12. 怎樣抓取網頁中的flash動畫

    在網頁中抓取flash動畫,沒有下載連結也可獲得flash. 工具 閃客名捕 閃客精靈 步驟/方法 在安裝碩思閃客精靈的時候,閃客名捕會自動安裝在瀏覽器中:重啟瀏覽器,在瀏覽器的工具欄中會增加這個圖標 ...
  13. 如何批量抓取網頁中的所有圖片

    批量抓取圖片 工具/原料 百度瀏覽器 方法/步驟 百度搜尋百度瀏覽器,下載 打開百度瀏覽器,在網頁右側找到"菜單"-點擊"我的應用" 點擊"打開應用中 ...
  14. 使用八爪魚採集器抓取網頁數據

    php抓取網頁內容比較常用的是藉助第三方類編寫抓取代碼,其中QueryList是一個基於phpQuery的通用列表採集類,是一個簡單. 靈活.強大的採集工具,也比較常用,但是對於一些不用代碼想要抓取網 ...
  15. 建站之路028火車頭採集器抓取網頁文章

    火車頭採集器是一款網頁數據採集器,它可以快速的對網頁上數據信息進行規範性的採集,包括圖片,文字,表格,連結,手機,郵箱等.實現準確高效的實時抓取數據 擁有強大的採集功能,能夠採集那些需要登陸才能查看的 ...
  16. Excel如何抓取網頁數據之JSON數據抓取

    Excel 2013以後的版本提供了WEBSERVICE和FILTERXML函數可用於網頁數據抓取,但只能抓取XML格式的數據.而現在很多網站的網頁或接口返回的都是HTML或JSON數據,那麼如何精確 ...
  17. 如何抓取網頁小遊戲中swf內容。

    在我們的生活中,我們時常會玩一些小遊戲娛樂,但有時又斷網,這時就可以把遊戲抓取在本地中玩. 工具/原料 秋風網頁Flash抓取器 除4399外的遊戲網頁小遊戲 方法/步驟 本文以7K7K小遊戲中的一個 ...
  18. 如何抓取網頁中的視頻

    平時瀏覽網頁看到自己喜歡的視頻想要download下來,卻發現沒有下載按鈕,相信很多小夥伴都有過類似的經歷,今天小編教大家如何使用goole瀏覽器抓取網頁中的視頻,希望能對大家產生幫助. 工具/原料 ...
  19. js如何抓取網頁數據

    js如何抓取網頁數據?下面我們來看看吧. 工具/原料 pc 方法/步驟 首先在根節點document中監聽所有需要抓取的事件. 在元素事件傳遞中,捕獲階段獲取事件信息,進行埋點. 通過getBound ...
  20. 如何用python抓取網頁數據

    可能很多小夥伴們不是很清楚如何用python抓取網頁數據,那麼具體應該怎麼做呢?感興趣的小夥伴們隨小編一起看看吧! 方法/步驟 在抓取網站中有兩個基本的任務: 加載網頁到一個 string 里. 從網 ...