前嗅ForeSpider同一個網站中從另一頁面採集數據

本文主要介紹了用前嗅ForeSpider同一個網站中從另一頁面採集數據的具體操作流程:

工具/原料

前嗅ForeSpider採集系統

方法/步驟

第一步:新建任務

①點擊左上角「加號」新建任務,如圖1:

②在彈窗里填寫採集地址,任務名稱,如圖2:

③點擊下一步,選擇進行數據抽取還是連結抽取,本次採集企業最新動態連結列表,所以點擊抽取連結,選擇連結列表,如圖3:

④完成之後,在模板抽取配置下生成兩個模板,默認模板:01和連結列表:02。模板1中的「連結列表」連結抽取已與模板2關聯,如圖4。如果配置的時候發現關聯有問題,可以自己進行更改。

第二步:使用定位過濾,得到列表連結

①按住Ctrl+滑鼠左鍵,進行區域選擇,按住Shift+滑鼠左鍵,擴大選擇區域。

②點擊確認選區,如圖1:

③點擊採集預覽,確認連結抽取是否正確,如圖2:

第三步:在模板2添加示例地址,並添加連結抽取

①將模板1過濾得到的任意一條連結,作為模板2的示例地址。如:http://blog.11467.com/b427516.htm,如圖1:

②新建連結抽取。直接點擊模板2,點擊上面「新建連結抽取」按鈕,得到連結抽取,如圖2。

③關聯模板

在軟體中模板的關聯關係,與網頁中連結跳轉的關係相同。

根據網頁跳轉規律,模板1中的「連結列表」連結抽取已與模板2關聯。如果配置的時候發現關聯有問題,可以自己進行更改。

第四步:使用定位過濾,得到列表連結

①按住Ctrl+滑鼠左鍵,進行區域選擇,按住Shift+滑鼠左鍵,擴大選擇區域。

②點擊確認選區,如圖1:

③右擊模板預覽,查看連結抽取結果,如圖2所示:

④確認連結抽取是否正確,如圖3:

第五步:新建模板3添加示例地址,並添加連結抽取

①新建模板3,將模板2過濾得到的連結,作為模板3的示例地址。如:http://93358999.b2b.11467.com,如圖1:

②新建連結抽取。直接點擊模板3,點擊上面「新建連結抽取」按鈕,得到連結抽取,如圖2。

③關聯連結列表的「新建連結抽取」。

根據網頁跳轉規律,將模板2連結列表的「新建連結抽取」關聯模板3。如果配置的時候發現關聯有問題,可以自己進行更改,如圖3:

第六步:使用定位過濾,得到導航列表的連結

①按住Ctrl+滑鼠左鍵,進行區域選擇,按住Shift+滑鼠左鍵,擴大選擇區域。

②點擊確認選區,如圖1:

③右擊模板預覽,查看連結抽取結果,如圖2所示:

④確認連結抽取是否正確,如圖3:

⑤使用標題過濾,得到「聯繫我們」的連結,如圖4所示:

第七步:新建模板4添加示例地址,並添加連結抽取

①新建模板4,將模板3過濾得到的「聯繫我們」連結,作為模板4的示例地址。如:http://tianjin0311065.11467.com/contact.asp,如圖1:

②新建數據抽取。直接點擊模板3,點擊上面「新建數據抽取」按鈕,得到數據抽取,如圖2。

③關聯模板3的「新建連結抽取」。

根據網頁跳轉規律,將模板3的「新建連結抽取」關聯模板4。如果配置的時候發現關聯有問題,可以自己進行更改,如圖3:

第八步:創建/選擇表單

在ForeSpider爬蟲中,表單是可以復用的,所以可以在數據表單出直接選擇之前建過的表單,也可以通過表單ID來進行查找並關聯數據表單。此處使用的是方法三。

方法一:通過下拉菜單或表單ID選擇已有表單

方法二:點擊創建表單進入快速建表頁面,新建表單,如圖1所示。

方法三:點擊「採集配置」-「數據建表」,點擊采「採集表單」後面的,如圖2:

第九步:配置表單

根據所需內容,配置表單欄位(即表頭),此處配置了包括網頁主鍵、聯繫人、電話、地址以及公司介紹五個欄位。其中,公司介紹欄位intro_text的取值在同一網站的不同頁面,需要用到腳本取值,配置類型時需要選擇高級取值>模板取值,表單如圖:

第十步:欄位取值

①關聯表單,如圖1所示:

②取值方法:按住Ctrl+滑鼠左鍵,進行區域選擇,按住Shift+滑鼠左鍵,擴大選擇區域。

person、tel、addr欄位,如圖2:

③intro_text欄位需要進行模板取值。

第十一步:創建新的模板,添加示例地址

①表單intro_text欄位來自公司介紹,如圖1所示。

圖中紅框部分為取值內容,如圖2所示:

②新建模板,添加「公司介紹」連結為示例地址,如:http://93358999.b2b.11467.com/about.asp(模板3右擊模板預覽,選擇全部連結),如圖3所示:

③直接點擊模板5,點擊上面「新建數據抽取」按鈕,得到數據抽取,如圖4:

第十二步:創建/選擇表單

①點擊「採集配置」-「數據建表」,點擊采「採集表單」後面的,如圖:

第十三步:配置表單

根據所需內容,配置表單欄位(即表頭),此處配置了「公司介紹」欄位intro_text表單如圖:

第十四步:關聯表單,完成「公司介紹」欄位抽取

①點擊模板5,關聯表單,如圖1所示:

②使用欄位定位取值方法。

按住Ctrl+滑鼠左鍵,進行區域選擇,按住Shift+滑鼠左鍵,擴大選擇區域,確認選區,如圖2所示。

③右擊模板預覽,如圖3所示:

④模板預覽結果,如圖4所示:

第十五步:模板取值關聯

①點擊模板4,點擊intro_text欄位,在紅框中填入「href=[5]」,並按住Ctrl+滑鼠左鍵,進行區域選擇,如圖1所示。

「[ ]」中填寫模板ID。

②點擊模板4,右擊模板預覽,如圖2所示:

③預覽結果如圖3所示:

第十六步:採集預覽

①點擊右上角採集預覽,如圖1:

②雙擊任意一條連結,看看是否可以得到和網頁對應的規整的數據,如圖2,圖3,圖4所示。

相關文章

  1. 如何爬取網站數據——前嗅ForeSpider使用教程

    前嗅forespider數據採集軟體的使用教程,可視化的軟體,簡單的操作,強大的功能,幫助不會爬蟲的人採集數據. 工具/原料 ForeSpider 方法/步驟 我們想要從網上獲取自己想要的數據,通常有 ...
  2. 前嗅ForeSpider採集表格/列表頁中的數據+翻頁

    採集帶有翻頁的表格/列表中的數據. 工具/原料 ForeSpider數據採集軟體 方法/步驟 第一步:新建任務 以圖中網站最近出版頁為例,採集列表頁的所有數據: 第一步:新建任務 ① 擊左上角&quo ...
  3. 超好用的前嗅ForeSpider爬蟲軟體教程

    給大家介紹ForeSpider數據採集系統的使用教程.因為屬於專業性工具,所以除了幫助文檔外很少有使用教程. 跟之前使用過的其他爬蟲軟體對比發現,ForeSpider爬蟲有自己的內置資料庫,當然也支持 ...
  4. 前嗅ForeSpider爬蟲軟體採集網頁中看不到的數據

    給大家介紹一款好用的爬蟲數據採集軟體. 1.前嗅ForeSpider數據採集系統,集成前嗅自主研發的數據採集系統.數據挖掘系統.數據分析引擎.資料庫和伺服器,實現數據從採集.挖掘.分析到入庫一步到位. ...
  5. 簡單用前嗅ForeSpider爬蟲軟體採集表格/列表

    方便快捷的可視化採集表格/列表數據 工具/原料 ForeSpider數據採集軟體 方法/步驟 第一步:新建任務 以前嗅的官網Web伺服器表格為例. ① 擊左上角"加號"新建任務,圖 ...
  6. 前嗅ForeSpider通過子欄目採集正文數據

    用前嗅ForeSpider通過子欄目進入連結列表採集正文數據,適用於所有採集網頁正文數據的採集工作. 工具/原料 前嗅ForeSpider採集系統 方法/步驟 第一步:新建任務 ①點擊左上角" ...
  7. 前嗅ForeSpider採集列表和正文的數據

    前嗅ForeSpider採集列表和正文的數據 工具/原料 前嗅ForeSpider採集系統 方法/步驟 第一步:新建任務 ①點擊左上角"加號"新建任務,如圖1: ② 彈窗里填寫採集 ...
  8. 前嗅ForeSpider採集連結/源碼/時間/地址等

    前嗅ForeSpider採集網頁連結/源碼/時間/重定向地址等具體操作流程 工具/原料 前嗅ForeSpider採集系統 方法/步驟 第一步:新建任務 ①點擊左上角"加號"新建任務 ...
  9. 用前嗅ForeSpider通過搜尋框檢索關鍵詞採集數據

    以百度搜尋關鍵詞為例,用前嗅ForeSpider採集當前列表頁的正文數據. 工具/原料 前嗅ForeSpider採集系統 方法/步驟 第一步:新建任務 ①點擊左上角"加號"新建任務 ...
  10. 前嗅ForeSpider教程:採集圖片/視頻/資源文件

    本文介紹了如何採集圖片/視頻/資源文件~ 工具/原料 前嗅ForeSpider採集系統 方法/步驟 第一步:新建任務 ①點擊左上角"加號"新建任務,如圖1: ① 彈窗里填寫採集地址 ...
  11. 前嗅ForeSpider教程:通過連結列表採集正文數據

    前嗅ForeSpider爬蟲改版之後,好像變得很好用.發個教程給大家看一下,本文介紹的是,如何通過列表頁採集正文數據. 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角&qu ...
  12. 前嗅ForeSpider教程:如何採集新聞數據

    在信息大爆炸的時代,如何成批量的抓取優質新聞數據,今天來為大家介紹一下如何用ForeSpider採集新聞數據.操作如下: 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角&q ...
  13. 如何採集論壇數據——前嗅ForeSpider

    以圖中網站為例,採集當前列表頁博文的正文數據 工具/原料 ForeSpider數據採集軟體 第一步:新建任務 點擊左上角"加號"新建任務,如圖所示. 在彈窗里填寫採集地址,任務名稱 ...
  14. 前嗅ForeSpider採集需要配置登陸的網頁內容

    使用前嗅ForeSpider,進行登錄配置後採集正文數據. 工具/原料 ForeSpider數據採集軟體 第一步:新建任務 點擊左上角"加號"新建任務,如圖 彈窗里填寫採集地址,任 ...
  15. 如何在分區連結採集正文數據——前嗅ForeSpider

    以圖中網站(金融經濟)為例,通過當前要聞分區連結到新聞列表頁採集正文數據. 工具/原料 前嗅ForeSpider 第一步:新建任務 點擊左上角"加號"新建任務,如圖所示. 在彈窗里 ...
  16. 前嗅ForeSpider教程:新聞資訊採集

    本文主要介紹了用前嗅ForeSpider採集新聞資訊的詳細操作流程: 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角"加號"新建任務,如圖: 在彈窗里填 ...
  17. 前嗅ForeSpider教程:採集企業信息

    本文主要介紹了前嗅ForeSpider教程採集企業信息的具體操作流程: 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角"加號"新建任務,如圖: 在彈窗里 ...
  18. 前嗅ForeSpider教程:採集黃頁88

    本篇文章主要說明了前嗅ForeSpider採集系統採集黃頁88的具體操作步驟: 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角"加號"新建任務,如圖 在 ...
  19. 前嗅ForeSpider教程:採集分類信息(以58為例)

    本篇文章主要介紹了用前嗅ForeSpider採集分類信息的詳細操作流程: 工具/原料 前嗅ForeSpider採集系統 第一步:新建任務 點擊左上角"加號"新建任務,如圖: 在彈窗 ...
  20. 如何在評測網站中成功發布信息?

    評測已經成為了一個主流詞語,不論任何都有評論,信息.知識.吃食.衣服.數碼等等,那麼如何發布這種消息呢? 工具/原料 一個帳號 一個信息 方法/步驟 首先需要註冊一個帳號,一般網站都有免費註冊 四個字 ...