如何抓取網頁製作製作 mdx 格式詞典

一個簡單得不能再簡單的網頁抓取然後製作mdx教程

工具/原料

作業系統:Windows 7 旗艦版64位
抓取工具:wget
文本處理:EditPlus, UltraEdit, TextForever

方法/步驟

獲取網站 index,新建一個txt,內容為要抓取的所有詞條的URL。

txt命名為download.txt。我把這個download.txt和wget.exe(如果你下載的wget是wget+版本號.exe,不妨重命名為wget.exe),這倆文件都放在D:\DOPF下。cmd.exe->CD/D D:\DOPF->wget -i download.txt

下載處理後,得到一共16698個連結。

抓取內容同樣的,wget -i download.txt把上面那N個html都抓下來,然後就很簡單了

文本提取觀察可知,詞典條目內容在第一個<h1>和<div class="source">之間。

利用TextForever來提取文本。

提取完畢,合併得到的16695個html,這本詞典的製作過程中,我思考了下,不用在「文件內容前加注文件名」,有的情況下,是需要這樣做的,以方便提取keywords,經過測試,還是要在「文件內容後加空行」。

得到dopf-src.txt,對這個txt進行操作,得到可build為mdx的txt。

製作mdx合併後的文本長這樣:

詞典是xml,由於MDict PC版不支持xml+css(除非升級內核),我們要把xml標籤替換為html標籤。經過下面一系列的操作。處理後最終的文本是這樣:

寫css。

中途遇到些小問題,一個個解決,最後,成品:

是不是比在線的稍微順眼點呢?

注意事項

過程有些 tricky,多嘗試就明白了

相關文章

  1. 抓取美麗說產品製作淘寶數據包

    對於任何平台的網店,想提高轉化率,絕大部分買家來購物是從寶貝搜尋進來,首先看到的是你的寶貝詳情頁.所以一定要在寶貝描述頁做文章,並不是說把頁面做成兩三米長,而是要把你的賣點.你最吸引買家眼球的.讓買家 ...
  2. PHP抓取網頁failed to open stream解決方案

    本教程完美解決PHP抓取網頁failed to open stream: HTTP request failed!遇到的問題. 工具/原料 PHP一系列軟體 電腦一台 方法/步驟 如圖所示:抓取失敗了 ...
  3. 搜尋引擎抓取網頁原理學習筆記

    做正規seo技術必會的搜尋引擎抓取網頁原理應該是很複雜的.可以寫洋洋灑灑的長篇論文.這裡就將我自己學習到的網頁抓取原理記錄一下.筆記應該不夠完整隻將重要過程做個介紹 步驟/方法 做正規seo技術必會的 ...
  4. 怎麼用Java程序抓取網頁原始碼?

    怎麼用java程序抓取網頁原始碼?如果抓取代碼都用程序來做的話,相信要快很多.程序如下:       import java.io.BufferedReader;import java.io.IOEx ...
  5. 一次抓取網頁中所有圖片

    一次抓取網頁中所有圖片 我們上網找素材的時候,經常會遇到一些網頁裡面用了很多自己能夠用到的圖片,但是每一個都要單擊右鍵,然後圖片另存為,很是麻煩.其實藉助SnagIt抓圖軟體可以一次抓取網頁內所有圖片 ...
  6. 如何java寫/實現網絡爬蟲抓取網頁

    很多時候我們需要一些數據或者信息,而這些信息可能是收費的,不公開的,也可能是信息量比較大,如果單純靠我們手工來做的話可能比較浪費時間,所以我們需要寫一個網絡爬蟲,高效地將自己需要的信息抓取下來,在這裡 ...
  7. 小樂圖客攻略:[16]如何抓取網頁CSS背景圖

    我們知道在網頁取圖時,經常遇到一些使用小樂圖客取不到的圖.這時就需要考慮這些圖片是否屬於CSS背景圖,實際圖片地址是否隱藏在CSS文件中.本文分享給大家如何批量從網站CSS文件中抓取背景圖的方法. 工 ...
  8. 搜尋引擎抓取網頁的方法

    愈來愈多的站長加入到了seo的行列之中,新站長需要知道很多的基礎知識,才能開始優化之旅,有很多半罐子的理論有時會誤導你,網站優化給新手站長推薦Google給網站管理員的網站站長指南.這是一本簡潔的精確 ...
  9. 抓取網頁指定內容(資料),獲取網頁里的圖片

    最近有遇到同學反饋,網頁里的那些沒有特徵值的文本元素不知道怎麼獲取.以及,不知道怎麼獲取保存網頁里出現的圖片. 工具/原料 按鍵精靈2014 方法/步驟 獲取網頁指定文字: 目前按鍵支持的元素特徵值有 ...
  10. 如何抓取網頁或考試軟體中不能複製的文字

    一些網頁或軟體中的文字被限制,不能複製.而我們卻需要把這些文字複製出來,那麼怎麼才能把這些被限制的文字複製出來呢,下面我給您分享一個好方法:那就是利用圖片文字抓取工具軟體把這些被限制的文字提取出來.這 ...
  11. 各種瀏覽器抓取網頁圖片技巧

    各種瀏覽器抓取網頁圖片技巧 工具/原料 電腦上安裝好相應的瀏覽器即可 方法/步驟 先說下360的單張圖片抓取 art+滑鼠點擊想要得到的相應圖片,然後保存到相應位置即可. 360的整個頁面圖片的抓取 ...
  12. 怎樣抓取網頁中的flash動畫

    在網頁中抓取flash動畫,沒有下載連結也可獲得flash. 工具 閃客名捕 閃客精靈 步驟/方法 在安裝碩思閃客精靈的時候,閃客名捕會自動安裝在瀏覽器中:重啟瀏覽器,在瀏覽器的工具欄中會增加這個圖標 ...
  13. 如何批量抓取網頁中的所有圖片

    批量抓取圖片 工具/原料 百度瀏覽器 方法/步驟 百度搜尋百度瀏覽器,下載 打開百度瀏覽器,在網頁右側找到"菜單"-點擊"我的應用" 點擊"打開應用中 ...
  14. 使用八爪魚採集器抓取網頁數據

    php抓取網頁內容比較常用的是藉助第三方類編寫抓取代碼,其中QueryList是一個基於phpQuery的通用列表採集類,是一個簡單. 靈活.強大的採集工具,也比較常用,但是對於一些不用代碼想要抓取網 ...
  15. 建站之路028火車頭採集器抓取網頁文章

    火車頭採集器是一款網頁數據採集器,它可以快速的對網頁上數據信息進行規範性的採集,包括圖片,文字,表格,連結,手機,郵箱等.實現準確高效的實時抓取數據 擁有強大的採集功能,能夠採集那些需要登陸才能查看的 ...
  16. Excel如何抓取網頁數據之JSON數據抓取

    Excel 2013以後的版本提供了WEBSERVICE和FILTERXML函數可用於網頁數據抓取,但只能抓取XML格式的數據.而現在很多網站的網頁或接口返回的都是HTML或JSON數據,那麼如何精確 ...
  17. 如何抓取網頁小遊戲中swf內容。

    在我們的生活中,我們時常會玩一些小遊戲娛樂,但有時又斷網,這時就可以把遊戲抓取在本地中玩. 工具/原料 秋風網頁Flash抓取器 除4399外的遊戲網頁小遊戲 方法/步驟 本文以7K7K小遊戲中的一個 ...
  18. 如何抓取網頁中的視頻

    平時瀏覽網頁看到自己喜歡的視頻想要download下來,卻發現沒有下載按鈕,相信很多小夥伴都有過類似的經歷,今天小編教大家如何使用goole瀏覽器抓取網頁中的視頻,希望能對大家產生幫助. 工具/原料 ...
  19. js如何抓取網頁數據

    js如何抓取網頁數據?下面我們來看看吧. 工具/原料 pc 方法/步驟 首先在根節點document中監聽所有需要抓取的事件. 在元素事件傳遞中,捕獲階段獲取事件信息,進行埋點. 通過getBound ...
  20. 如何用python抓取網頁數據

    可能很多小夥伴們不是很清楚如何用python抓取網頁數據,那麼具體應該怎麼做呢?感興趣的小夥伴們隨小編一起看看吧! 方法/步驟 在抓取網站中有兩個基本的任務: 加載網頁到一個 string 里. 從網 ...