如何抓取网页制作制作 mdx 格式词典

1、获取网站 index，新建一个txt，内容为要抓取的所有词条的URL。txt命名为download.txt。我把这个download.txt和wget.exe（如果你下载的wget是wget+版本号.exe，不妨重命名为wget.exe），这俩文件都放在D:\DOPF下。cmd.exe->CD/D D:\DOPF->wget -i download.txt下载处理后，得到一共16698个链接。

2、抓取内容同样的，wget -i download.txt把上面那N个html都抓下来，然后就很简单了

3、文本提取观察可知，词典条目内容在第一个<h1>和<div class="source">之间。利用TextForever来提取文本。

8、中途遇到些小问题，一个个解决，最后，成品：