通过python分布式开发 网页数据抓取(二)——核心问题讨论

作者:课课家教育更新于： 2016-01-08 14:05:29

　　数据匹配

　　首先先研究最关键的数据抓取。从形式各异的数据中将内容“扒”下来。

　　当然得依赖我们的强力工具 正则表达式了(个人觉得基于DOM树分析很麻烦，很不灵活)

　　分析了几个BOKECC页面后，总结如下：

　　1. 各页面有一定差别，可能是基于不同版本。HTML写的很不正规，基于HTML标签来匹配肯定不合适。

　　2. 页面带动态内容，需要分析，模拟AJAX去请求。

　　在基于HTML源码的数据爬取中，如果单纯的想基于HTML标签做挖掘，肯定正确率很低。还是需要返璞归真，人怎么看的，就怎么挖。

　　于是我大多是采用基于页面视觉(比如文字、或者区域)的匹配方法。将一些不太重要的HTML标签过滤掉。然后进行数据匹配。

　　这里用到了Python的re模块。

　　先写了写几个程序用来测试，测试了来自20个不同网站的页面，基本能够抓取正确。

　　接下来说说AJAX内容。

　　为什么动态内容需要模拟AJAX请求呢?

　　因为你以HTTP流的方式去获取网页内容，是不带动态打出的内容的。(比如div标签里是空的)，但是当你以浏览器的形式去访问，能够看到数据，这是因为浏览器的javascript引擎执行了其中的JS代码，去异步请求数据，动态打出在页面上。

　　WEB接口

　　每个节点需要暴露WEB接口，在上一篇的设计中，我提到了SOAP协议。实际实现的时候，在此系统中我们还是使用的基于HTTP GET的接口。(编码比较简单，:D)，为了方便部署、也为了体现python一切都那么简单的原则，我没有使用apache等知名Web服务器，而是使用了python的BaseHTTPServer模块。重载 do_GET方法来实现我们的WEB接口暴露。

　　为什么WEB接口需要设计同步和异步两种返回?由于我们的分布式节点是基于任务形式的，所以我们节点任务逻辑反馈包括2步：

　　1. 确认任务收到

　　2. 任务完成回调

　　这样控制者方面的程序就很好编写了：对于所有的节点发送任务，同时附带任务号，在节点同步反馈接收任务后，等待，若某节点任务回调了，则认为该节点闲置，再分配任务。。。(当然，实际情况可能每个节点是多线程跑的，还可以由节点、或者控制者来维护一个任务队列和线程池)

　　异步如何实现?

　　起线程。(当然你也可以管理线程池，我这儿就没管这么多了)

　　数据库操作

　　没啥好说的，我这用的MYSQL，直接SQL语句。简单明了。

　　如何部署?

　　由于我这只有在WINDOWS平台部署的需求，所以我用py2exe打成EXE包发布。

　　若想实现自动化部署也很简单，自己在每个节点上写个“后门”，可以统一调度所有机器的后门即可。(控制其下载、重启)（课课家在线教育）