爬虫 | 黑龙江码哆科技有限公司

爬虫

设计爬虫Hawk背后的故事

Hawk有很多的bug，没单元测试，功能不完善。但这都不是最根本的缺点，最根本是难于实现条件判断和循环，你很难写出if,switch和while。这也是函数式语言的共同问题，你不得不逼迫自己用另外的思路去解决。虽然通过引入子任务，能“不够优雅”地解决它，但依旧要花费不少脑筋。

爬虫 Hawk Python

12 2017-01-15

基于java的分布式爬虫

分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网

java java分布式爬虫

10 2015-04-21