老狗啃爬虫-爬虫学习总结(示例源码)
摘要:
爬虫技术也不是局限于某种编程语言的应用技术,语种上没有优劣之分,有时候我们遇到问题,除了参考网上的案例,去读源码,去了解程序逻辑的具体意图,很多时候也要考虑跨语言跨领域去借鉴一些优秀的解决方法。所以,爬虫技术完全是发散性的,可能涉及的东西非常多,保持一颗好奇心是非常重要的
通过前面爬虫框架webmagic的学习和使用,我们对爬虫的整个工作流程,也有了比较深刻的认识,很多时候,在我们设计具体方案的时候,这些框架啊插件啊,可用可不用,记住他的精髓,实现目的才是最好的。
爬虫技术也不是局限于某种编程语言的应用技术,语种上没有优劣之分,有时候我们遇到问题,除了参考网上的案例,去读源码,去了解程序逻辑的具体意图,很多时候也要考虑跨语言跨领域去借鉴一些优秀的解决方法。所以,爬虫技术完全是发散性的,可能涉及的东西非常多,保持一颗好奇心是非常重要的。
好了,关于爬虫的学习我们先告一段落,下面是整理好的程序源码,我们分别打包,方便感兴趣的小伙伴取用。
分章节源码: