老狗啃骨头   @Veiking   2020-12-02

老狗啃爬虫-小爬虫初长成之PageProcessor

WebMagic是一个简单灵活的Java爬虫框架。其简单的API，容易上手，模块化的结构，便于轻松扩展；同时也功能完备，且提供多线程和分布式支持。基于WebMagic，我们可以快速开发出一个高效、易维护的爬虫。WebMagic框架主要由Downloader、PageProcessor、Scheduler、Pipeline四大组件组成