老狗啃骨头   @Veiking   2020-11-18

老狗啃爬虫-爬虫方案选择之WebMagic

网络爬虫是一个比较成熟的技术应用，目前，从技术角度说，市面上的爬虫框架有很多种选择，不同种开发语言又有许多不同的种类，这就让不少人在开发预研的时候陷入选择上的迷茫，接下来我们收集了一下市面上主流的开发语言中对一些主流的爬虫框架，并简单看下爬虫框架的优劣；希望在对我们在选择是用什么样的爬虫框架方案中有所帮助