老狗啃骨头   @Veiking   2021-01-01

老狗啃爬虫-动态页面爬取之Selenium

之前讲了很多关于webmagic的爬虫实现方法，都是基于静态网页的，我们只需考虑根据链接下载页面，然后解析html提取目标数据即可。然而，很多网站的页面数据是动态的，那么简单的下载解析将毫无意义，这时候我们就得借助额外的技术方案来达成目的，这里我们准备借助一个爬取动态网页信息比较实用的插件工具，即是Selenium，来实现我们的爬虫程序