经过对WebMagic的源码进行了走读，知道了Spider默认设置了QueueScheduler，用以处理链接重复的问题。本次学习我们再次对WebMagic的源码进行了走读，并实现了一个判定重复的简单逻辑。至此，WebMagic框架的Scheduler组件是如何实现对URL的判定重复，实际应用中，会有更加具体、更加复杂的业务需要，我们在此思路下进行实现即可
读过源代码，再回顾我们之前所学所述，WebMagic的工作机制，以及之后我们如何设计具体的爬虫程序，思路会更加明了清晰。我们知道了Scheduler是WebMagic中进行URL管理的组件，其作用是对待抓取的URL队列进行管理和对已抓取的URL进行去重。有时候不同的URL指向的是相同的页面，这时候去重就不是简单的URL字符串对比了
陆奇，奇绩创坛创始人兼CEO，2020年12月19日在深圳做了一场名为《新格局下的创业创新机会》的演讲。在将近2小时的演讲中，他分析了当前世界正在形成的新格局以及正在被历史加速的四大核心趋势，系统地梳理了创业者所面临的完整的创业机会，并分享了一系列的思考模型，包括创业者能力模型、如何判断时机、如何打造壁垒以及如何思考商业价值等
composer 是 php 包管理工具，通常使用 composer 安装扩展包将会在当前目录创建一个 vendor 文件夹，并将所有依赖文件放在其中。一般这个目录需要放在 web 目录外，用户不能直接访问。这里，PHPUnit 是 PHP 程式语言中最常见的单元测试 (unit testing) 模块，如果生产环境中安装了PHPUnit，且该模块目录拥有Web可访问权限，则存在远程代码执行漏洞
WebMagic框架的使用中，Pipeline组件完全是插拔式的，即我们根据功能需要，可以随意增加组合实现。事实上WebMagic框架所有的功能组件都是如此，Spider是一个队列总线，所有的组件都通过接口的实现，参与到整个数据抓取处理流程的工作中来，分工合作，按需定制，这种设计思想也是以后我们在程序设计上非常值得借鉴的
用户来到我们的网站，因为什么？当然是带着需求来的。无论是什么需求，既然来了，我们就要尽量满足。良好的内容建设，会有效的吸引用户，给我们带来稳定高质的访问量；建立合理的互动气氛，会让用户感到尊重和持续的兴趣。如果我们能做到，让用户积极踊跃的自发分享和转载我们网站的链接，那就会给网站的优化效果带来质的飞跃！
在爬虫框架WebMagic中，用于保存结果的组件叫做Pipeline。在WebMagic已经实现了的Pipeline接口中，如果我们仅仅是想把抓取数据进行控制台输出，我们可以借助它的ConsolePipeline；如果我们想将数据以文件的形式进行存储，即可借助它的FilePipeline。如果我们想实现自己想要的具体功能，我们就得定制我们所需的Pipeline
美团单车及电单车团队发布公告称，摩拜App、摩拜微信小程序将于12月14日晚23点59分停止服务和运营，即日起用户可选择使用原摩拜账号登陆美团App，原摩拜账号中的余额、骑行卡套餐等相关权益仍可在美团App内继续使用。早些时候，美团联合创始人王慧文在内部信中宣布，摩拜已全面接入美团App，并更名为“美团单车”
无论是Jsoup还是Xsoup，都是为了实现HTML页面文件的解析和数据定位，还有正则表达式，根据这些技术原理，WebMagic进一步集成浓缩，将这些我们在爬虫开发过程中使用频率很高的功能，抽提出一个叫Selectable的接口。Selectable可以使我们在操作中简单快捷的完成页面元素的提取，不去关心具体操作细节，而把更多的精力用在爬虫业务的实现上
爬虫爬取内容，本质就是把网站页面下载、读取过来，然后其核心工作就是解析定位，提取数据。这里说的Jsoup、Xsoup、CSS选择器、Xpath、JsonPath，包括正则表达式的应用，都是数据处理过程中必不可少的基础性技术。我们使用的爬虫框架WebMagic，是使用Jsoup作为HTML解析工具的，还有基于Jsoup升级了能解析XPath的工具Xsoup
