本次关于爬虫框架WebMagic的开发学习，将基于java语言的Spring框架，Spring框架是java语言诸多优秀框架里脱颖而出的一个功能完善的轻量级核心框架。现如今Spring Boot和Spring Cloud 的技术加成，给Spring框架的应用带来了更多的成熟优秀的解决方案，如虎添翼，使其应用更加广泛。本次学习，将基于Springboot结合WebMagic进行
网络爬虫是一个比较成熟的技术应用，目前，从技术角度说，市面上的爬虫框架有很多种选择，不同种开发语言又有许多不同的种类，这就让不少人在开发预研的时候陷入选择上的迷茫，接下来我们收集了一下市面上主流的开发语言中对一些主流的爬虫框架，并简单看下爬虫框架的优劣；希望在对我们在选择是用什么样的爬虫框架方案中有所帮助
关于排序的算法，还有很多种。还有一些排序算法的思想，在不同的使用场景下再结合其它的算法逻辑，又可以衍生出新的算法设计。比如基数排序，就是在桶排序的基础上，按照一定的规则进行递归；还有计数排序，也是类似原理。除了这些常见的排序，还有一些比较典型的算法，像什么奇偶排序、梳排序、耐心排序、图书馆排序等等
当下，随着互联网的快速发展，网页信息数据更加丰富，无论是现在还是可预见的将来，数据量都将会是指数级的暴涨，这时候如何有效的提取筛选这些信息为己所用，已经成为一种挑战。传统的搜索引擎，在很多特定的场景、专门的领域，它也是乏力难支的。所以，很多定向抓取相关网页资源的网络爬虫应运而生
基数排序是一种不在数据值本身之间比较的排序算法，而是通过数据按位数“切割”对比，从而实现排序的算法，所以基数排序也被认为是一种典型的非比较排序算法。在实际运用中，基数排序的使用场景不局限于整数，凡是整数可以表达的，或者有规律格式的字符串，都适用。基数排序的发明，据说是赫尔曼·霍尔瑞斯在1887年总结出来的
归并排序是一种非常典型的分治策略应用排序算法，简而概括：分而排之，合而并之。归并排序，据说是冯·诺伊曼在1945年首次提出。冯·诺伊曼，是现代计算机科学发展史上开天辟地的大佬之一，不单单是计算机领域，这哥们在整个数学、量子力学和经济学中都做出了卓越的贡献，简直超神一般，遥敬大佬：冯先生 long live ！
堆排序是一种利用堆这种数据结构特性实现的排序算法，被认为是一种选择排序。堆排序在排序数据量较大时，性能相对比较优越。堆是什么，堆可以理解成完全二叉树，且堆要求子节点完全小于等于或完全大于等于父节点，也就是说堆只有两种形式：子节点完全小于等于父节点的，被称为大顶堆；子节点完全大于等于父节点的，被称为小顶堆
简单选择排序是一种相对简单直观的基础排序算法，每一次都做简单选择，每一次都选出最大或最小。选择排序的核心思想就是：在遍历的过程中，每次都选数据样本中最小的数据，放在首位。看起来简单纯朴吧，从第一个元素开始，每次都取剩余数据元素的最小个，我们小时候摆积木的玩的时候，都已经掌握的算法，质朴归真，哈哈哈
简单插入排序是很循规蹈矩的做法，即使运用二分插入。不考虑特殊情况，这种穷尽遍历算法，在时效问题上，是确定低效。于是有个叫希尔（Donald Shell）的大神，据说在公元1959年一个风雨交加电闪雷鸣的夜晚，喝着咖啡唱着小曲儿，灵光乍现、欣然偶得。为了表达对这位先贤的敬仰和怀念，后世就直接以他的名字给这个算法命名，希尔排序
插入排序，一般是说直接插入排序，是一种最直观最简单的排序算法。插入排序的原理是依次将未排序的数据元素插入已完成排序的有序数列，如此往复，最终完成所有数据的排序。在插入排序中，往前遍历的时候，遇到等值的元素就直接插入结束这一轮了，也就是说，经过排序，这些数据元素的相对顺序是不受影响的，所以插入排序属于稳定的排序算法
