老狗啃骨头
@Veiking
2021-05-12
老狗咬咬乐-SpringCloud概述
在微服务概念风生水起的背景下，如何提供一种简单易行的分布式系统开发模型，成了水到渠成的事情，SpringCloud就是在这种背景下，应运而生。在微服务构建过程中，服务注册发现 、服务网关、负载均衡 、容错断路器、消息总线，以及服务配置 、服务监控等等一系列操作，都是非常重要的，接下来我们就看看SpringCloud提供的一揽子解决方案
在微服务概念风生水起的背景下，如何提供一种简单易行的分布式系统开发模型，成了水到渠成的事情，SpringCloud就是在这种背景下，应运而生。在微服务构建过程中，服务注册发现 、服务网关、负载均衡 、容错断路器、消息总线，以及服务配置 、服务监控等等一系列操作，都是非常重要的，接下来我们就看看SpringCloud提供的一揽子解决方案
在低版本的MySQL使用过程中，当我们在使用某个较长字段创建唯一索引时，经常会爆出1709的错误：innodb_large_prefix and ERROR 1709 (HY000): Index column size too large. The maximum column size is 767 bytes. 这是设置索引长度超了。报这个错误在5.6之前的MySQL使用中非常普遍，但不同版本处理的方法多少还是有些不同，需要注意
爬虫技术也不是局限于某种编程语言的应用技术，语种上没有优劣之分，有时候我们遇到问题，除了参考网上的案例，去读源码，去了解程序逻辑的具体意图，很多时候也要考虑跨语言跨领域去借鉴一些优秀的解决方法。所以，爬虫技术完全是发散性的，可能涉及的东西非常多，保持一颗好奇心是非常重要的
很久以前，一门叫java的编程语言面世，据说当时创派祖师爷们是喝着爪哇岛产咖啡苦思冥想所悟，所以时至今日，这门编程语言的图腾，还是一杯冒着热气儿的咖啡。不久后EJB应运而生，拉开了J2EE的序幕，但好景不长，EJB起初精心设计，却因其相对复杂和笨重招来不少非议，最后存亡之秋，J2EE信徒没有放弃，精诚石开，最终Spring横空出世，展开新的篇章
随着软件产业的日益发展壮大，软件的规模也在逐渐变得庞大。软件的复杂度不断攀升，就开始出现了精细化分工。除了软件开发工程师之外，又有了软件测试工程师，软件运维工程师。DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合
这一次我们即是接着上篇的Selenium登录，拿到它的Cookie，然后在重新打开的浏览器中，通过加载Cookie来达到用户已经登录的状态。利用Selenium实现登录、并通过获取的Cookie去访问受限页面，可以让我们写的爬虫在更多的场景下进行劳作。但还是要强调一点，如有违法犯纪，损人利己，切不可为，要在法律法规允许的范围内施展才艺
使用java玩web的大神们都熟悉，当程序开发好打成war包，放入服务器容器，非常方便；PHP5之后，PHP界大神给大家提供了一个功能类似的工具，就是Phar。虽然许多迹象让Phar看起来都像是过时了，但像javaWeb开发那种war包部署的方式，也确实是香，于是就想着研究研究这个Phar，怎么借助Phar，实现类似于javaWeb开发中那种打包部署的功能
前面我们学了借助Selenium抓取动态页面，感受了下Selenium飘逸的功能。但有时候呢，查看页面时需要一些权限，不登录没法看，这让人如何是好…莫怕，Selenium有办法！Selenium能模拟用户登录，是可以让我们通过爬虫程序获取受限制的数据信息的，接着我们就这前面的，在百度移动端的页面上，来实现用户登录
最近需要填一些漏洞，于是想着索性先把laravel框架升级至最新，这样可以避免很多隐患。除去各版本之间问题的差异性，想着基于composer的laravel版本升级，比较严肃，我们就稍微深入一点点，看看问题在哪里。最后也已经基本明确了：升级laravel的问题核心在composer.json文件；此外，像这种大的升级要注意提前阅读升级指南说明文档，评估升级的影响
之前讲了很多关于webmagic的爬虫实现方法，都是基于静态网页的，我们只需考虑根据链接下载页面，然后解析html提取目标数据即可。然而，很多网站的页面数据是动态的，那么简单的下载解析将毫无意义，这时候我们就得借助额外的技术方案来达成目的，这里我们准备借助一个爬取动态网页信息比较实用的插件工具，即是Selenium，来实现我们的爬虫程序
