其实爬虫本来是个好东西，以谷歌搜索为例，在符合Robots协议规范的基础上，通过爬取其他网站的页面，提供给用户快捷搜索和访问的便利，对于搜索者和被搜索者来说本是一件共赢的事情，所以最早源于搜索引擎的爬虫是非常善意的。
但爬虫毕竟不产生数据，作为拥有获取数据能力的搬运工，在市场对数据日益增大的需求之下，尤其伴随“大数据”概念的兴起，越来越多地催生了“恶意爬虫”打破君子协定，疯狂且贪婪地吮吸着有价值的数据，以此来谋取暴利。
这是近几年关于上网流量真人和机器人的数据统计，可以看到的是恶意机器人的流量占比是呈现出逐年下降的趋势，基本可以表示其中恶意爬虫的占比也有所下滑。
但占比的下降并不意味着恶意爬虫日渐式微，有所减少。一方面，真实网民的基数在不断增大，另一方面，恶意爬虫的制造者开始更专注于爬虫的质量而非数量。伴随着“云服务”的成熟，大量企业迁向云端，恶意爬虫制造者也将目光从传统 IDC 转向了云平台，让原本你无感知的地方能有数据可见了。
在经历了几年低调的蛰伏后，恶意爬虫终于在今年实现了肆虐和爆发。
当前面对数量庞大的恶意爬虫，海量企业数据到底面临着怎样的威胁，已上云数据是否能保证安全，同时这些对于数据的威胁又会给企业以及信息主体带来怎样的危害，反爬虫正在面临怎样空前的压力和挑战。
趁着腾讯云发布报告的机会，我赶紧和云鼎实验室的安全研究员御风大大套了回近乎，也对当前恶意爬虫大军压境的真实现状作了一番了解。
隔壁老王足不出户就能知道你媳妇是不是一个人在家
你要想看懂这份报告，首先你需要弄明白，爬虫是什么，到底是干嘛的。
这就要从盘古开天，世界伊始的时候说起，当时的信息传输是十分落后的。
村东的老王好奇村西的老张几点出门，村南的老刘想知道村北的酒楼烧什么菜，都必须亲自跑上一趟，才能一探究竟。
这种方式在当时人口没那么多，区域没那么广，信息量没那么大的时期还是勉强行得通的，但随着村落规模的扩大，很快依靠个人便完成不了了。
这时候，住在村子中心的老李对大家说，要不这样吧，只要大家自愿，他就挨家挨户委派人手，对每时每刻村民可能感兴趣的事情进行记录，并以自己为中心建立信息站，将所有的信息实时地更新和汇总。
如果老王还想知道老张出没出门，也不用那么麻烦跑一趟，只要在自己家里嘀咕地问上一句，他就会立刻把从老张家收集到的信息，包括他吃了什么，几点出门，穿的什么衣服，媳妇儿睡了没全都上门传达给老王。
简单来说，所有的人都可以足不出户地知晓一切消息了。
老李这个想法一经落地，立刻就受到了大家的追捧与认可。尤其是像酒楼、商铺这样的地方，原本有些村民嫌远，怕跑一趟没有自己喜欢的东西，索性就不来了。现在好了，自己每天卖什么，大家都一清二楚，每个人按照自己的喜好选择来或不来，既不用跑冤枉路，自己的生意也越来越好了。
人心总是贪婪的，突然有一天，喜欢吃炖大鹅的老刘不想再花钱去酒楼买这道菜了，就想着通过老李的信息站，把秘方查询到手。
但是老李告诉他，这里没有秘方的信息，因为在信息站建立之初，他就和酒楼达成了“君子协定”：只允许搜集像菜谱这类的表象信息，但凡涉及秘方这类隐私或是店家不愿意透露的信息，老李绝不可越界。因此他拒绝了老刘的请求。
这时候，有个人找到老刘，说他可以通过各种办法“爬”进酒楼的后厨，把老刘想要的秘方给“爬”出来，只要他支付一定的银两。于是老刘便和这个人达成了交易，这个人也成功帮老刘“爬”到了秘方。
这就是合法爬虫和恶意爬虫的起源，而且是我瞎编的。
2亿、25%、1%
言归正传，关于《2018上半年互联网恶意爬虫分析报告》，云鼎实验室主要统计分析了恶意爬虫流量排名TOP10的行业，出行、社交、电商三巨头果然还是数据产生最多的地方，也是恶意爬虫的主要战场。
本文也仅围绕出行和电商，解读恶意爬虫攻击的目的，以及对行业和个人造成的危害。
御风大大问我，光看比例是不是无法感受到爬虫大军压境的窒息？我点了点头，接着他用手指给我比了三组数字：2亿、25%以及1%。
根据云鼎实验室的统计和分析，上半年全网攻击的恶意流量请求大约是每天1-2亿，其中恶意爬虫的占比大约为25%，也就是说云鼎实验室每天所能监测到的恶意爬虫攻击的规模已达千万级。
我原本以为这个数字已经很惊人了，但是御风大大却淡淡地告诉我，云鼎实验室的捕获能力，其实还不足全网的1%，这就意味着实际的数据更要远超百倍。
统计下来，全网实际上每天真正要遭受大致几十亿恶意爬虫的攻击，而这些攻击在通过对抗等手段消灭部分以后，最终还能有2到3成的存活，成功爬取数据。
要知道，虽然此前的数据显示，恶意爬虫的占比在逐年下降，但这一定程度可能是因为爬虫云端化以后，监控能力受限所导致。同时伴随着云服务的成熟，带宽的增大，流量总量的持续增长，恶意爬虫的真实数据很有可能是不降反增的。
随着技术开发难度的降低，成熟模块的加持，开发爬虫的成本也变得愈加低廉。加上近几年爬虫上云，通过机器学习和黑产提供的技术手段绕过防御机制，技术的革新在给商业带来机遇的同时，也给恶意爬虫带来了更多的助力。
你永远抢不着春运的火车票
在出行领域里，对火车购票平台的爬虫访问几乎占据90%的比例，这个其实就侧面解释了为什么逢年过节，你原本早在车票开售前半小时就做好热身运动蓄势待发，以为只等时间一到指尖一颤便可囊票入手，却还是落了个票已售罄的下场。
因为越来越多提供代购和抢票服务的第三方机构，想要实现代购和抢票的目的，就必须对火车购票平台网站的车票信息进行实时地刷新和抓取。几百个城市，几千趟列车，原谅我数学不好没办法估算的火车站及车次的排练组合，如果不动用规模恐怖的爬虫集群，是没办法对这样一个体量同样恐怖的数据做到统计的。
而第三方机构提供的服务，尤以抢票为例，本身就是需要收取一定的费用的。
我原本以为，在访问火车购票平台网站的流量中，真人和恶意爬虫的占比应该像坊间传言那样大约互为50%。但御风大大告诉我不要过分乐观，真实的情况或许要严重的多，据不完全统计，恶意爬虫的占比有可能已经达到了惊人的99%。
也就是说，同一时段的火车购票平台，每100流量中可能只有一个真人，剩下99全部都是恶意爬虫。相当于一个孱弱的人类在同时与99个比自己聪明还比自己手快的机器人抢同一张票，反正我是看不到任何获胜的可能。
timg (2).gif
这也就解释了为什么你永远抢不到票，但是只要花点钱购买“提速”服务，第三方平台就能轻易搞定。
和火车票的性质大致相同，航空公司由于定期会放出特价票的缘故，招致不少机票代理公司，通过爬虫实时获取特价机票的信息，伪装虚拟客源的身份进行批量预定，管他三七二十一先下单就行，只要能在规定付款时间内找到真实客源，就可以加价转卖，赚取中间差价。
如果规定付款时间里没有卖出去怎么办？没关系，在订单被系统取消前，立马追加一个新的订单，这张票又回到了代理公司的手中。所以，如果你能买到原价的特价机票，就算他们输了。
从这里延伸，你知道为什么周杰伦演唱会的门票这么难抢，而且一到开售的时候商户页面就经常卡死无法加载吗？这和火车票、飞机票类似，首先可能有99个爬虫机器人在和你一同下手，而如此庞大体量的爬虫在同一个时段的集中行动，服务器没有直接崩溃已经可以给它优秀了好吗。
最终的结果是只有极少部分幸运儿买到了原价的门票，大部分人最终还是要去宝宝、鱼鱼上冒着假票和被骗的风险，花着冤枉钱。
其实，不论是火车票、机票还是演唱会的门票，恶意爬虫的泛滥，意味着本该消费者享受的福利，完全被第三方代购抢票机构以及机票代理公司给侵占，说的难听点，本质上就是黄牛。既侵害了铁路部门、航空公司和商家的利益，也侵害了普通消费者的利益。
瞎胡闹的电商爬虫
根据云鼎实验室的报告，C2C电商由于中小卖家众多，商品数量远多于B2C类电商，因此支撑了电商类恶意爬虫近90%的流量。那么在C2C电商的流量中，恶意爬虫的比例大概是多少呢？
答案是95%。
也就是说，一个单独的页面，每100次访问量里，只有5个是真实用户，其余95均为爬虫。
实际上，应用在C2C电商领域的爬虫，主要目的不过是爬取竞争对手的商品信息和价格等数据，并不会像火车票、飞机票一样产生直接的经济效益，那为什么还会投放如此多数量的爬虫，意义何在呢？
这其实是一个美丽的误会。
之前有过分析电商类爬虫的文章，文章中对于导致恶意爬虫泛滥的原因形容得非常贴切。
假设这个世界存在售卖相同电商产品3家公司A、B和C，有一天，真实客户在A的店铺里对某款商品的价格进行了查询，结果发现并不满意，便放弃了购买。
这时A公司在后台检测中发现有客户流失，而客户的行为只是查询了某款产品的价格。于是A公司认为可能是价格原因导致客户的流失，便想查询一下竞争对手B和C的价格，及时调整销售的策略。
A公司就通过爬虫伪装真实客户爬取了B和C的数据，这时在B和C的后台检测上，就留下了爬虫伪装成客户查询价格的历史。但B和C只会理解为自己流失了客户，便也归咎于产品的价格。这样一来，他们同样产生了想比较一下其他店铺的售价的想法，于是B顺势爬取了A和C，C爬取了A和B。
一来二去，就在这种莫名其妙地循环下，A、B、C过上了你爬我来我爬你的幸福生活。
这也就成了彼此本无恶念，但因决策思路，导致了令人啼笑皆非的恶意爬虫充斥电商平台的局面。
而对于商家来讲最悲痛的是什么？就是折腾了半天，又是碟中谍又是无间道，把服务器也给搞炸了，却发现一个真正的客人都没有。
蜕茧成蝶的爬虫
除了出行和电商爬虫以外，社交、O2O、公共行政、运营商、自媒体、地图、SEO、新闻及其他瓜分了恶意爬虫总量的剩余6成，在这里就不先不一一列举了。
总得来说，虽然部分爬虫的出发点并不是为了通过爬取数据实现牟利，但由于数量太过庞大，导致企业服务器的性能和稳定深受影响，迫使服务器性能提升和反爬虫技术的开发，间接产生了经济上的损失。因此，造成这类后果的爬虫也称之为恶意爬虫。
细数恶意爬虫对企业最直接的影响，御风大大表示，主要存在三个方面：
一是像电商类平台，如果商品信息和价格被竞争对手爬取，会出现恶意比价的情况，价格战的出现一定程度上会对企业造成经济损失；
二是爬虫数量太过庞大，会占用大量的服务器资源，导致高峰时段服务器的不稳定甚至崩溃，企业需被动地提高服务器的性能，增加了预算，运维成本也相应提高；
三是一旦恶意爬虫对企业造成危害之后，也会迫使企业开发反爬虫技术进行对抗，在人力和金钱上又带来了更多的投入和耗损。
实际上，过去很长一段时间，人们并没有对恶意爬虫起到足够的重视，但随着大数据概念兴起，企业数据上云，DT时代数据资产化并具备商业价值之后，恶意爬虫可能对企业造成的危害已经远超想象。
同时，常见的一些传统反爬虫技术也已经在对抗中败下阵来。
像过去最常用的验证码，在通过机器学习自动识别后，简单验证码的正确率已经能达到50%甚至更高。而复杂验证码也有专门的打码平台来进行人工打码，平均每码价格不过1-2分钱，同样容易被轻松绕过。
还有简单粗暴且有效的封IP手段，也因为爬虫开发者可以通过代理池购买或拨号VPS等方式轻松建立数十万的IP池而显得苍白无力。
所以，恶意爬虫早已完成了蜕茧成蝶的过程，企业仅凭一己之力已无法与之对抗。
以彼之道，还施彼身
以彼之道，还施彼身，其实是金庸武侠小说《天龙八部》里姑苏慕容世家的绝学，说的是用对方施加给自己同样的手段去进行还击。
既然老刘能够通过开锁、钻狗洞等方式绕过防御“爬”取信息，那么反之酒楼店家干脆就“以彼之道，还治彼身”，用同样的方式进行对抗。
在云计算成熟并逐渐成为趋势以后，在云端为企业赋能反爬能力，与恶意爬虫正面对抗。
而且在云端提供反爬能力的好处是，一旦出现了恶意爬虫攻击，那么整个云端可以进行整体的联动，通过对某一个行业某一家企业某一次恶意爬虫攻击的对抗，就能反哺所有云端的企业和客户，使其安全能力得到全面的提升。
在对上半年不同行业的恶意爬虫进行了完整的分析和处理以后，腾讯云在各种对抗手段上都基本具备了完善的反制措施，对恶意爬虫的掌握和对抗也相对全面，目前基于恶意爬虫的流量也联合云鼎实验室建立起了通用的爬虫识别模型，成效良好。
同时随着AI技术的突破，云鼎实验室认为将AI技术引入反爬虫领域可以起到极好的补充效果。因此一个全新的，在云端实现对抗的AI发爬虫技术会是未来的趋势所在。
除此以外，御风大大还透露，恶意爬虫毕竟只是上半年全网攻击统计中的一部分，在未来腾讯云和云鼎实验室还会在情报上进行加深，检测和收集更多类别的攻击，反哺安全能力和业务，使企业的安全能力得到进一步提升。
IT解决方案：
文件共享、私有云盘、企业网盘 解决方案
存储雷电DAS 、SAN、IPSAN ISCSI 解决方案
企业级存储解决方案
备份 容灾解决方案
防勒索病毒解决方案
NAS 应用场景：完美解决文件共享/文件分享问题，替代传统文件服务器
NAS网络存储 文件NAS存储 。
群晖备份一体机 适用于的企级备份软件有：
（acronis 安克诺斯 /veeam安盟/veritas华睿泰/commvault 慷孚沃德 /arcserver )
PHD virtual , Nakivo, IBM spectrum protect , (TSM) HP data protector
DELL EMC Networker RecoverPoint Quest veritas system recovery 18
国内备份软件：鼎甲，火星仓，UPM，浪擎，爱数
黑群晖无法升级，易丢失数据，建议用白群晖，黑群晖洗白
synology partner：深圳国亿国际（凯洛蜜） 上海世平伟业
服务区域：四川群晖 成都群晖 西藏群晖 重庆群晖贵州群晖 贵阳群晖 云南群晖 昆明群晖
群晖配件：群晖钥匙 群晖网卡 群晖内存 群晖电源 群晖主板
群晖维修：群晖保修保内保外维修 群晖硬盘数据恢复 群晖客服 群晖保修 群晖维修）
群晖数据恢复： 服务器数据恢复 raid数据恢复 nas数据恢复 希捷数据恢复 西数硬盘恢复 seagate 数据恢复 WD数据恢复
国行原装正品（国代，总代理，总分销商）方案适用机型：
18-系列: FS1018、RS3618xs、DS3018xs、RS2818RP+、RS2418(RP)+、RS818(RP)+、DS918+、DS718+、DS418、DS418play、DS218+、、DS218play、DS418j、DS218、DS218j、DS118；
17-系列: FS3017、FS2017、RS18017xs+、RS4017xs+、RS3617xs+、RS3617RPxs、RS3617xs、DS1817+、DS1517+、DS1817、DS1517、RS217；
16-系列: RS18016xs+、RS2416(RP)+、DS916+、DS716+II、DS716+、RS816、DS416、DS416play、DS216+II、DS216+、DS216play、DS416slim、DS416j、DS216、DS216j、DS216se、DS116、NVR216；
15-系列: RC18015xs+、DS3615xs、DS2015xs、RS815(RP)+、DS2415+、DS1515+、DS415+、RS815、DS1515、DS715、DS415play、DS215+、DS215j、DS115、DS115j、DS1815+；
14-系列: RS3614xs+、RS2414(RP)+、RS814(RP)+、RS814、DS414、DS214+、DS214play、RS214、DS414j、DS414slim、DS214、DS214se、DS114、EDS14；
13-系列: RS10613xs+、RS3413xs+、DS2413+、DS1813+、DS1513+、DS713+、DS413、DS213+、DS413j、DS413j、DS213、DS213j、DS213air；
12-系列: DS212j；
科汇科技 --- 专业数据备份服务商
无论您的IT架构是 本地化、云端、还是混和云 都能提供一站式数据备份方案。
京东群晖synology 天猫群晖 线下代理售后维修服务站
四川成都群晖官方授权核心代理商（企业级服务商）
四川成都群晖synology解决方案中心
四川成都群晖synology体验中心
四川成都群晖synology售后维修中心
四川成都群晖synology官方授权专卖店
成都科汇科技有限公司
地址：成都市人民南路四段1号时代数码大厦18F
群晖电话：400-028-1235（群晖400）
QQ: 2231749852
手机：138 8074 7621（微信同号）
微信公众号：群晖Synology技术中心
