首页 文章 精选 留言 我的

精选列表

搜索[思考模型],共10000篇文章
优秀的个人博客,低调大师

对于Docker设计和使用的一点个人思考

最近一些天一直在折腾Docker的使用并且看了一些资料,抛开Docker的一些技术细节不说个人觉得这东西无论对个人开发者还是企业来说都是一个巨大的技术变革,值得个人开发者和企业注意到这个东西。这里随便谈谈个人对Docker的一些设计思路的认识。 传统我们对计算机系统的认知都是应用程序运行在操作系统上,系统的服务和资源对应用程序的运行提供支撑,这是我们最传统的应用程序的运行模式。后来服务器端和客户端的环境越来越复杂,不少应用程序需要系统做各种的配置以适用应用程序的需求,这些针对应用程序的配置可以统称为环境,就是说应用一定要运行在一定的环境中。而以往大量的问题就出现在这个环境问题中,不同的系统版本、不同的底层库和依赖库、不同的硬件、不同的配置文件选项,此类问题过去一直在困扰着开发者和运维人员。不说服务器环境的复杂,就说在客户端的应用,不同的浏览器的兼容问题,IE6不知道消耗了多少开发人员的精力。过往也有不少的技术出来在一定程度上解决此类问题,服务端的技术和客户端的技术都有,个人觉得这种问题在未来很长时间依旧会是个大问题,没有完全解决但是会在一定程度上减轻。 Docker技术的出现在服务器端可以说提供了一个前所未有的方案,可以解决非常多的环境问题而且对于性能的损失代价却非常少。在谈Docker之前先谈一下虚拟机和操作系统,虚拟机的实现方式非常多样但是核心思路就是在宿主操作系统上完全模拟cpu内存等硬件,在此之上完整运行另外一个操作系统,把程序完全运行在虚拟出来的操作系统中,这样虚拟系统的映像包含了应用程序运行所需要的全部环境和依赖,这却实是一个非常好的方案,但是这个方案最大的问题是资源的消耗实在太多了,cpu模拟指令速度不提,其中也有二进制翻译和虚拟化等技术进行加速,但是很多库的运行却要在系统中反复加载到不同的内存中,这种方案在生产环境的浪费基本上不可承受。再谈谈操作系统的最基本原理,操作系统最基本的工作原理就是把硬件等各种资源管理起来,对上层提供一些规范的系统接口。这些接口实际上在不同的系统升级过程中变化很小,这是为了保持应用程序的二进制兼容或是源代码级别的兼容性。我们的应用程序一般都是直接或是间接去调用系统的这一组接口去完成功能。现在思路转变一下,我们的应用程序依赖的东西或是这些接口或是依赖这些接口的一些中间层,实际上把这些东西全部打包在一起,再去调用系统的接口我们的程序肯定是能正常运行的。就是说我们把系统除了实现了系统调用的内核部分的功能全部剥离出去之后打包,让一个宿主系统提供全部这些服务。我们打包后的这个东西本身也会像是一个操作系统一定运行起来而且效率极高,因为这里面没有任何的中间层和模拟层,全部指令全是直接在宿主机器上运行的并且调用宿主的系统调用。 Docker本身的设计就是基于此隔离特性设计的,具体技术细节此处不谈,估计随着Linux与Docker之间的融合加深,Docker的特性还会得到不到的增强,目前Docker还是存在一些普遍的不灵活之处的问题的,不过在未来这些问题都可以解决。Docker官方提供了各种操作手册,在使用Docker融入到自己的开发任务中时本着怎样的思路和工作流呢?个人提供一点建议仅供参考。在使用中我把Docker看做是一个把应用打包的工具而不是把数据打包的工具,一个应用程序的完部功能基本由它本身的功能和输入给它的数据和它输出的数据决定,那么我就把应用除了输入和输出的部分打包起来成为镜像,在使用的时候把输入和输出都通过其它的方式配置进去,比如通过卷、变量、配置文件的方式。这样应用就被独立打包起来,在所在要使用到的地方直接拉取运行就可以了,自己关心的只是配置文件和应用产生的数据之类的问题,这可以解决巨大的维护成本并节约时间。 个人认为以后Docker的设计思想就是把应用打包成为一个无状态的函数,用户只需要关心函数的输入和输出就可以了,有各种服务商只关心提供标准的函数运行环境。这样大家各司其职,极大重塑软件行业的开发和运维模式。

优秀的个人博客,低调大师

关于jmeter压测性能的一些测试和思考

最近一个项目着急上线,要求大并发,目标是支持一万并发,于是用压力测试软件jmeter测试了一番,结果总是让人不可思议,全是jmeter连接目标服务器超时请求,特此记录一下。如果哪位知道原因请留言告知,谢谢! 测试文件均采用phpinfo测试页面,页面大小大概70-80k。采用千兆交换机内网直连,jmeter压测服务器8核心96G内存,nginx服务器12核心96G内存。 网站架构比较简单,用的nginx+php-fpm,nginx(单个)和php-fpm(单个)在同一台服务器上,通过tcp转发请求到后端,所有参数(内核参数、nginx配置文件、php-fpm配置文件)均优化过。理论上服务器的硬件和网络也没有任何瓶颈。 第一次使用3500并发,42000用户数测试 9239个请求 超时,也就是说请求还没到nginx服务器,那么可能是nginx的问题导致的 第二次在架构上加一层前端lvs,也就是单台lvs转发到单台nginx,然后nginx转发到单台php-fpm上,并发和用户数保持不变 8336个请求超时,比前端直接用nginx好点,但是这结果太坑 第三次在lvs后面再加一台nginx和php-fpm,也就是单台lvs转发两台nginx,然后nginx转发各自的php-fpm上,并发和用户数保持不变 6816个请求超时, 虽然比上面结果好了一点,但是这个明显不是我要的,这里也说明跟后端的php-fpm没关系了,如果是后端瓶颈应该是502或者504之类的错误,要不就是jmeter软件本身的问题导致 第四次去掉了lvs这一层,在nginx服务器上绑定一个IP别名,还是使用一个nginx, 同一个域名 使用两个虚拟主机配置,只是监听的IP地址不一样而已,用DNS轮询方式,注意如果绑定hosts只会请求第一个绑定的IP上,那就没效果了。继续3500并发,42000用户测试 0个请求超时,这才是我需要的效果啊!说明和单台nginx的配置、jmeter软件本身也没啥关系了。以后的测试都去掉了lvs这一层。而且全部都变成了单台nginx 第五次还原到单条A记录方式,减少一半的并发数,使用1750并发,42000用户数测试 800个请求超时,郁闷中~~ 第六次还原到单条 A记录方式,减少一半的并发数和用户数, 使用1750并发,21000用户数测试 537个请求超时,继续郁闷中~~ 第七次闲的无聊直接压测单台nginx的静态页面index.html,并发和用户数还原到最开始的 0个请求超时,结果不出所料 第八次使用单台nginx的fastcgi_cache缓存index.php页面,使用1750并发,42000用户数测试 1280个请求超时,这里我觉得再怎么说应该也会比第五次的结果好吧!没想到超时请求更多,尼玛,请原谅我三观尽毁~~ 第九次是基于上面用户数减一半的测试结果,不出意外应该会减少一半吧 354个请求超时,数量比上面少了很多,是nginx那台服务器扛不住吗? 第十次使用单台nginx的proxy_store缓存index.php页面,配置肯定都正确,看看 1750并发,42000用户数测试结果吧 2171个请求超时,此时心中一万只草泥马掠过~ 有知道答案的哥们欢迎留言啊~

优秀的个人博客,低调大师

【原】关于c中int a=1; int b=a类型问题的思考

由于之前接触过一段时间IOS,在IOS里面内存管理很重要,而且对于初学者来说是件不大容易的事情,必须处处小心。重新回到C/c++编程时,有几个概念一直纠缠不清,有点跟IOS混掉的味道了。所以,这里就理理思路: 先看个例子: 1 int a = 4; 2 int b = a; 3 a ++;//b此时为何值? 这是最经常遇到的小例子,以前总是不在意,没有去细细想清楚。在上面这种情况下,b会随着a变化而变化吗?NO。b此时仍旧是4。这里的a、b只是一种“标签”,可以看作贴在箱子上的标签,这里的“箱子”就是内存块。标签就代表着实际的内存块,对标签的操作也就是对内存块的操作。它与指针的两码事! 而int b = a这条语句,把a拷贝一份,赋给b。a b所贴的内存块是不一样的!! 与下面这个例子做对比: 1 int a = 4; 2 int *c = &a;//c指向a的地址 3 a++; 在上面这种情况下,c与a所指的内存块就是一样的。因为这里的c已经明确定义为指针,且指向a的地址 还有一种例子也经常混掉: 1 2 3 IplImage *p1 = cvLoadImage( "Lena.jpg" ); IplImage *p2 = p1; p1 = NULL ; //or cvReleaseImage(p1);释放图像 IplImage *是OpenCV里面的东西,它代表一张图。经过第二句后,p1与p2指向相同的对象,在底层就是指向同一块内存块。问题就来了,在第三句执行完毕后,p2还指向原来的对象吗?调试表明,YES。以前一直纠结着,p1都被置为空了(NULL),那原来的对象是不是也跟着被销毁了?其实,错了。 首先,我们应该把指针与其所指的对象分开看。指针重定向或者被置为NULL,对于其原先所指的对象的没有影响的。(但其实,应该会造成内存泄露,因为如果没有其他指针“接管”这部分内存块,就成无名的内存块摆在那边了,也就无法释放掉) 在p1重定向后,p2仍旧指向原来的对象。在此刻,p1与p2其实就是两个无关的事务了,也就是“分家”了。 本文转自编程小翁博客园博客,原文链接:http://www.cnblogs.com/wengzilin/archive/2013/03/25/2980520.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

关于diarc系统运维的思考及可行性建议

PS组的兄弟们: 关于我们公司的服务器架构的可行性分析我想分几个方面来阐述一下,当然阐述归阐述,畅想归畅想,最后方案的确定还需小清的审核,一个好的方案不仅仅满足目前的需求,同时能够对未来的3年也能应对。 1.系统监控 这一块儿,我们系统运维小组有切肤之痛。80的SUN服务器因流量过大造成我们整个100M共享里面所有服务器的访问过慢,从问题的产生到问题的解决。经历了一个很漫长很痛苦的一整天。周波同志差点因为这个问题被上海办的同仁用板砖拍死。今天由于EDM的集中发送同样造成了网络的拥塞。我们寻找问题所在也用了将近4个小时。这对于我们运维小组而言,不单单是被打一巴掌,被说几句的问题。这体现了我们运维小组的运维水平不高。记得当初和soju一起聊天。他说,怎么小屋子里面无缘无故的播放歌曲?我说,是我们的服务器挂了。奥,这样,这样挺好呀,挂了就知道。是的,我们达到了服务器挂掉我们就知道。我们算是有成果了吗?不,不能,为什么我们不能在服务器挂掉之前我们就知道。我们应该时时对我们服务器的CPU,I/O,内存,带宽以及一些运行的服务一目了然。我们运维小组可以达到这个要求。也有能力达到这个要求。3月底,我们对一款监控软件进行了实验性研究。后来因为IDF的加入,不得不中断。我们从实验结果可知。他是符合我们目前的状况。同时也可以应对未来的几年公司发展的需要(就目前的发展速度),有了前两次的惨痛,我们应该加快我们的步伐让这款监控软件来为企业服务,我们预计利用1个月的时间,来完善和丰富他,使之达到我们企业的要求。还有就是我们服务器周期性自动重启已经应用服务的自动重启,举个例子:我们的windows服务器5天自动重启一次,我们的tomcat应用服务软件3天自动重启一次。这样就解决了一些网站的应用问题。比如说:经过几天,tomcat虽然dos界面还在,但是网站就是不能访问。或者因为服务器运行了很长的时间,内存利用很大造成服务器很慢等问题。 2.前端应用 去年,也就是2008年10月中旬,Tim提出来我们是不是也能在云计算方面作一些东西出来,然后投入了人力,我们从满腔热情,到遭受挫折,跌倒了,爬起来,再跌倒,再爬起,期间有欢欣鼓舞,也有短暂的迷茫,当然其中大部分时间是在经受挫折和压力,但是不得不承认我们经历的这些磨难还是沉淀了一些东西的。记得这次IDF大会,我专门去听了Intel关于云计算作的工作汇报,其中一个问答给我留下了深刻的印象,一个技术员向北京交通大学的博导提出一个问题:当初网格炒的很火的时候,国家向大学注入了很多的钱来进行这方面的研究,但是到现在我们也没看到哪儿一所大学在网格方面给社会带来效益,现在云计算又很火,国家还是投入了很多的钱到大学,我想问,这次是不是也和网格一样,无疾而终,记住,国家的钱是用我们纳税人的。这个问题一经提出,立刻博得热烈的掌声。当然博导回答问题也很真诚:他说,是的,你说的是没有错的。我们经历了网格时代,到现在又开始了云计算时代。如果没有当初的网格方面的研究,我们对现在的云就没有这么好的了解,也不能在过去的这段时间里能和铁道部共同交流,对目前铁路运输提出这么样的架构。博导的回答同样也博得了一片掌声。我想说的是,3月份,Grace大姐提出了一个需求,就是建立一个网站。功能简单,一个注册,注册完毕之后能看视频,但是这个网站的访问量很大,需要架构设计的很良好。针对这种情况我们的想法是:apache+tomcat+mssql的架构,当然假如无法满足应用,我们打算采用小型负载均衡和代理缓存服务器Squid,一个架构设计是一方面,调优又是另外很重要的方面。我想我们有以前的技术沉淀,我们对这个架构的实施还是有一定信心的。至于时间点和具体实施策略,我想小清会给我们作很好的指导。 3。网络架构: 经历了一次sun做活动我们把sun服务器给分离出去了。经历这次EDM的群发,是不是我们应该把一台单独的EDM邮件服务器给分离出去,就目前这种网络接入方式,100M共享已经渐渐不能满足我们的需要了。根据业务划分我们是否应该再增加一台邮件服务器,同时根据监控的需要我们需要一台nagios监控服务器。邮件服务器的分离和sun服务器的分离,这样这两台服务器就裸露在对外的环境中,是否需要增加一台firewall来增加系统的安全性还是通过系统本身的防火墙和iptables来解决安全问题。假如根据目前形式以及到年底的时间里,我们会增加很多的业务,我们需要购买几台服务器,那我们就应该来购买硬件firewall,这需要我们系统运维组进行准确的判断。此问题我想我们运维小组集中起来进行开会探讨了。还有服务器的布线系统,目前我们的网线布置是杂乱的,无序的。我们需要拿出特定的时间来进行整理。整理的好处就是再也不用因为机房工作人员重启服务器造成网络断线了。这样的问题以前发生过多次,我想大家还是记忆犹新的。 4。容灾备份。 DAS,NAS,SAN这个几个技术概念我给tony讲过,其实概念只是概念,逮到老鼠的才是好猫,根据上述的网络架构,我们应该采用的是NAS,我们这次购置的96服务器特意安装了1T硬盘。就是为了我们的备份,那我们的备份软件及备份策略怎么采用。有一款非常棒的备份软件就是:NBU,当然还有我们以前讨论的rsync,我们到底选用什么,其实已经有了标准: 第一:易用性,第二:稳定性,第三:恢复效率,根据这三点我想大家应该会选择NBU了。据个例子:关于数据库的backup,假如我们不选用NBU,只能先把数据库进行完整备份到本地,然后拷贝到96,然后再删除本地文件,即使这样还是产生了问题,对于差异备份怎么处理的问题。假如我们选用NBU,完全不用为这些事情操心。NBU解决了这一切,备份软件选定,那我们就应该立足此软件制定属于我们自己的备份策略,就目前来说,我的想法还不够成熟,等我们运维小组开会再作详细讨论。 5。性能测试。 应该说我们企业现在是以cisco和sun的业务为主,但是我们的触角也延展到了门户网站,看了Tim最近的邮件有一个香港旅游局的项目,这同样是门户性网站。我们小组的谁敢说,我们的滚石网站可以容纳多少多少的PV流量。不能,是因为我们自己没底,我们自己也没有经过压力测试,性能测试。这块儿对我们运维小组而言,是一片真空。滚石的项目和即将到来的香港旅游局的项目给了我们很好的契机,对我们测试这块儿是一个很好的磨练,还是当初搭建postfix邮件服务器时的那句话,虽然我们对此一无所知,但我们仍然自信满满! 6。服务架构 我记得当初提出过“服务模块化”的概念,就是把某种服务器集中到某台或者某几台服务器上,独立出来专门做此服务。当初提出时,在Tim那里没有获得通过,我想我们现在应该对此方案的可行性进行分析并考虑具体实施了。数据库模块化,前端应用模块化,容灾备份模块化等等,这样作,有利于资源的统一规划,同样也有利于各个inode的压力缓解(通过负载均衡措施) 就说这六点吧,我们小组需要群策群力,当然需要不同的声音。这样的小组才具有活力,我只是说出我的想法,可行性及实施方案需要大家的共同意见及小清的拍案审核。 本文转自guoli0813 51CTO博客,原文链接:http://blog.51cto.com/guoli0813/148599,如需转载请自行联系原作者

优秀的个人博客,低调大师

MySQL高可用方案MHA的一些总结和思考

MySQL高可用方案中MHA绝地是一个相当成熟的实现。对于数据的切换,其实MGR也能很好的完成,也就是说,数据层面的角色切换已经刻意很平滑的做好了,但是对于访问IP的处理,还是有很大的空间,MHA提供了很多可选的空间来支持。 常见的组合方式有: MHA+VIP MHA+keepalive MHA+Zookeeper 当然MHA+VIP是一种很成熟和经典的方案了。 一般来说都有以下类似的架构方式,假设架构模式为一主两从。对于应用访问来说,提供的IP信息就依据绑定的VIP地址为准。VIP可以根据节点的数据状态在不同节点间漂移,达到无缝切换的高可用。 MHA Manager是一个核心的调度器,有了它可以调度多套环境,当然MHA Manager自身也有单点,所以会考虑两套MHA Manager节点来做冗余,实际上是做交叉互备,比如有100套环境,两个MHA Manager节点,那就每个分50个节点,如果Manager节点出现故障,可以很顺利的交接给Manager2来接管。 对于应用来说,就是统一通过VIP的方式来访问。如果是在这个基础上考虑中间件的方案,则数据访问的策略会更加复杂一些。 对于这样的一个基本方案,如果从多个维度来下钻会发现有很多需要注意的地方,所以问题无处不在,可喜的是在MHA中几乎都考虑到了。如果说得简单点,主要有下面的几个场景需要考虑: 数据库主库宕机 数据库从库宕机 重启数据库主库 重启数据库从库 从库应用延迟 主从网络延迟 主库服务器宕机 从库服务器宕机 一主多从切换优先级 网络抖动的切换 手工主从切换 主节点IP调整 从节点IP调整 添加从节点 剔除从节点 网络抖动的预防 半同步插件对于MHA的影响 自定义MHA脚本 所以上面的方案多多少少都需要考虑,如果用下面的图来表示,就会大体有如下的一些红色警告。所以各个层面都会有可能存在问题和异常,如何尽可能不影响业务,保持业务科持续访问是重中之重。 举一个比较纠结的问题,如果MHA Manager节点到数据库主库的网络发生抖动,导致短时间不可访问,我们是希望这个过程是不会做灾难切换的,但是如果时间过长了,有2分钟或者3分钟都不可访问,这个时候是切还是不切呢。这个时候信息还是相对较少的,如果我们加入应用服务器这个角色,如果应用服务器是可访问的,那么就不切,如果应用访问受到影响,那还是切吧。而且根据我们的测试,在MHA 0.56和0.57里面还是有一些差别。测试了多套环境,测试了多个特性,结合起来才会发现对于MHA的考虑会更加全面,而换句话说,了解了原委,才能更好的掌握MHA,也才能看到更多的问题,来尝试定制它,使得它更加满足于当前的业务需求。

优秀的个人博客,低调大师

国民基金余额宝对企业研发效能的探索与思考

余额宝诞生于互联网,2013年发展至今,用户量已突破4亿,资金达万亿规模,针对这样一支如此年轻而体量庞大的基金,在IT层面无可避免碰到过各种各样的问题。其中之一便是如何提升整个技术团队的研发效能。 在2017杭州云栖大会研发效能峰会上,余额宝首席架构师邱志鑫,讲述了他们在研发效能提升上的思路和解决方案。 我们的IT系统发展到2015年已然成为了一个庞然大物, 下图是我们实际业务系统中的一环,大家可以看到这个局部流程对于整个研发测试团队带来的考验。自建系统、外采系统、按照监管要求建立的标准系统、同业合作系统以及跨平台(Windows、Linux)系统等各种不同环境的系统交织在一起,导致了业务上线前的测试环节工作量无比巨大,我曾经做了个大致的评估,这种传统研发协同模式下,我们的项目上线周期平均在3个月,这对于一个诞生于互联网的金融企业来说无

优秀的个人博客,低调大师

国民基金-余额宝-对企业研发效能的探索与思考

余额宝诞生于互联网,13年发展至今,用户量已突破4亿,资金达万亿规模,针对这样一支如此年轻而体量庞大的基金,在IT层面无可避免碰到过各种各样的问题。其中之一便是如何提升整个技术团队的研发效能。 我们的IT系统发展到2015年已然成为了一个庞然大物,下图是我们实际业务系统中的一环,大家可以看到这个局部流程对于整个研发测试团队带来的考验。自建系统、外采系统、按照监管要求建立的标准系统、同业合作系统以及跨平台(Windows、Linux)系统等各种不同环境的系统交织在一起,导致了业务上线前的测试环节工作量无比巨大,我曾经做了个大致的评估,这种传统研发协同模式下,我们的项目上线周期平均在3个月,这对于一个诞生于互联网的金融企业来说无疑是致命的,互联网讲究快速试错与创新,而这种传统的企业IT协同模式却正在成为创新落地的绊脚石。 我们也曾引

优秀的个人博客,低调大师

后RSA2017思考:改变了历史轨迹的信息安全?!

“丢失一个钉子,坏了一只蹄铁; 坏了一只蹄铁,折了一匹战马; 折了一匹战马,伤了一位骑士; 伤了一位骑士,输了一场战斗; 输了一场战斗,亡了一个帝国。” ——引自西方民谣 从“破坏、挑战”到“变革、动力” 先从今年RSA大会的主题谈起吧。“POWER OF OPPORTUNITY”,这是今年的大会主题。“OPPORTUNITY”(机遇)一词的后半部分“UNITY”(团结、一致)更是被大会特别突显了出来:在“机遇(Opportunity)”中突出强调“联合(Unity)”方为“动力(Power)”。很显然,今年的大会主题被赋予了双重含义。 1、机遇的力量:威胁的变化带来了更多安全产业的机会,机会的变化则促使新的方案与思路不断产生。 2、联合的力量:网络环境的复杂,一方面表现在网络延伸到了更为广阔的物联网和云端世界,另一方面以勒索软件为代表的恶意攻击“彻底证明”了由单一厂商提供的端到端安全解决方案无法满足用户的安全防护需求。此时唯有联合起来才有机会,才能产生抵御新环境下新恶意威胁的力量。 这里先暂停一下,让我们回首再看看历届RSA大会的主题。 1995年:埃及圣甲虫封印 1996年:第二次世界大战的纳瓦霍“密码会话者”Codetalkers 1997年:信鸽Cher Ami 1998年: 16世纪僧侣Trithemius和他的著作《Polygraphia》 1999年:挪威/海盗如尼魔法石 2000年:古希腊/特洛伊城破 2001年:探索外星人踪迹( 2007-06-29 ) 2002年:苏格兰玛丽女王 2003年:玛雅的秘密 2004年:中国余数定理 2005年:禁酒党密码:私酒贩和伊丽莎白弗里德曼 2006年:古代佛经中的现代密码 2007年:莱昂-巴蒂斯塔-阿尔贝蒂 2008年:艾伦-麦吉森-图灵 2009年:埃德加-爱伦坡 2010年:罗塞塔石碑(Rosetta Stone)(2010年中国:虎符) 2011年:Alice和Bob的奇幻冒险 2012年:伟大密码(Great Cipher)胜于利剑 2013年:古腾堡的印刷机 2014年:分享·学习·保护——利用集体智慧 2015年:Change:Challenge today's security thinking 2016年:Connect to Protect 从1995年到2012年,RSA大会的主题或多或少都与密码、数据安全相关。而从2013年“古腾堡的印刷机”开始,RSA大会的主题里在愈发强烈地传递出“变革”的信号! “集体的智慧”、“挑战安全理念”、“连接保护”、“机遇(团结)的力量”——这些关键词的背后,透视出了安全世界所正在面临的严峻危机。信息安全早已从最初的破坏、炫耀,发展到如今密切涉及隐私财产、人民生命、国家安危。 篡改历史轨迹的暗黑力量之一:无名黑客 当20世纪60年代初,三位年轻程序员在美国贝尔实验室里编写“磁芯大战”游戏时肯定没有想到,刚具雏形的这只“信息安全蝴蝶”仅仅微弱地扇动了一下翅膀,数十年后,信息安全的飓风已经改变了人们的生活、人们的工作,改变了整个世界,甚至是历史车轮前进的方向。 曾记否,2016年美国总统选举大战上,“邮件门”这一黑客的“神来之笔”,将极具优势的希拉里·克林顿彻底击垮,美国第一位女性总统产生的历史进程再一次被打断、延后! 2017年2月14日,希拉里·克林顿前任竞选经理罗比·穆克(Robby Moob)出席了由DtexSystems主持的对话环节引起了新闻媒体的广大关注,许多电视台报道中讨论的话题都是“为什么我们选择了唐纳德·特朗普作为我们的总统?”。罗比·穆克认为希拉里·克林顿竞选失败的最重要原因是“其DNC(Democratic National Committee,民主党全国委员会)邮箱和个人邮箱被攻破后,大量邮件遭公布。” 图 罗比·穆克(Robby Moob), 希拉里·克林顿前任竞选经理 在2016年美国总统大选前期,希拉里·克林顿的优势愈发明显,许多民调结果都显示其将获得最后的胜利,不看好唐纳德·特朗普的声音更是甚嚣尘上。 然而,随着2016年7月22日维基解密成员公开民主党全国委员会(DNC)内部时间跨度长达16个月的19252封邮件后,竞选形势急转直下。一路高歌的希拉里遭遇滑铁卢,随即的民调指数里更被特朗普以3%的优势反超。 虽然希拉里竞选团队做出了一系列补救措施: (1)DNC与独立安全公司联合公布此次“邮件门”事件嫌疑人为“俄罗斯黑客”(甚至有阴谋论说普京授权了俄罗斯黑客的本次攻击行为)。 (2)DNC董事长、弗罗里达州议员Debbie Wasserman Schultz卸任。 (3)指责FBI“为自己免责”做出了不公平“抉择”。 然而颓势依然无法挽回,希拉里·克林顿最终在竞选上彻底落败。 在事后的分析中,许多人都同意这样一个论点,“如果没有邮件泄密事件,第45任美国总统应当是希拉里·克林顿,2017年第一位女性美国总统将正式履职。”可历史的车轮却转到了另外一条轨迹。 由于美国在当今世界的全球霸主地位,历任美国总统都会对世界经济、和平产生重大影响。政见不同、甚至完全相左的希拉里·克林顿与唐纳德·特朗普,其所领导美国必将在新时代里留下完全迥异的历史笔墨。 就这样,一次信息安全事件改变了世界的格局,改变了历史的轨迹。 实际上,数年前伊朗核设施所遭遇的APT攻击,就已经在一定程度上改变了本应的历史轨迹。如今,愈发猖獗的勒索软件、初露狰狞的物联网安全攻击、黑雾渐浓的人工智能隐忧,其改写人类历史的实力也都在不断增强。 所以,如果你忽视了信息安全,未来它必将回报你一个大大的“惊喜”! 杀机伏于布局始 对历次经典信息安全攻击深入分析能够发现,杀机早在黑客布局伊始就已暗伏。 在“伊朗核设施”APT攻击事件里有两个关键攻击点:西门子离心机设备漏洞、物理隔离网络系统被渗透。当时伊朗所使用西门子离心机控制程序上的漏洞(也有观点认为这并非漏洞而是某种“预留”的后门程序)使得Stuxnet病毒有了用武之地,而社会工程学攻击与移动设备攻击的巧妙结合,则使得本应无法跨越的天堑——物理隔离彻底失效。潜伏进入内网系统的Stuxnet病毒通过突然更改离心机中的发动机转速,严重干扰离心机正常运转能力,倍速设备损耗,极大延迟了伊朗相关核计划进程。 希拉里“邮件门”事件里,早在2015年秋DNC内部信息安全专家与FBI都曾对其内部网络系统安全问题提出警告,但直到2016年4月DNC高层才开始重视这些警告,然而此时黑客已经在DNC内网中潜伏超过一年。安全专家分析,攻击者应该是通过钓鱼邮件“诱导DNC员工下载了病毒代码”,获取内部“合法身份”成功实施潜伏,进而利用内网系统身份验证盲点实现了对大量敏感信息的长时间、持续性搜集。黑客选择在美国大选关键时刻抛出“邮件门”重磅炸弹,通过揭露民主党操纵党内初选、与媒体合谋操控舆论,以及诸多希拉里和DNC筹款违规迹象,最终使得民主党在总统选战中功亏一篑。(详细分析请参阅《美国大选 黑客顶了川普灭了希拉里?》) 而2016年的另外一起重大安全事件“美国东部遭遇大规模物联网DDoS攻击断网”中,涉事物联网攻击工具(Mirai病毒)、物联网设备(摄像机)模块安全漏洞在此前数月的威胁情报里便有显示,相关情报平台更是据此持续发布了物联网攻击预警(详细分析请参阅《揭露物联网攻击断网半个美国背后的秘密!》)。本次事件的主角之一“Mirai病毒”,事发前数月就已在黑客圈里被多次升级、优化。有业内人士认为,黑客所发起的此次攻击更多是在进行“验证”而已。 在这些让世人震惊的黑客攻击事件中,攻击者最长潜伏时间会达数年之久,当事件进程发展到某一个关键时刻,攻击者才会暴起发难,实现改变事件最终结果的目的。 正所谓,布局方始,杀机已现! 赢取三大战役,成为历史时空之轮仲裁者 在信息安全世界里,黑白势力之间的战争从未停止。随着信息安全对于世界格局、历史走向的影响力愈加强劲,这场有关控制权的争夺战也在变得更为激烈。 近年来,黑客在这场战争里屡夺先机,传统安全防线几近崩溃的边缘。知耻而后勇的安全从业者们开始从威胁情报、大数据、机器学习、终端安全、移动安全、云安全等领域全面爆发,安全新思维、安全新产品、安全新方案不断推出,联合起来的防守者们正在逐渐夺回战场上丢失的那些阵地。 作为防守方,要想成为历史时空之轮仲裁者战争中的胜利者,需要牢牢掌握住这三大关键战役的主动权与控制权。 1、威胁情报战:无论现实世界还是数字世界的战争里,情报历来都是左右战争走向的重中之重。地下黑色产业链对于情报的利用几乎到了极致,攻击者甚至能够根据被攻击目标的实时状态信息调整攻击方式。好在这几届的RSA大会上,人们对于安全威胁情报力量的认知、对于安全威胁情报的运用都在变得愈发明晰起来。有效搜集、分析、使用威胁情报,将威胁情报贯穿整个安全防御生命周期、渗入安全防御的每个角落,同样在防御过程中将安全威胁情报的力量发挥到极致。 得威胁情报者,得安全之天下! 2、全维度阻击战:终端安全、云安全、移动安全、物联网安全……每一个攻击面所涉及的维度都要进行最为坚决的阻击,哪怕是未来可能的人工智能安全问题里,也需要在认知感知层、Self-Monitoring监督架构层、代码监控管控层等维度建立牢固的阻击阵地,不给恶意攻击者任何可乘之机。 3、起源地反击战:针对一切问题的起源地“代码”这一微观领域也要采取诸多反击措施,实施逆向防御动作。强悍任何一枚“钉子”——代码——自身,从本源上提高整个系统的安全健壮性。当恶意攻击者再想针对代码下手时,对其予以最为强劲的反击:用战争迷雾迷惑它,用战争陷阱眩晕它,用战场工兵消灭它。 通过增强连锁反应每个环节的安全防御,实现对世界发展进程的有效保护,避免“丢失一个钉子”“亡了一个帝国”这类惨剧的发生,让信息安全成为世界历史轨迹的保护者,而非破坏者! 原文发布时间为:2017年2月22日 本文作者:梆梆安全副总裁Jayson Li 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

RSA2017会后思考:改变了历史轨迹的信息安全?

“丢失一个钉子,坏了一只蹄铁; 坏了一只蹄铁,折了一匹战马; 折了一匹战马,伤了一位骑士; 伤了一位骑士,输了一场战斗; 输了一场战斗,亡了一个帝国。” ——引自西方民谣 前言:在今年如火如荼的RSA2017大会上,当你听完越来越多安全专家的演讲,你会惊讶地发现,信息安全问题已经改变了历史的轨迹。 还是先从今年RSA大会的主题谈起吧。 从“破坏、挑战”到“变革、动力” “POWER OF OPPORTUNITY”,这是今年的大会主题。“OPPORTUNITY”(机遇)一词的后半部分“UNITY”(团结、一致)更是被大会特别突显了出来:在“机遇(Opportunity)”中突出强调“联合(Unity)”方为“动力(Power)”。很显然,今年的大会主题被赋予了双重含义。 1、机遇的力量:威胁的变化带来了更多安全产业的机会,机会的变化则促使新的方案与思路不断产生。 2、联合的力量:网络环境的复杂,一方面表现在网络延伸到了更为广阔的物联网和云端世界,另一方面以勒索软件为代表的恶意攻击“彻底证明”了由单一厂商提供的端到端安全解决方案无法满足用户的安全防护需求。此时唯有联合起来才有机会,才能产生抵御新环境下新恶意威胁的力量。 这里先暂停一下,让我们回首再看看历届RSA大会的主题。 1995年:埃及圣甲虫封印 1996年:第二次世界大战的纳瓦霍“密码会话者”Codetalkers 1997年:信鸽Cher Ami 1998年: 16世纪僧侣Trithemius和他的著作《Polygraphia》 1999年:挪威/海盗如尼魔法石 2000年:古希腊/特洛伊城破 2001年:探索外星人踪迹( 2007-06-29 ) 2002年:苏格兰玛丽女王 2003年:玛雅的秘密 2004年:中国余数定理 2005年:禁酒党密码:私酒贩和伊丽莎白弗里德曼 2006年:古代佛经中的现代密码 2007年:莱昂-巴蒂斯塔-阿尔贝蒂 2008年:艾伦-麦吉森-图灵 2009年:埃德加-爱伦坡 2010年:罗塞塔石碑(Rosetta Stone)(2010年中国:虎符) 2011年:Alice和Bob的奇幻冒险 2012年:伟大密码(Great Cipher)胜于利剑 2013年:古腾堡的印刷机 2014年:分享·学习·保护——利用集体智慧 2015年:Change:Challenge today's security thinking 2016年:Connect to Protect 从1995年到2012年,RSA大会的主题或多或少都与密码、数据安全相关。而从2013年“古腾堡的印刷机”开始,RSA大会的主题里在愈发强烈地传递出“变革”的信号! “集体的智慧”、“挑战安全理念”、“连接保护”、“机遇(团结)的力量”——这些关键词的背后,透视出了安全世界所正在面临的严峻危机。信息安全早已从最初的破坏、炫耀,发展到如今密切涉及隐私财产、人民生命、国家安危。 篡改历史轨迹的暗黑力量之一:无名黑客 当20世纪60年代初,三位年轻程序员在美国贝尔实验室里编写“磁芯大战”游戏时肯定没有想到,刚具雏形的这只“信息安全蝴蝶”仅仅微弱地扇动了一下翅膀,数十年后,信息安全的飓风已经改变了人们的生活、人们的工作,改变了整个世界,甚至是历史车轮前进的方向。 曾记否,2016年美国总统选举大战上,“邮件门”这一黑客的“神来之笔”,将极具优势的希拉里·克林顿彻底击垮,美国第一位女性总统产生的历史进程再一次被打断、延后! 2017年2月14日,希拉里·克林顿前任竞选经理罗比·穆克(Robby Moob)出席了由DtexSystems主持的对话环节引起了新闻媒体的广大关注,许多电视台报道中讨论的话题都是“为什么我们选择了唐纳德·特朗普作为我们的总统?”。罗比·穆克认为希拉里·克林顿竞选失败的最重要原因是“其DNC(Democratic National Committee,民主党全国委员会)邮箱和个人邮箱被攻破后,大量邮件遭公布。” 罗比·穆克(Robby Moob), 希拉里·克林顿前任竞选经理 在2016年美国总统大选前期,希拉里·克林顿的优势愈发明显,许多民调结果都显示其将获得最后的胜利,不看好唐纳德·特朗普的声音更是甚嚣尘上。 然而,随着2016年7月22日维基解密成员公开民主党全国委员会(DNC)内部时间跨度长达16个月的19252封邮件后,竞选形势急转直下。一路高歌的希拉里遭遇滑铁卢,随即的民调指数里更被特朗普以3%的优势反超。 虽然希拉里竞选团队做出了一系列补救措施: (1)DNC与独立安全公司联合公布此次“邮件门”事件嫌疑人为“俄罗斯黑客”(甚至有阴谋论说普京授权了俄罗斯黑客的本次攻击行为)。 (2)DNC董事长、弗罗里达州议员Debbie Wasserman Schultz卸任。 (3)指责FBI“为自己免责”做出了不公平“抉择”。 然而颓势依然无法挽回,希拉里·克林顿最终在竞选上彻底落败。 在事后的分析中,许多人都同意这样一个论点,“如果没有邮件泄密事件,第45任美国总统应当是希拉里·克林顿,2017年第一位女性美国总统将正式履职。”可历史的车轮却转到了另外一条轨迹。 由于美国在当今世界的全球霸主地位,历任美国总统都会对世界经济、和平产生重大影响。政见不同、甚至完全相左的希拉里·克林顿与唐纳德·特朗普,其所领导美国必将在新时代里留下完全迥异的历史笔墨。 就这样,一次信息安全事件改变了世界的格局,改变了历史的轨迹。 实际上,数年前伊朗核设施所遭遇的APT攻击,就已经在一定程度上改变了本应的历史轨迹。如今,愈发猖獗的勒索软件、初露狰狞的物联网安全攻击、黑雾渐浓的人工智能隐忧,其改写人类历史的实力也都在不断增强。 所以,如果你忽视了信息安全,未来它必将回报你一个大大的“惊喜”! 杀机伏于布局始 对历次经典信息安全攻击深入分析能够发现,杀机早在黑客布局伊始就已暗伏。 在“伊朗核设施”APT攻击事件里有两个关键攻击点:西门子离心机设备漏洞、物理隔离网络系统被渗透。当时伊朗所使用西门子离心机控制程序上的漏洞(也有观点认为这并非漏洞而是某种“预留”的后门程序)使得Stuxnet病毒有了用武之地,而社会工程学攻击与移动设备攻击的巧妙结合,则使得本应无法跨越的天堑——物理隔离彻底失效。潜伏进入内网系统的Stuxnet病毒通过突然更改离心机中的发动机转速,严重干扰离心机正常运转能力,倍速设备损耗,极大延迟了伊朗相关核计划进程。 希拉里“邮件门”事件里,早在2015年秋DNC内部信息安全专家与FBI都曾对其内部网络系统安全问题提出警告,但直到2016年4月DNC高层才开始重视这些警告,然而此时黑客已经在DNC内网中潜伏超过一年。安全专家分析,攻击者应该是通过钓鱼邮件“诱导DNC员工下载了病毒代码”,获取内部“合法身份”成功实施潜伏,进而利用内网系统身份验证盲点实现了对大量敏感信息的长时间、持续性搜集。黑客选择在美国大选关键时刻抛出“邮件门”重磅炸弹,通过揭露民主党操纵党内初选、与媒体合谋操控舆论,以及诸多希拉里和DNC筹款违规迹象,最终使得民主党在总统选战中功亏一篑。 而2016年的另外一起重大安全事件“美国东部遭遇大规模物联网DDoS攻击断网”中,涉事物联网攻击工具(Mirai病毒)、物联网设备(摄像机)模块安全漏洞在此前数月的威胁情报里便有显示,相关情报平台更是据此持续发布了物联网攻击预警。本次事件的主角之一“Mirai病毒”,事发前数月就已在黑客圈里被多次升级、优化。有业内人士认为,黑客所发起的此次攻击更多是在进行“验证”而已。 在这些让世人震惊的黑客攻击事件中,攻击者最长潜伏时间会达数年之久,当事件进程发展到某一个关键时刻,攻击者才会暴起发难,实现改变事件最终结果的目的。 正所谓,布局方始,杀机已现! 赢取三大战役,成为历史时空之轮仲裁者 在信息安全世界里,黑白势力之间的战争从未停止。随着信息安全对于世界格局、历史走向的影响力愈加强劲,这场有关控制权的争夺战也在变得更为激烈。 近年来,黑客在这场战争里屡夺先机,传统安全防线几近崩溃的边缘。知耻而后勇的安全从业者们开始从威胁情报、大数据、机器学习、终端安全、移动安全、云安全等领域全面爆发,安全新思维、安全新产品、安全新方案不断推出,联合起来的防守者们正在逐渐夺回战场上丢失的那些阵地。 作为防守方,要想成为历史时空之轮仲裁者战争中的胜利者,需要牢牢掌握住这三大关键战役的主动权与控制权。 1、威胁情报战:无论现实世界还是数字世界的战争里,情报历来都是左右战争走向的重中之重。地下黑色产业链对于情报的利用几乎到了极致,攻击者甚至能够根据被攻击目标的实时状态信息调整攻击方式。好在这几届的RSA大会上,人们对于安全威胁情报力量的认知、对于安全威胁情报的运用都在变得愈发明晰起来。有效搜集、分析、使用威胁情报,将威胁情报贯穿整个安全防御生命周期、渗入安全防御的每个角落,同样在防御过程中将安全威胁情报的力量发挥到极致。 得威胁情报者,得安全之天下! 2、全维度阻击战:终端安全、云安全、移动安全、物联网安全……每一个攻击面所涉及的维度都要进行最为坚决的阻击,哪怕是未来可能的人工智能安全问题里,也需要在认知感知层、Self-Monitoring监督架构层、代码监控管控层等维度建立牢固的阻击阵地,不给恶意攻击者任何可乘之机。 3、起源地反击战:针对一切问题的起源地“代码”这一微观领域也要采取诸多反击措施,实施逆向防御动作。强悍任何一枚“钉子”——代码——自身,从本源上提高整个系统的安全健壮性。当恶意攻击者再想针对代码下手时,对其予以最为强劲的反击:用战争迷雾迷惑它,用战争陷阱眩晕它,用战场工兵消灭它。 通过增强连锁反应每个环节的安全防御,实现对世界发展进程的有效保护,避免“丢失一个钉子”“亡了一个帝国”这类惨剧的发生,让信息安全成为世界历史轨迹的保护者,而非破坏者! 作者:Jayson Li 来源:51CTO

优秀的个人博客,低调大师

大数据窥探:关于大数据的15条干货思考

马云创造了“DT”(大数据时代)这个词,说未来社会不是IT时代,而是DT时代,而阿里巴巴战略定位为做DT时代的基础设施。类似于IT时代的微软,移动互联网时代的苹果之类的意思。马云去年在云栖大会上提出未来30年的“五个新”,分别是“新零售,新制造,新金融,新技术,新能源”,其中“新能源”就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的“大数据”与阿里战略更为密切。 最早把大数据应用在商业上的是亚马逊,直接根据用户的阅读兴趣推荐与之相关书籍,人家在PC时代就这么干了,是《大数据时代:生活、工作与思维大变革》一书中的经典案例;而在无线互联网时代的,今日头条根据用户阅读点击行动来形成个性化标签的“千人千面”,成为应用用户大数据的新样板;二者之间是不是有一些相似呢? 手机正把一切都数据化,自从苹果做机身一体化以外,现在国产手机的电池都不可拆卸了,即使手机关机,也可以定位到,这个功能给军事、刑侦带来便利,比如以前儿童走失寻回机率很小,如今有了跟踪功能,大家看支付宝、滴滴出行、今日头条会推动这一方面消息成功率明显提升了很多,对犯罪分子具有很强的威慑力,很多岗位因为数据的力量实际上更加“实证化”了,在这种局面下,做一个好人会更多回报,而做一个坏人会得到更大的惩罚,这是社会昌明的前兆。 手机里的数据可以实时上传到“云”上,如果数据没有“在线”,就不是所谓的大数据,而大数据与“云服务”是孪生兄弟,数据在线化需要存储、访问、下载,以前做数据存储是追求存储的空间大,就像手机的内存、电脑的硬盘、机房的服务器一样,当一切都数据化之后,盲目追求物理存储量显然行不通了,所以要转上“云”,也就是在线化了,(听说这个与“马云”爸爸的名字相关)。要用“在线”的思维去理解大数据,而不是停留在海量的直观上。 云服务也是亚马逊的AWS最早做公有云,IT企业不必向以前自建机房了,使用亚马逊的云服务,等于亚马逊为大家建了一个云服务的平台,这也就从IaaS(基础即服务)转向了PaaS(应用即服务)。在亚马逊做了云服务之后,阿里也做了阿里云,比如我所了解的智能锁品牌果加+、曼申、小嘀等,都是使用阿里云的服务,很多的SaaS软件也是购买的阿里云,阿里云目前稳坐企业服务市场的头把交椅,形成了网络效益。 SaaS(企业即服务软件)之所以火也与云服务相关,是在移动端可以直接下载App软件,有的连PC端系统都没有了,SaaS与ERP的区别是,SaaS是云端化下载、再安装,产品也更加标准化;而此前的ERP是固定的装机。现在SaaS比较多,似乎每个职能部门都有对立的SaaS,以便于提升创业者的人效。缺点是SaaS实在太多,有些碎片化,应该会出现一个类似微信一样的“统一型的企业软件”,成为企业管理中的“瑞士军刀”,看在阿里是有toB的基因上,我大胆预测是阿里钉钉。 一切都在数据化,并不是意味着所有的数据都有用,比如百度积累了很多年的搜索数据,需要“结构化”之后才能定向地分发信息;百度糯米的O2O数据目前的商业价值,还没有完全释放出来,还需要“云计算”能力跟上来。几乎所有的应用Push信息都比较烦人,说明大数据的场景化还很不成熟。 除了积累数据之外,互联网巨头都在疯狂购买或兼并数据,目前,现在数据的流通和交换还处于相对初期的阶段。数据使用之后可以不像实物会折旧损耗,还可以继续用,其数据结构化更强,反而增加了价值。目前市场上的数据很多还是在咨询公司或互联网公司手中,并没有很好发挥数据共享的作用,总体来看,数据的壁垒和鸿沟还很大。 要想首先解决数据开放问题,指望互联网公司开放似乎不大现实,人家的数据积累的好辛苦,都是资本的血汗钱。可行的是政府把自己的大数据开放出来,比如启信宝就是把工商税务数据进行结构化分类,产品体验做好形成了一个很实用的App;当然政府的数据有些涉密,所以推动起来还得看这次两会之后能否有指导文件出台。一旦医疗卫生、交通安全、能源化工之类的大数据公布其含金量将会比互联网数据更大,不过处在“原矿”阶段,还需要专业化团队开发,比如浪潮集团与很多地方政府进行政务云合作就是为了开发政府大数据的巨大潜能。 数据要想发挥作用,数据资源只是前提,核心还是“云计算”能力,最关键的是看应用的场景;也许这些数据放在这儿没有用,但是在另外的地方却是宝贝,因而应该会出现一个类似淘宝一样的C2C数据交易平台,我有需要的数据找有的人买;而你有的数据我正好需要;而数据之间的流通都是可以在移动端直接进行支付的,反正货币本质上也是数字。这样的大数据平台也许是一种全新的电商(线上交易)平台,今年两会孙丕恕代表有提到发展“数商”的重要理念。 大数据越来越成为TMT行业发力的起点,如果创业者掌握没有数据就没有办法照亮消费者,也没有办法去回溯生产端进行C2B(定制生产);在这点上,数据开始回顾到了市场营销(Marketing)的本质,满足用户的需求,所以大数据最早爆发的领域是在精准营销或者数字营销上;直接服务于互联网公司的广告销售;尤其是目前创业流量成本越来越高,广告投放精准化需要有程序化平台做专业投放;目前百度做人工智能就是主要以数字营销为发力点。 人工智能(AI)是一个与“移动互联网”、“互联网+”相媲美的大风口,但是人工智能必须要有大数据作为训练素材,机器学习、深度学习需要有大数据提升其机器人的学习能力。比如如果没有消费场景的大数据,就没有办法做出商业智能;如果没有医疗方面的大数据,就做不出智慧医生。鉴于目前的大数据产业本身还没有火起来,阿星认为AI近几年不可能迅速引爆,处于早期阶段。但是人工智能概念的热炒、资本大量涌入,为大数据交易平台的出现以及数据购买带来钱景相当可观的增量,反而促进了大数据产业开始受重视。 大数据把人都“标签化”了,以前互联网公司数据对立的都是ID(账户)数据,但是很难接近真人的数据,如今最能真实反映人的数据还是阿里和腾讯,让以前无数多、散、匿、杂的数据越来越集中,越来越接近真人;而用户也可以跳出物理范畴去延伸线上的世界,人与人之间的信任成本降低,陌生人之间的线上交易形成一个相对良好的契约基础,这就是大数据所给予我们的第一波红利。 可以预料,国内的大数据产业将与欧美完全不同,国外讲究个人隐私,有严格的反隐私法的规定;并且东亚文化圈对上网“隐私”容忍度很高,相关法律机制也不健全,也给了一些大数据公司和互联网用数据牟利带来了“空间”,这有点像互联网行业早期发展与国内知识产权相对宽松氛围相关,整个行业抄去抄来,网民无版权意识用免费内容用惯了。但如果在互联网行业已经成熟的今天,还在吃法律不健全的红利显然比较low了。 大数据是把双刃剑,公民的数据信息必须得依法监管,如果一旦出现行业性数据安全泄密事件,将会相关新的新行业将陷入危机之中;如智能家居数据泄密将会造成人身财产安全隐患;比如在3月10日曝出一起某互联网公司员工人盗取50亿条公民数据的信息;这是DT崛起前最大的绊脚石;也从侧面证明了大数据产业所处的原始混乱状态。 本文转自d1net(转载)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册