首页 文章 精选 留言 我的

精选列表

搜索[Agent体系],共10000篇文章
优秀的个人博客,低调大师

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop?Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。 Hadoop的核心有两大板块:HDFS和MapReduce。 HDFS全称Hadoop Distributed File System,是一种分布式文件存储系统。分布式文件系统是指将固定于某个地点的某个文件系统,扩展到任意多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上

优秀的个人博客,低调大师

专访小邪:从十年技术之路看阿里技术体系的变革

编者按:从2008年到2018年,从阿里巴巴中间件团队到飞天八部——小邪与阿里的十年。 2008年4月,小邪正式入职阿里巴巴,首次接触淘宝商城项目开启了其十年的阿里技术生涯,去年12月加入阿里云,任飞天八部掌门人。本文邀请到小邪进行了专访,就其在阿里十年的经历进行了深入的访谈,此外他还分享了阿里的技术发展史以及他的职业生涯感悟。 阿里云研究员、飞天八部掌门人蒋江伟(花名:小邪),原阿里巴巴中间件团队负责人。 一切从淘宝商城谈起 小邪加入阿里正值淘宝商城(现天猫)公测阶段,而这也是他来到阿里的第一个项目。这几乎是一个和淘宝并行的项目,工程之浩大可想而知,当时小邪主要负责品牌导购,即淘宝上的品牌页,通俗点说就是,用户可以根据字母(例如耐克、阿迪达斯等等)顺序筛选品牌。 对于外界而言,鉴于阿里巴巴在电商领域扎根多年的经历,要复制淘宝的成功看似并非

优秀的个人博客,低调大师

【演讲实录】下一代企业级应用架构管理体系

在我们的工作中,接触到很多的传统行业的客户,比如金融、零售和制造业等等,传统行业由于受到互联网环境的冲击,很多企业都开始做数字化转型,因此逐渐走向我们今天经常听到的新金融、新零售、新制造,主要是通过大数据云计算等新技术的应用,提升业务能力,改变服务模式,从以产品为中心而逐渐转向以消费者需求为中心转变。 企业级客户的IT状况是什么样的呢? 简单来讲,可以概括为:双态并存。 在业务层面,目前企业中既有传统业务,也有互联网的新型业务。拿金融行业来说,目前做很多的新业务创新,包括线上的理财贷款等业务,同时加上传统的存款汇款的老业务仍然大量存在,也就是说在业务层面,是老业务和新业务并存。 而IT主要作用就是对业务进行支撑。因此支撑老业务的IT架构和支持新业务的架构也都有。传统的架构对于老业务的支撑是很稳定的,比如银行的核心系统仍然跑在大型机上,尤其是大型的银行。而新的IT架构,云化的互联网化的架构,则用于支撑互联网的新业务。 传统的业务和架构需要稳定,而新的业务和架构要求敏捷,因此出现稳态和敏态并存的现状。 上图表示了金融行业的客户现在在业务层面和IT层面所面临的挑战。某金融企业现在面向互联网场景的2C的零售业务的增速,年复合增长率超过百分之百;某银行企业的信用卡中心,每个月应用的迭代更新超过100次(主要是为了支持大量的线上营销活动,比如节假日),因此IT系统大大小小的迭代也达到100多次;还有来自证券企业的压力,银行网络支付业务在双11的时候,其IT系统面临发压力都是非常大的,甚至达到指数倍。 我们看到这些传统行业在互联网的冲击下,业务面临的压力是非常大的,这在以前的环境下是不敢想象的。 业务的转型不可避免地推动IT的转型,那么IT 究竟发生了哪些变化呢?我们根据经验总结了一些场景。主要变化发生在以下五个维度。 1、计算资源 在传统的业务需求下,银行等大型企业都是买大型机小型机等高端的存储和服务器,而现在面临互联网化的需求,都逐渐走向x86,并构建虚拟化环境,还有一些客户,使用公有云。那么我们看到,硬件锁提供的计算资源逐渐向廉价的方向发展,计算资源也都在做IaaS云化。 2、应用的封装和交付 在应用的封装上,之前JAVA都是用JVM做封装,基本上都是采用java程序然后抛在java虚拟机上。而现在更多的是采用容器的交付方式。容器在很大程度上解决了程序异构所带来的问题。 3、应用管理的问题 传统模式下对应用做管理,尤其是java的应用,大多数是通过java中间件,比如weblogic等,管理的内容包括应用的权限,应用端的访问,数据库访问的密钥,应用的session共享等。在新的架构上,都是基于容器的PaaS平台,应用上云之后,都是容器化交付的,通过PaaS平台管理容器化的应用。 4、应用架构 这个主要是指应用怎么做开发,怎么做架构设计,怎么写程序,传统的架构是采用SOA的架构,或者说单体架构,而在新的环境下,SOA的维护成本和迭代成本都很高,因此在云计算IT架构里面,普遍采用的是微服务架构。微服务架构是一种分布式的架构,每个应用程序相对轻量,每个进程封装在单独的容器里,实现独立的功能等。 5、开发运维 这里会涉及到企业的组织部门的架构,在传统的IT企业中,开发部门,运维部门是两个并列的部门,在开发部门中比如采用传统的瀑布式开发,运维则是传统的面向资源为中心的运维,到了云计算的时代,由于业务压力很大,上云在很大程度上是为了解决效率的问题,提升敏捷能力,因此开发部落地敏捷开发,而在运维部门,逐渐落地DevOps的模式,也通过这种方式,促进开发和运维部门的融合和一体化。 在上述的五个层面,应用架构和应用管理则是我今天重点要关注和分享的。 什么是企业级应用架构管理? 企业级应用架构管理主要解决应用的开发架构和应用的运行时管理问题。 主要的价值是: 1、实现应用运行环境的标准化,提升交付速度 2、达到运维过程的高度自动化,降低运维成本 3、形成软件研发的技术路径统一和把控研发质量 4、优化企业 IT 架构治理 未来企业级应用的发展方向是什么? 在我今天的演讲题目中,增加了‘下一代’,那么我们来看一下在上云之后的下一代的企业级应用会向哪个方向发展? 我们认为未来企业上云后,应用主要会朝着轻量化、敏捷化和开源化的方向发展。 1、轻量化 这里主要是针对传统的JAVA 中间件应用。应用容器化、架构微服务化,使得企业级应用变得轻量化。 2、敏捷化 包含以下几个理念: DevOps 理念逐步推广 研发人员更多关注业务开发本身而无需关注太多底层技术细节,落地敏捷开发 运维人员大量采用自动化运维平台和工具,运维效率极大提升 3、开源化 企业级 IT 全面拥抱开源软件 开源技术选型上面临挑战,开源技术频繁更新迭代,企业需要量体裁衣,取长补短(目前很多的开源技术都处于半成熟的状态,在开源技术选型上的困难是很大的) 我根据自己在Google的经验,接下来跟大家分享一下Google在企业级应用架构方面的管理。 Google作为 IT 行业的标杆,是云计算领域公认的领头羊之一。我在Google工作的时候,很深刻地感受到Google在应用架构的管理方面是非常强大的,所有的业务都能实现统一管理。 在Google 内部的 EAMS 最为强大,主要体现在以下几个方面: 1、管理内部上亿应用程序,并运行在数百万台服务器上,极大地提升了资源利用率。 2、使得研发人员专注业务开发,提升了开发效率,而无需关注分布式系统的底层架构,诸如计算、网络、存储等细节。 3、落地了SRE,Google 的 DevOps 实践,极大地提升了运维的效率 而事实上,Google的应用管理代表了互联网公司对应用管理的范式。 那么,当企业应用上云之后,其应用架构管理要关注哪些要素? 1、容器 容器正在成为云计算原生应用的标准交付方式 2、微服务 微服务将成为云计算原生应用的标准开发架构 3、服务治理 微服务治理成为下一阶段应用管理的核心 服务网格是微服务领域最新的服务治理技术 数据网格是服务网格的特例,是微服务应用数据治理方面最新的技术 接下来我重点讲一下服务网格技术。 服务网格如何对微服务做服务的管理呢? 服务网格很像一个轻量的网络代理,当客户端的程序需要访问服务端的时候,客户端 程序首先要知道服务端在哪,一般静态的方式是通过IP地址端口或者域名端口来访问。 在服务网格下的处理方式是这样的: 1、由于客户端不知道服务端在哪里,因此用简单的方式将请求发送给本地的服务网格实例(的代理)。 2、服务网格进行服务发现 3、服务网格找到请求之后,将其转发给目标的服务端。 当服务端响应之后,也是将结果返回给服务网格,然后由服务网格转发给客户端。 通过这种方式,客户端不需要查找服务端地址,服务端也不需要对客户端进行注册。极大地简化了服务流程。 那么为什么叫服务网格?加入以下是一个企业内部的服务器,一个格子代表一个服务器,绿色的是应用程序,蓝色的是轻量级的网络服务代理,所有的微服务程序互相通信都是通过网格来实现。 所有蓝色的网格的代理会装在每一台服务器上,最终的通讯是网格来完成的。这样网络就形成了格子状。 服务网格有哪些关键点 抽象:基础设施层功能:实现请求的可靠传递部署:轻量级网络代理关键:对应用程序透明 网格是如何演进过来的? 如何理解网格对于应用程序的透明无侵入,我们先来看一下tcp/ip的例子,在这个协议之前,需要有大量的逻辑处理网络上的问题,比如网络连接失败,网络重传,网络丢包和数据错误和流量控制等问题,因此在tcp/ip之前,写网络应用程序是非常痛苦的一件事情。所有网络的处理和程序的逻辑混合在一起。 后来随着tcp/ip的出现,网络的处理直接写入到操作系统的内核里面,在程序的设计中再也不需要关注。 同样的道理,网格也是起到这样的作用。就是将通信的细节问题抽象到内核里面,应用程序设计的时候不需要再去处理和关注。 在实现上,我们可以参考最近新推出的Istio,是服务网格的王者。 Istio主要做的就是,当我们将网络的管理部分与应用程序进行剥离开来之后,它能够进一步将这些服务进行抽象化并做统一的管理和控制。其作用和好处也是非常多的。 企业级应用架构管理会朝着什么样的方向发展? 主要会朝着标准化、统一化和模块化的方向发展。 1、标准化 容器对应用标准化封装 微服务成为云计算原生应用标准化架构 2、统一化 基于容器和微服务打造的标准化应用,可以实现应用统一化管理 3、模块化 容器化应用的每个实例是可独立部署的最小模块 微服务架构非常强调应用的模块化 模块化降低系统耦合度,降低系统维护成本 数人云在这方面也一直在不断地努力。 主要致力于两个方面,一个是微服务的开发和管理,另一个就是容器的层面。从目前来看,微服务的选择以后也会大部分落在对容器的选择上。而微服务的开发测试,要走的路还很长,尤其是开发测试,需要大量的工作。 原文发布时间为:2017-12-29 本文作者:王璞 本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“数据和云”微信公众号

优秀的个人博客,低调大师

阿里云发布《数据安全白皮书》 首次披露完整云安全运营体系

6月29日,阿里云在云栖大会·成都峰会发布《数据安全白皮书》(以下简称白皮书),首次公开了阿里云在保障230万用户数据安全方面建立的流程、机制以及具体实践办法。 借此机会,针对用户最关心的云上数据传输、使用和存储等问题,阿里云也给出了详实的解读和承诺。并通过权威的认证和审计报告,充分证明其在数据安全方面的合法合规性。 作为行业内首个主动接受市场和监管检验的云服务商,阿里云开创性地以透明、公开的方式搭建信任关系,再次成为云计算行业的先锋代表,也为云计算市场的健康发展起到了积极的示范意义。 “1+3”的强力安全运营管控理念 从成立第一天起,阿里云就将“用户安全”列为最重要的事情。白皮书透露,阿里云在架构设计之初就同步考虑了安全架构,不仅将安全的基因植入到整个云平台和各个云产品中,更将数据安全要求嵌入产品开发生命周期的各个环节。 七年实践,阿里云总结出独有的“1+3”的强力安全运营管控理念,即通过“安全融入设计、自动化监控与响应、红蓝对抗与持续改进”这3个安全手段,实现保障用户数据安全这个核心目标。白皮书中写道,阿里云对各产品及业务的安全漏洞及威胁情报已经达到100%监控响应能力。 阿里云还积极邀请全球顶尖安全技术专家持续进行“红蓝军”攻防对抗,并将对抗结果与生产环境中所遭受的威胁结合,更新跌代威胁分析工具、安全评估方法论,让数据安全防御形成一个持续迭代更新的良性循环系统。 数据是客户资产,阿里云不会移作它用 阿里云用户对自身数据,一直具有完全的知情权和控制权。用户可自行选择其生产数据部署或存放的云服务可用区地点,未经用户授权 ,阿里云不会任意移动其生产数据的存储区域。 不同用户之间,无论是CPU、内存,还是存储和网络都默认相互隔离,既看不到对方的数据,也不会相互影响。“就像一间五星级酒店被分割成多个房间,他们之间是相互独立和封闭的,从而确保不同租户互不干扰和数据隔离。”阿里云安全资深总监肖力介绍。 对于数据的交换、转移与分享,阿里云都提供了标准的加密传输协议,以方便云平台与外界以及系统间传输敏感数据的需求。 全球领先的云计算安全技术 白皮书介绍,所有开发、维护、客服以及其他可能接触到阿里云内部系统的人员,他们的每次登陆都有严密的身份识别,确保帐号与生产设备“不会误用”、“不被盗用”、“不能乱用”的三不原则! 七年时间,阿里云沉淀了一支包括云底层安全、云平台安全、合规内控及标准在内的专业团队,保障用户的数据安全并协助用户满足企业运营的合规目标。 如今,阿里云全球领先的热升级技术更使得产品升级、漏洞修复都不会影响客户业务。去年初,Xen被爆存在高危漏洞。阿里云采用了全部热升级的方式,在用户没有感知的情况下,解决了此问题。 现在,阿里云保护着全国35%的网站。2015年,阿里云安全团队共监控到DDoS攻击事件超过10万次,其中流量达到300Gbps以上的攻击次数有66次,最大攻击峰值流量达到477Gbps。 国际多家标准组织肯定阿里云数据安全机制 云计算行业安全认证和行业合规是任何一家云服务提供商正式运营的必备条件,也是提供云服务的资质保障。在安全方面,阿里云已获得云安全国际认证金牌(CSA-STAR)、ISO20000认证、ISO 27001 和ISO 22301认证,被誉为亚太地区认证合规最完备的云计算平台。 阿里云还通过了美国注册会计师协会(AICPA) 与云安全联盟(CSA)制定的SOC2审计标准。该报告由国际审计师事务所安永出具,数据安全性为其审计重点。 此外,为促进行业健康发展,阿里云还积极参与云计算和大数据国际、国家标准、行业标准的编制,并在多个国际标准组织内担任重要席位。 原文发布时间为:2016年6月29日 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册