首页 文章 精选 留言 我的

精选列表

搜索[趋势探讨],共10000篇文章
优秀的个人博客,低调大师

2016年大数据在金融领域的10大趋势

2015 年对于银行和金融业公司来说是一个开局之年,在这一年中他们继续用大数据来帮助他们进行业务和组织架构的演进。现在,放眼2016年将要面对的,我们猜测金融服务公司为了利益最大化进而不断整合大数据环境而言,他们面前的路依旧漫长。 银行家们也正在起草大数据战略,制定入门和随后的用例。 对于银行来说,大数据主要还是围绕提高客户情商,减少风险,符合监管。在可见的未来处于第一梯队的大型金融集团都会继续围绕大数据展开各种动作。在低端市场,一些中小型的公司(经纪、资产管理、区域银行、顾问等)能够更快速的适应大数据平台(云平台和本地部署),这些都帮助他们构建能够支撑复杂业务的大型系统,同时这些系统也都是比他们大的竞争对手所必须面对的。这块市场因此能够快速成长(对比那些大银行所关注的长期而规范的和成本为主的项目)能够马上看到更加直接收入贡献和战略

优秀的个人博客,低调大师

顺应趋势 液冷服务器重新定义数据中心

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 随着移动数据、云计算和大数据业务的迅猛发展, 数据中心建设规模越来越大,数据中心拥有者对数据中心节能的诉求,也逐渐突显出来。 近年来,出现了许多数据中心节能新技术,但都没有突破思维瓶颈, 一直孤立地关注数据中心基础设施层面本身的技术创新,并未将服务器设施层面纳入数据中心节能工程中, 统一地、系统地思考数据中心的节能问题,造成数据中心的设计PUE值难以突破1.60这个极限。 曙光液冷服务器PHPC300 行业诟病困扰数据中心降耗节能 2000年前后的互联网泡沫,给人类留下的技术遗产是服务器形态的革命以及数据中心建设理念的革命----由于服务器的规模化应用,机架化的服务器取代了塔式服务器; 同时引发了数据中心建设思路的革命----从机房环境到机柜微环境的变革、高架地板式数据中心成为数据中心的建设标准。 在之后的十年中,数据中心市场逐渐进入了一个高速发展的时期。IT设备的机架化在节省了数据中心物理空间的同时,也提高了机柜的功率密度。数据中心的功率密度,逐渐从低密度向中密度发展,期间出现了许多诸如局部热点等技术问题。遗憾的是,针对新出现的这些技术问题,行业内并没有意识到这是一个更高功率密度的新时代到来的预兆, 没有认真思考应对之道,而是不负责任地试图使用传统办法解决新问题。其结果是,数据中心的能耗指标PUE值,虽然从最初的3.00逐渐降低到了2.00以下,但一直难以突破1.60。 究其原因,是缺乏技术发展战略上的行业集成思维。事实上,对数据中心能耗贡献***的设备或部件----CPU、内存、服务器散热系统、数据中心空调系统、数据中心UPS系统,其相关行业均在独自地研究和开发节能技术, 并且多数行业领域的技术创新潜力已经挖掘殆尽。如果不去改变技术战略和思维方式,产生大的技术成就几无可能。 国内外一些行业***已经意识到这个问题,并开始采取了行动。目前来看,主要有两个技术方向: 高温风冷服务器配合数据中心新风直接自然冷却技术,以及液冷服务器配合数据中心水系统或氟系统间接自然冷却技术。 前者依靠提高服务器热源品位和特殊气候环境来实现节能,后者依靠降低传热过程的热品位损失来实现节能。 2013年Facebook对外界公开了其位于瑞典北部城镇吕勒奥(Lule)的数据中心,采用的就是新风直接自然冷却技术。吕勒奥位于波罗的海北岸,距离北极圈只有100公里之遥,当地的气候因素是Facebook选择在吕勒奥建立数据重要原因之一。据Facebook介绍,自1961年以来,吕勒奥的气温高于30度的时间不超过24小时,在该地区建立数据中心将节省一大笔散热开支。但是,从国内各地气候条件来看,南方地区温度高、北方地区风沙大,类似于吕勒奥这样数据中心的理想选址地点几乎没有;全球范围来看,新风自然冷却技术的应用场景也少之又少。 而液冷服务器技术则很少受限,这是因为这种技术不需要空气进入数据中心,甚至不需要空气进入服务器。 早在几年之前,IBM等公司就开发出了以纯水为工质的间接液冷型的服务器来取代风冷型服务器,来大幅改善PUE指标, 因为他们意识到空气作为冷却用的工质,远非理想中的***材料;而水要比空气的冷却效率高1000倍数量级。所谓间接液冷,指的是液体并不接触发热部件,而是通过冷板、冷仓等将液体与发热部件隔离开。 而美国Intel和美国3M则走另一条路线, 采用特殊液体直接与发热部件接触进行换热,即直接式液冷服务器技术,或称浸没式液冷服务器技术。这需要找到一种具有电磁兼容性、电气兼容性、物理兼容性、化学兼容性等性能均十分良好的液体直接与发热部件接触的技术。中科曙光自2010年开始研究液冷服务器技术,对液冷服务器未来的发展方向,与美国3M公司可谓是“英雄所见略同”,在许多技术方面做出了创新,形成了新的技术体系。 液冷服务器开创行业降耗新标杆 曙光一直致力于高效制冷技术的研究工作,并不断应用到产品中去,惠及广大曙光客户。中科曙光CloudBASE®系列C1000/2000/3000/4000方案,均是针对风冷服务器的、采用气流组织优化(包括池级、排级和机柜级)、温湿控制解耦、氟泵自然冷却等成熟技术的具体实施方案,根据目前这些方案在国内的运行数据来看,已经成功地将数据中心的PUE值从2.00降到1.60。 曙光液冷服务器在德国莱比锡ISC‘14现场展示 目前***的液冷服务器技术, 是中科曙光利用自身对服务器需求的深入了解以及服务器开发的技术实力所进行的创新的结果。从目前实验室数据来看,使用液冷服务器的数据中心,配合高效的氟泵循环系统,可以去掉压缩机、全年在自然冷却工况下运行,从而可以轻易地将PUE值从1.60降到1.20。 随着代表着业界领先水平、 国内首款采用3M公司电子冷媒技术的直接浸没式液冷服务器的发布,其高可用性、高密度、超低PUE等优点,势必撼动业内对于数据中心节能降耗的技术认知。从成本分析方面看,虽然中科曙光的液冷服务器产品比风冷服务器产品的制造成本有所增加,但是配套的数据中心基础设施的制造成本的下降则抵消了部分成本增量,使数据中心总体CapEX并未明显改变。但是,节能导致的OpEX的大幅降低,则使数据中心的TCO显著降低,这种优良的经济性表现是驱动行业对这项革命性技术认知的动力。 在中科曙光看来,服务器液冷技术势必将带来服务器物理形态的变革,同时带来数据中心建设模式的变革,从而对信息化产业格局产生深刻的影响。 【责任编辑: 路途 TEL:(010)68476606】 点赞 0

优秀的个人博客,低调大师

企业级系统架构设计技术与互联网应用技术结合主题一 大规模并发性能问题探讨

何谓大规模并发,不同层面有不同的理解 企业应用(Intranet):千级强并发,万级弱并发(在线用户),十万级用户 大型企业ERP、供应链,大型企业HR、办公OA 互联网应用(Internet):百万级强并发,千万级弱并发(在线用户),亿级用户/ 门户网站(新浪、腾讯) 平台级电子商务(阿里巴巴、淘宝网、拍拍网) 搜索引擎(百度) 电子商务企业应用(Intranet + Internet):十万级强并发,百万级弱并发(在线用户),千万级用户 B2C电子商务(京东、凡客、一号店) 垂直型电子商务(金银岛、携程) 不同系统间的并发特点企业系统 大量事务性、实时性访问 大量的事务、锁检测导致数据库访问瓶颈 需要数据操作的实时更新 大量有状态性访问 数据访问具有较强的操作上下文 数据一致性、准确性的高敏感 数据每一次事务性更新都必须得到充分展现,并且确保数据访问的一致性 清晰的业务逻辑进行并发划分 一般来说,企业系统都可以进行明确的业务区分,从而决定系统特点 互联网系统海量非事务性访问 极其巨大的数据量及数据访问导致IO操作成为瓶颈 模糊的并发区分 并发访问的用户中很难通过内容进行有效分发 并发访问一般具有地域性 数据访问效率的高敏感 用户对系统的响应时间非常敏感,需要在几秒内得到信息反馈 用户更加在意数据的匹配性 电子商务系统数据实时性的高敏感价格、信息同步的一致性等受制于企业级系统的约束 如支付,受事务性影响 海量非事务性访问+一定规模事务性访问信息访问具有互联网系统特点、信息操作具有企业系统特点 如数据的搜索查询、展现具有互联网系统特点 如数据的操作(支付、结算)具有企业系统事务性特点 什么是性能问题 在可识别的压力下,系统无法提供服务 (最差的性能问题) 在可识别的压力下,系统无法按服务质量标准提供服务 (满足性能标准,但是健壮性不足) 在可识别的压力下,系统无法持续按服务质量标准提供服务 (系统的可靠性和健壮性) 在超过识别的压力下,系统无法尽快恢复 能否有故障转移、故障恢复、冗余热备等机制 在超过识别的压力下,系统无法柔性伸缩 (系统的可伸缩性) 什么不是性能问题 超过可识别的压力情况下,系统暂时无法有效提供服务 性能测量服务质量 网络响应:网络响应时间、网络吞吐量、网络带宽及带宽利用率 服务响应时间:包括平均、峰值、标准区间值 服务处理质量:事务成功率、单位时间响应事务次数 服务端设备状态 CPU:CPU使用率 内存:使用内存大小 VM:GC次数(Full GC次数)、堆内存、线程数、锁和阻塞情况 磁盘IO:磁盘访问效率、磁盘空间、磁盘IO吞吐量 系统可靠性、健壮性 单节点处理的访问量 故障恢复时间 节点复制和节点扩展的难易 系统可能的性能瓶颈 网络 网络带宽的总体限制 网络连接数的限制(如TCP/IP, 数据库连接等) 服务器 每个响应占用相应的资源,导致内存成为瓶颈 比如JVM为每个线程分配栈空间,过多栈空间导致内存消耗 比如每个HTTP连接在Session存储内容,导致OOME 同时响应一定量的并发操作,导致CPU占用过高 磁盘IO 频繁访问数据库,导致数据交换IO操作频繁 频繁访问IO文件,导致磁盘IO成为瓶颈 企业级系统架构及技术特点架构设计基于SOA和MDA的架构 以服务为核心单元的 设计思想,以传统WS作为服务发布 以模块化为系统构建方式,重视应用子系统和子模块的独立性和可重用性 中央集中式部署架构 专业小型服务器 一般不会超过5台部署服务器,不会多于10个应用节点 热备和故障恢复机制、灾备系统 关注流程 工作流技术,尤其是分布式节点间流程整合 企业系统间的无缝转移 门户 跨系统,跨节点间的单点登录 技术运用以商业性产品为主 追求单节点稳定性 较少需要7*24小时支持 以商业性关系数据库为主要存储 比较严格的事务性访问 完全基于数据库事务 分布式事务(JTA) 较为复杂并且功能丰富的用户界面 用户具有相对统一的客户端(比如使用IE浏览器) 用户可以接受适当的响应和延迟 互联网系统架构及技术特点架构设计 以界面展现和用户体验为主要设计 大量运用Ajax实现局部提交和局部刷新 以轻量级、伸缩性为架构主要考虑 除某些平台级应用外,极少使用服务扩展 使用REST风格的WebService或者纯粹的处理Json的Web响应 数以百台甚至上万台PC服务器,多个数据中心,站点镜像 分布式独立域以及部署域之间定时通信 高性能缓存机制 双向页面缓存 内容静态化技术 数据缓存 非事务、非关系型数据库 全面NoSQL数据库 技术运用大量使用开源技术产品 LAMP: Linux + Apache + MySQL + PHP Tomcat, Lucene, Memcache 简单界面开发技术 脚本语言,如PHP, Python, Ruby等 对多种浏览器的支持 底层高性能处理优化 使用C、C++实现底层通信和IO优化 电子商务系统架构及技术特点架构设计关注数据的糅合(Mashup)关系数据库与高性能NoSQL数据库结合不固定的架构设计思路 可能偏互联网方向,也可能偏企业系统方向 分布式部署 事务缓存机制 事务迁移、事务恢复、事务批量处理 较为严格的安全机制 部分功能使用HTTPS及数字证书 与企业系统的对接交互 与银行、支付平台的对接 与企业订单系统、进销存系统、物流系统的对接 技术运用有时效的缓存机制 确保数据实时性与性能的平衡 大量数据挖掘和分析运用 相关性分析 定向推荐 部分运用商业中间件技术产品 应用服务器 业务流程管理 大量的开源技术运用 Java相关开源技术比较常见 本文转自 www19 51CTO博客,原文链接:http://blog.51cto.com/doujh/1812497,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册