DTCC2015：大数据行业应用及开源架构-低调大师

DTCC2015：大数据行业应用及开源架构

2017-08-31 480

文章讲的是 DTCC2015：大数据行业应用及开源架构，以“大数据技术探索和价值发现”为主题的第六届2015中国数据库技术大会(以下简称大会)近日在京召开。大会吸引了近2500名技术爱好者参与，活动主办方除设置主会场外还开设了多个专场，在《专场19：大数据-商业与开源架构》上来自中海纪元数字技术公司技术总监任广坤，携程网高级架构经理赵俊，搜狐DBA赖亿，博晓通联合创始人董健将为我们带来一场精彩的大数据全方位的知识“盛宴”。

▲中海纪元数字技术公司技术总监任广坤

　　中海纪元数字技术公司技术总监任广坤首先介绍了大数据在智慧政务上的应用。他指出，在云计算已经遍布国内大江南北，各地都在建设云计算基地能够为大数据应用奠定基础。再说电子政务的发展，它与我们的生活是密切相关的，回顾整个电子政务的发展经历来看，它主要经历了几个阶段：

　　第一个阶段90年代左右其信息化是垂直的系统;第二阶段是从2000年到2005年是两网一站，四库十二金的应用;第三阶段是从2006年到2011年，面向业务协同提高办事效率主要推是标准化市民中心。第四阶段从2012年以后政务向是一站式智慧政务。所谓一站式主要是基于云计算、大数据等提供的服务。

▲新技术带来的行业变化

　　任广坤指出大数据带来了行业的变革，给政府行业大数据带来了六大转变：从粗放管理向精细化转变，从单相管制向政民互动转变，从各自为战向协作共享转变，从被动响应向主动预见转变，从行政主导的政府向以人为本服务型政府转变，从经验决策向基于大数据的科学决策转变。

▲业务新要求、IT新需求推动统一化

　　谈到电子政务的应用，其实电子政务与企业的架构有很高的相似性，过去企业建了很多的IT系统，形成“烟筒”式的架构，这些问题不仅仅是企业面对，对于电子政务而言，同样也面临相信的问题比如当有了新的业务需求时，同样也对IT提出了新的需求，这就要求必须统一化。以政务数据为例，政务的需求是纵向访问上级部门，纵向各业务之间要隔离，要求数据需要更强的稳定性、安全性、可靠性。大数据是政务资源整合和业务协同的重要组成部分，对于政务的需求推荐使用面向电子政务领域的EDATA平台，它是基于大数据的采集、存储、分析与挖掘及可视化展示应用等全方位一体化解决方案，基于开放性架构的平台，可面向电子政务各行业应用进行具体业务需求快速实现。

▲平台系统架构设计

▲平台设计理念

▲平台设计功能

　　携程高级架构经理赵俊就《应用与DB的实时依赖分析与故障定位》作了主题分享。他指出，当网站访问量越来越大的时候，对于DB是一个“灾难”，大量报错需要花很久的时候才能定位。基于此，携程开发了DAP。DAP(Data Arch Portal)是基于Java开发的，使用12种开源框架的实时应用与DB监控平台。它为携程提供了从架构到应用访问DB的全面监控服务和决策支持。

▲携程高级架构经理赵俊

　　现在DAP的现状是拥有16台物理监控肌群，1500+业务应用(包括.net，Java，和MS SQL)，4000+应用服务器，>10TB消息大小，>100亿消息(每天)，单机Max QPS 10w/S(生产环境)。一套好的监控系统指标不仅要具备对应用无影响，还能够具备实时性、吞吐量、开销低、可靠性、服务端处理100%的到达消息等元素。

▲DAP报表之系统报错大盘

▲DAP报表之应用与DB耦合依赖

▲DAP报表之架构总图

作者: 李伟

来源：IT168

原文链接:DTCC2015：大数据行业应用及开源架构

微信关注我们

原文链接：https://yq.aliyun.com/articles/218859

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

思科推出新一代互联网边界防火墙助力企业兼顾性能与安全

近日，思科推出了思科Firepower 2100系列新一代防火墙（NGFW），全面应对安全瓶颈问题。2100系列产品专为需要执行大量敏感交易的企业而设计，例如银行和零售企业等。该系列产品旨在帮助企业实现最长正常运行时间，并为关键业务功能和数据提供可靠保护。该系列产品将有力解决性能与防护难以兼得这一行业难题，可凭借全新的可扩展架构、以及使吞吐量增长200%的性能提升，全面消除从互联网边缘到数据中心的瓶颈。思科还提升了产品所需工具的效率与威胁防御能力，进一步简化了从设备到云的整个企业安全产品组合的管理。这些工具包括用于满足设备本地管理要求的Cisco® Firepower Device Manager，用于满足集中安全管理需求的Cisco Firepower Management Center，以及用于提供云管理功能的Cisco Defense Orchestrator。随着企业逐步迁移到全数字化业务模式，网络安全解决方案必须进行扩展，以提供新功能，解决最新漏洞和威胁，同时避免影响应用和网络性能。但在过去，情况并非如此。事实上，在NGFW上启用入侵检查时，吞吐量性能通常会降低50%，甚...

2017-09-01

537

第2章 VSAN部署的前提条件和要求在深入VSAN的安装和配置之前，有必要先讨论一下安装的前提条件和要求。VMware vSphere是每一个基于VSAN的虚拟基础架构的基石。 2.1　VMware vSphere VSAN最初是随VMware vSphere 5.5 U1发布的，其更新版本随VMware vSphere 6.0（VSAN 6.0）、VMware vSphere 6.0 U1（VSAN 6.1）以及VMware vSphere 6.0 U2（VSAN 6.2）发布。每个发布版本都添加进了VSAN的一些新特性，这些特性曾在第1章列出，也会在本书的各个章节中进一步讨论。VMware vSphere包含两个主要组成部分：vCenter Server管理平台和ESXi虚拟管理程序（hypervisor）。要安装和配置VSAN，这

2017-09-01

632

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。