三、云上对标架构及技术详解

我们对传统IDC应用架构进行分析之后，我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点，为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

为了解决我们自建IDC底层基础设施可靠性差的问题，我们改用云计算服务，基础设施可靠性，异地容灾，数据备份，数据安全等问题再也不用担心
为了解决存储性能瓶颈以及用户访问体验问题，我们改用云上对象存储OSS服务+CDN；
为了解决单台数据库性能扩展瓶颈，我们改用云上的DRDS分布式关系数据库；
为了解决大规模的车机上报而导致数据写入延迟问题我们改用云上IOT套件+HiTSDB；
为了解决日常以及节假日流量高峰的问题，我们改用云上弹性伸缩服务+按量付费，以最低的成本完美解决日常及节假日流量高峰；
为了解决大数据存储瓶颈以及降低大数

微信关注我们

原文链接：https://yq.aliyun.com/articles/628182

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2018-08-22 00:00:00

利用MaxCompute内建函数及UDTF转换json格式日志数据

一、业务场景分析：由于业务的复杂性，数据开发者需要面对不同来源的不同类型数据，需要把这些数据抽取到数据平台，按照设计好的数据模型对关键业务字段进行抽取，形成一张二维表，以便后续在大数据平台/数据仓库中进行统计分析、关联计算。本文结合一个具体的案例来介绍如何使用MaxCompute对json格式的日志数据进行转换处理。 1.数据来源：应用实时写入ECS主机的指定目录下的日志文件中； 2.数据格式：日志文件中，每条日志的格式如下图所示（示例中对数据进行了简化和脱敏），每一条日志中包含了设备信息，以及1个或多个Session信息，且每条日志中的Session数量是动态的：1个或多个Session。每条日志的内容示例如下： 3.数据处理需求：采集日志数据，对日志数据进行解析、转换，对转换后的日志数据在MaxCompute进行统计分析。由于日志数

684

2018-08-23 00:00:00

【直播回顾】MaxCompute 技术公开课第二季

MaxCompute 技术公开课第二季已经结束，共进行了5次大数据技术直播，有近6000名用户、大数据专家、技术牛人、大数据爱好者参与其中。我们为大家整理了一下直播的PPT和视频内容，方便大家随时学习。以下是直播干货：主题：MaxCompute客户端 - odpscmd操作使用：分享嘉宾：曲宁阿里巴巴计算平台产品专家 PPT下载地址：https://yq.aliyun.com/download/2943 视频回顾：https://yq.aliyun.com/video/play/1568 主题：MaxCompute多租户数据安全体系介绍及实践分享嘉宾：四相阿里巴巴计算平台产品专家 PPT下载地址：https://yq.aliyun.com/download/2899 视频回顾：https://yq.aliyun.com/vide

628

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

车联网上云最佳实践（三）