车联网上云最佳实践（三）

2018-08-22 582

三、云上对标架构及技术详解

我们对传统IDC应用架构进行分析之后，我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点，为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

为了解决我们自建IDC底层基础设施可靠性差的问题，我们改用云计算服务，基础设施可靠性，异地容灾，数据备份，数据安全等问题再也不用担心
为了解决存储性能瓶颈以及用户访问体验问题，我们改用云上对象存储OSS服务+CDN；
为了解决单台数据库性能扩展瓶颈，我们改用云上的DRDS分布式关系数据库；
为了解决大规模的车机上报而导致数据写入延迟问题我们改用云上IOT套件+HiTSDB；
为了解决日常以及节假日流量高峰的问题，我们改用云上弹性伸缩服务+按量付费，以最低的成本完美解决日常及节假日流量高峰；
为了解决大数据存储瓶颈以及降低大数

微信关注我们

原文链接：https://yq.aliyun.com/articles/628182

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用MaxCompute内建函数及UDTF转换json格式日志数据

一、业务场景分析：由于业务的复杂性，数据开发者需要面对不同来源的不同类型数据，需要把这些数据抽取到数据平台，按照设计好的数据模型对关键业务字段进行抽取，形成一张二维表，以便后续在大数据平台/数据仓库中进行统计分析、关联计算。本文结合一个具体的案例来介绍如何使用MaxCompute对json格式的日志数据进行转换处理。 1.数据来源：应用实时写入ECS主机的指定目录下的日志文件中； 2.数据格式：日志文件中，每条日志的格式如下图所示（示例中对数据进行了简化和脱敏），每一条日志中包含了设备信息，以及1个或多个Session信息，且每条日志中的Session数量是动态的：1个或多个Session。每条日志的内容示例如下： 3.数据处理需求：采集日志数据，对日志数据进行解析、转换，对转换后的日志数据在MaxCompute进行统计分析。由于日志数

2018-08-22

721

MaxCompute 技术公开课第二季已经结束，共进行了5次大数据技术直播，有近6000名用户、大数据专家、技术牛人、大数据爱好者参与其中。我们为大家整理了一下直播的PPT和视频内容，方便大家随时学习。以下是直播干货：主题：MaxCompute客户端 - odpscmd操作使用：分享嘉宾：曲宁阿里巴巴计算平台产品专家 PPT下载地址：https://yq.aliyun.com/download/2943 视频回顾：https://yq.aliyun.com/video/play/1568 主题：MaxCompute多租户数据安全体系介绍及实践分享嘉宾：四相阿里巴巴计算平台产品专家 PPT下载地址：https://yq.aliyun.com/download/2899 视频回顾：https://yq.aliyun.com/vide

2018-08-23

667

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

车联网上云最佳实践（三）

三、云上对标架构及技术详解

利用MaxCompute内建函数及UDTF转换json格式日志数据

【直播回顾】MaxCompute 技术公开课第二季

相关文章

发表评论

资源下载

优质分享App

Nacos

Rocky Linux

Sublime Text

欢迎您来访！