G7在实时计算的探索与实践-低调大师

G7在实时计算的探索与实践

2018-10-14 601

作者: 张皓

G7业务快览

G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。

整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。

G7的业务场景是典型的IoT场景：

传感器数据
数据种类多
数据质量差
数据低延迟
数据量大

其中，数据质量差的原因是整个链条会非常的长，从传感器采集的车辆的数据，通过网络运营商将数据上报到后端服务器，再经过解析，mq，过滤，调用三方接口，业务处理，入库，整个过程非常的长，造成数据在传输过程中出现数据重复，数据缺失等。另外一点，IoT场景需要数据传输的延迟非常低，比如进出区域报警，当车辆进入到某个电子围

微信关注我们

原文链接：https://yq.aliyun.com/articles/652529

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用EMR Hive关联云HBase

云HBase需要借助外部Hive对多表进行关联分析，后续云HBase将集成Spark，更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。 1. 环境准备购买按量计费的EMR集群，配置依据实际场景确定，注意要和EMR处在同一VPC下，建议不需开启高可用。由于云HBASE的HDFS端口默认是不开的，需要联系工作人员开通。将EMR所有节点的IP加入到云HBase白名单获取云HBase的zookeeper访问地址，可在云HBase控制台查看。 2. 修改配置进入hive配置目录/etc/ecm/hive-conf/ 修改hbase-site.xml，将hbase.zookeeper.quorum修改为云HBase的zookeeper访问连接 <property>

2018-10-13

761

前文对 Spark 和 Flink的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境，技术支持，社区等等，对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限，而生态能让这些能力真正发挥出作用。概况 Spark 是最活跃的 Apache 项目之一。从 2014 年左右开始得到广泛关注。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks，由最初的 Spark 创造者们成立的公司。今年 6 月的 Spark+AI 峰会参加人数超过 4000。 Spark 因为在引擎方面比 MapReduce 全面占优，经过几年发展和 Hadoop 生态结合较好，已经被广泛视为 Hadoop MapReduce 引擎的取代者。 Fli

2018-10-14

887

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。