阿里云HBase Ganos在海量实时轨迹中的应用(一)-低调大师

阿里云HBase Ganos在海量实时轨迹中的应用(一)

2019-03-21 621

场景需求

在移动对象轨迹监控与分析的项目中，收集了数十万的车辆信息，每个车辆会定时的上报当前位置、事件、状态等信息，每天约数亿条轨迹点，需要能够存储。且前端用户在查询时，要能快速返回目标船舶的信息。

入库需求：

轨迹数据，每日新增10亿条左右，包括时间点、经纬度坐标、对象当前的属性信息
基本不涉及到数据的修改（不断的追加数据）

查询需求：

区域回放：根据时间和空间范围两个维度共同查询。例如：查询东经110°~120°，北纬25°~35°空间范围内，2019.3.1~2019.3.10时间范围内的所有轨迹点。
轨迹线查询：根据某个移动对象的id，查出某段时间内的轨迹。例如：查询编号为"205073000"的船舶在2019.3.1~2019.3.10时间范围内的所有轨迹点。

要求：

要能支撑每日10亿量级的写入，要能承载千亿轨迹规模的存储
时空查询（区域

微信关注我们

原文链接：https://yq.aliyun.com/articles/694847

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

学习大数据分析需要什么基础？

身处21世纪的今天，数据分析行业急剧发展，越来越多的企业已经意识到大数据分析的重要性和发展潜力，同时越来越多的传统行业公司开始转型升级，开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生，基于自己的文科背景担忧自己能否零基础入门大数据行业，毕竟隔行如隔山，到时学不进去又误了自己找工作的时间，也是左右皆空啊；或许你刚毕业一两年，当初浑浑噩噩毕了业随便找了个工作，现在终于觉得要好好规划人生了，正迷茫于到底要不要学习大数据分析技术进入人才济济的大市场岗位，好为自己的未来职业生涯奠定基础；或许你早已流转职场多年，感觉身处瓶颈期的自己已无晋升或提升空间，正为要不要转行到大数据分析行业而摇摆不定……其实，一切的担心都是人之常情，一切的担心不过都是过眼云烟，“车到山前必有路”，我

2019-03-22

678

原标题：Hadoop架构下的数据库审计难在哪里 ——大数据渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的制高点。在大数据时代下，信息和数据的分析处理都会变得比以前更加繁杂，管理起来也更加麻烦。大数据发展仍旧面临着众多问题，最受大众关注的就是安全与隐私问题——大数据在收集、存储和使用的过程中，都面临着一定的安全风险，一旦大数据产生隐私泄露的情况，会对用户的安全性造成严重威胁。 Hadoop是什么? Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，是目前市场上最受欢迎的一种大数据解决方案之一。 (Hadoop架构业务及审计逻辑) Hadoop 由许多元素构成，其核心是分布式文件系统(HDFS)和MapReduce 引擎，并涵盖众多提供Hadoop应用的子项目，如：数据仓库工具(HIVE)、NOSQL数据库(HBASE)、大数据分析平台(PIG，为用户提供多种接口)等以及众多的编程接口。 Hadoop架构下数据库的审计难在哪里? 为了满足Hadoop架构下...

2019-03-22

518

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。