阿里云HBase Ganos在海量实时轨迹中的应用(一)
场景需求
在移动对象轨迹监控与分析的项目中,收集了数十万的车辆信息,每个车辆会定时的上报当前位置、事件、状态等信息,每天约数亿条轨迹点,需要能够存储。且前端用户在查询时,要能快速返回目标船舶的信息。
入库需求:
轨迹数据,每日新增10亿条左右,包括时间点、经纬度坐标、对象当前的属性信息
基本不涉及到数据的修改(不断的追加数据)
查询需求:
- 区域回放:根据时间和空间范围两个维度共同查询。例如:查询东经110°~120°,北纬25°~35°空间范围内,2019.3.1~2019.3.10时间范围内的所有轨迹点。
- 轨迹线查询:根据某个移动对象的id,查出某段时间内的轨迹。例如:查询编号为"205073000"的船舶在2019.3.1~2019.3.10时间范围内的所有轨迹点。
要求:
- 要能支撑每日10亿量级的写入,要能承载千亿轨迹规模的存储
- 时空查询(区域

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
学习大数据分析需要什么基础?
身处21世纪的今天,数据分析行业急剧发展,越来越多的企业已经意识到大数据分析的重要性和发展潜力,同时越来越多的传统行业公司开始转型升级,开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生,基于自己的文科背景担忧自己能否零基础入门大数据行业,毕竟隔行如隔山,到时学不进去又误了自己找工作的时间,也是左右皆空啊;或许你刚毕业一两年,当初浑浑噩噩毕了业随便找了个工作,现在终于觉得要好好规划人生了,正迷茫于到底要不要学习大数据分析技术进入人才济济的大市场岗位,好为自己的未来职业生涯奠定基础;或许你早已流转职场多年,感觉身处瓶颈期的自己已无晋升或提升空间,正为要不要转行到大数据分析行业而摇摆不定……其实, 一切的担心都是人之常情,一切的担心不过都是过眼云烟,“车到山前必有路”,我
- 下一篇
【数据库审计】Hadoop架构下的数据库审计
原标题:Hadoop架构下的数据库审计难在哪里 ——大数据渗透到各个行业领域,逐渐成为一种生产要素发挥着重要作用,成为未来竞争的制高点。 在大数据时代下,信息和数据的分析处理都会变得比以前更加繁杂,管理起来也更加麻烦。大数据发展仍旧面临着众多问题,最受大众关注的就是安全与隐私问题——大数据在收集、存储和使用的过程中,都面临着一定的安全风险,一旦大数据产生隐私泄露的情况,会对用户的安全性造成严重威胁。 Hadoop是什么? Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算,是目前市场上最受欢迎的一种大数据解决方案之一。 (Hadoop架构业务及审计逻辑) Hadoop 由许多元素构成,其核心是分布式文件系统(HDFS)和MapReduce 引擎,并涵盖众多提供Hadoop应用的子项目,如:数据仓库工具(HIVE)、NOSQL数据库(HBASE)、大数据分析平台(PIG,为用户提供多种接口)等以及众多的编程接口。 Hadoop架构下数据库的审计难在哪里? 为了满足Hadoop架构下...
相关文章
文章评论
共有0条评论来说两句吧...