PgSQL · 实战经验 · 旋转门压缩算法在PostgreSQL中的实现-低调大师

PgSQL · 实战经验 · 旋转门压缩算法在PostgreSQL中的实现

2017-03-07 566

背景

在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。

例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。

又比如金融行业的走势数据等等。

我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。

而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。

假设我们要描绘一个时间段的图形，这么多的点，渲染估计都要很久。

那么有没有好的压缩算法，即能保证失真度，又能很好的对数据进行压缩呢？

旋转门压缩算法原理

旋转门压缩算法（SDT）是一种直线趋势化压缩算法,其本质是通过一条由起点和终点确定的直线代替一系列连续数据点。

该算法需要记录每段时间间隔长度、起点数据和终点数据, 前一段的终点数据即为下一段的起点数据。

其基本原理较为简单, 参见图。

第一

微信关注我们

原文链接：https://yq.aliyun.com/articles/71922

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

十年后的电商，各位老板准备好没？

那个时候的世界，计算机已经收集了大量的个人数据，从衣食住行到精神世界，作为一个公司的大脑，这台计算机中枢已经可以给任何一个c端用户一套未来相对最合理的安排，当你早上起来，打开手机的那一刻，手机会根据提供你所希望查看的内容，给你最合理的展示，到时已经没有app的概念，全部都是由计算机大脑中枢来提供，人们只需要最简单的操作就可以查看所有感兴趣的内容。中枢会给你最合理的饮食，睡眠，出行，购物等全方位的建议（想想都觉得可怕）现在的世界，现在的电商------千人千面时下各个电商平台都想给用户提供一种最直接的购买方式，当用户打开自家网站或者app或者其他的终端时，显示的内容刚好是该用户此时此刻想买的东西，也就是所谓的提高转化，但是目前做的还是比较浅层，例如：我上午我在网页端某宝上搜索了一下优盘，然后我这时打开app的时候首页就给我推荐了几个卖的不错的优盘，但是ta不知道我可能就是随意的一搜索，根本没有想购买的欲望，所以再打开app的时候我没有感觉ta能理解我，只是看到了这个平台在记录我的信息（哪怕所有的平台其实都在记录我们的日常信息），感觉很傻的样子。其实这种千人千面的功能，真的不...

2017-03-07

548

互联网进入垂暮之年，这群产品经理该何去何从？

前几天卡Q在网上搜喽大数据的课程，偶遇了厦门大学林子雨教授的大数据公开课，吓得卡Q一身冷汗，为什么呢？这不，卡Q刚给自己的人生定了个小目标，比如，进入互联网公司当个产品经理。因为在卡Q的眼里，互联网是个朝气蓬勃的圈子，里面的人都很牛掰，和聪明人共事，运气总不会太差，所以，卡Q决定削尖了脑袋也要和聪明的大脑共处一室。可是林教授一席话把卡Q的屌丝梦打回了原形。那林教授说了些啥呢？曰：第三次信息化浪潮的傲娇来袭！人类第三次科技革命是信息革命，从信息的存储，信息的传输，到信息的处理，三次信息化浪潮一浪更比一浪强。 1980年个人计算机的诞生迎来了信息革命的第一波浪潮——信息储存，计算机第一次打败人脑，成为信息储存的翘楚。而在这一波浪潮中，也孕育了一批伟大的公司:Intel ，惠普，联想，苹果，微软。 1995年前后，互联网走出军事壁垒迈向

2017-03-08

579

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。