PgSQL · 实战经验 · 旋转门压缩算法在PostgreSQL中的实现-低调大师

PgSQL · 实战经验 · 旋转门压缩算法在PostgreSQL中的实现

2017-03-07 584

背景

在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。

例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。

又比如金融行业的走势数据等等。

我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。

而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。

假设我们要描绘一个时间段的图形，这么多的点，渲染估计都要很久。

那么有没有好的压缩算法，即能保证失真度，又能很好的对数据进行压缩呢？

旋转门压缩算法原理

旋转门压缩算法（SDT）是一种直线趋势化压缩算法,其本质是通过一条由起点和终点确定的直线代替一系列连续数据点。

该算法需要记录每段时间间隔长度、起点数据和终点数据, 前一段的终点数据即为下一段的起点数据。

其基本原理较为简单, 参见图。

第一

微信关注我们

原文链接：https://yq.aliyun.com/articles/71922

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

十年后的电商，各位老板准备好没？

那个时候的世界，计算机已经收集了大量的个人数据，从衣食住行到精神世界，作为一个公司的大脑，这台计算机中枢已经可以给任何一个c端用户一套未来相对最合理的安排，当你早上起来，打开手机的那一刻，手机会根据提供你所希望查看的内容，给你最合理的展示，到时已经没有app的概念，全部都是由计算机大脑中枢来提供，人们只需要最简单的操作就可以查看所有感兴趣的内容。中枢会给你最合理的饮食，睡眠，出行，购物等全方位的建议（想想都觉得可怕）现在的世界，现在的电商------千人千面时下各个电商平台都想给用户提供一种最直接的购买方式，当用户打开自家网站或者app或者其他的终端时，显示的内容刚好是该用户此时此刻想买的东西，也就是所谓的提高转化，但是目前做的还是比较浅层，例如：我上午我在网页端某宝上搜索了一下优盘，然后我这时打开app的时候首页就给我推荐了几个卖的不错的优盘，但是ta不知道我可能就是随意的一搜索，根本没有想购买的欲望，所以再打开app的时候我没有感觉ta能理解我，只是看到了这个平台在记录我的信息（哪怕所有的平台其实都在记录我们的日常信息），感觉很傻的样子。其实这种千人千面的功能，真的不...

2017-03-07

566

前几天卡Q在网上搜喽大数据的课程，偶遇了厦门大学林子雨教授的大数据公开课，吓得卡Q一身冷汗，为什么呢？这不，卡Q刚给自己的人生定了个小目标，比如，进入互联网公司当个产品经理。因为在卡Q的眼里，互联网是个朝气蓬勃的圈子，里面的人都很牛掰，和聪明人共事，运气总不会太差，所以，卡Q决定削尖了脑袋也要和聪明的大脑共处一室。可是林教授一席话把卡Q的屌丝梦打回了原形。那林教授说了些啥呢？曰：第三次信息化浪潮的傲娇来袭！人类第三次科技革命是信息革命，从信息的存储，信息的传输，到信息的处理，三次信息化浪潮一浪更比一浪强。 1980年个人计算机的诞生迎来了信息革命的第一波浪潮——信息储存，计算机第一次打败人脑，成为信息储存的翘楚。而在这一波浪潮中，也孕育了一批伟大的公司:Intel ，惠普，联想，苹果，微软。 1995年前后，互联网走出军事壁垒迈向

2017-03-08

593

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。