旋转门数据压缩算法在PostgreSQL中的实现 - 流式压缩在物联网、监控、传感器等场景的应用-低调大师

旋转门数据压缩算法在PostgreSQL中的实现 - 流式压缩在物联网、监控、传感器等场景的应用

2016-08-12 840

背景

在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。

例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。

又比如金融行业的走势数据等等。

我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。

而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。

假设我们要描绘一个时间段的图形，这么多的点，渲染估计都要很久。

那么有没有好的压缩算法，即能保证失真度，又能很好的对数据进行压缩呢？

旋转门压缩算法原理

旋转门压缩算法（SDT）是一种直线趋势化压缩算法,其本质是通过一条由起点和终点确定的直线代替一系列连续数据点。

该算法需要记录每段时间间隔长度、起点数据和终点数据, 前一段的终点数据即为下一段的起点数据。

其基本

微信关注我们

原文链接：https://yq.aliyun.com/articles/59101

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

迈出物联网的第一步，玩儿一下Arduino

大家知道，现在物联网Internet of Things(IoT) 方兴未艾，各种智能设备层出不穷，手表、手环、甚至运动鞋等可穿戴设备，还有智能家居产品，无时无刻不冲击着我们的思想和眼球。Autodesk最近也宣布进军物联网行业，刚刚收购了一下物联网公司SeeControl。我这样一点不懂硬件的人也有兴趣玩儿一下了，从哪儿开始呢？还是从最简单的Arduino开始吧。于是兴致冲冲的淘了一套Arduino入门套件，这个套件包含了Arduino板和一些常见的传感器，入门够用了。 Getting started with Arduino 首先我们需要一块Arduino板子、一个面包板方便插线，还有一些LED啊、传感器神的。这些在套件里面都有。不过刚开始还是玩儿点简单的，首先把环境搭起来吧。除了小硬件之外，还需要下载安装Arduino IDE。目前最新版的1.6.5. 可以从网上下载，windows、linux、mac版都有。我用的是Mac版。 https://www.arduino.cc/en/Main/Software 作为开始，还是先玩儿一下blink例子。这个例子就是把一个LED小灯...

2016-08-09

596

MF让我们这些C#程序员能够把手伸到嵌入式行业，大大增强我们在各种项目中的竞争能力。无奈国内研究MF的人少之又少，为了加速MF技术的研究，我们团队采用少量补贴的方式，委托厂家生产了一批MF开发板，售给团队内的开发人员。这一批板子只生产了20片，元件成本133.5元，PCB成本12元，焊接成本25元，共170.5元。配上串口线，USB线，杜邦线，还有一些小东西，整体要180多，对内以180元的价格销售。配套的3.2寸触摸屏采购价58每片，因为选错接口，做排线又花了1.5元，对内以50的价格销售。因为数量太少，完全没有议价空间，否则估计还可以少30%。只是没想到大家的热情远超预订报名，仅一个下午基本上就瓜分完毕。探索者一号的处理器（单片机上成为MCU）是STM32F103ZET6，72Mhz，512k Flash，64k RAM。运行.Net Micro Framework（简称MF）基本功能完全没有问题。板子上还外扩了512k SRAM，8M NorFlash， 512M NandFlash。发出的板子都刷有MF固件NewLife_Tracker1，并写有一个小灯闪烁和...

2016-09-05

667

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。