【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍-低调大师

【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍

2020-03-07 746

原文链接：https://databricks.com/blog/2020/03/04/how-to-monitor-data-stream-quality-using-spark-streaming-and-delta-lake.html

在这个一切都需要进行加速的时代，流数据的使用变得越来越普遍。我们经常不再听到客户问：“我可以流式传输这些数据吗？”，更多的是问：“我们能以多快的速度流式传输这些数据？”，而诸如Kafka和Delta Lake之类技术的普及更突显了这一势头。我们认为传统流式数据传输的一种形式是以非常快的速度到达的半结构化或非结构化（例如JSON）数据，通常情况下一批数据的量也比较小。这种形式的工作场景横跨各行各业，举一个这样的客户案例，某个证券交易所和数据提供商，他们负责每分钟流式传输数十万个数据项目，包括股票行

微信关注我们

原文链接：https://yq.aliyun.com/articles/748545

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【一周】3月各大排行榜公布，Dart要火、Delphi没落 | 多个项目大版本更新

回顾一周社区热门资讯第【六十三】期：20200229-20200306 点击相应标题，跳转阅读全文。 Apache Subversion（SVN）诞生 20 周年大人，时代变了，现在是 Git 的天下。。。不过 SVN 的光辉永在。 Ubuntu 20.04 默认壁纸来了，这只猫有“镭射眼” 延续传统，Ubuntu 每个大版本都会给出一套特制的桌面壁纸，并且一般以代号中的动物（这本身也是一个传统）为创作灵感。比如18.04 LTS Bionic Beaver、19.04 Disco Dingo 和 19.10 Eoan Ermine 的桌面都让人印象深刻。 IPFire 2.25 发布，重新设计 DNS 系统 IPFire 是一个 Linux 的防火墙发行版，其主要目标是安全性，IPFire 构成了安全网络的基础，它可以根据各自的安全级别对网络进行分段，并可以轻松创建管理每个网段的自定义策略。IPFire 在设计时考虑了模块化和高度灵活性，用户可以轻松地部署其中的许多变体，例如防火墙、代理服务器与VPN 网关。模块化设计确保它完全按照配置运行。 CKEditor 5 v17.0.0...

2020-03-08

792

概述物模型指将物理空间中的实体数字化，并在云端构建该实体的数据模型。在物联网平台中，定义物模型即定义产品功能。完成功能定义后，系统将自动生成该产品的物模型。物模型描述产品是什么，能做什么，可以对外提供哪些服务。物模型将产品功能类型分为三类：属性、服务、和事件。定义了这三类功能，即完成了物模型的定义。功能类型说明属性（Property）一般用于描述设备运行时的状态，如环境监测设备所读取的当前环境温度等。属性支持GET和SET请求方式。应用系统可发起对属性的读取和设置请求。服务（Service）设备可被外部调用的能力或方法，可设置输入参数和输出参数。相比于属性，服务可通过一条指令实现更复杂的业务逻辑，如执行某项特定的任务。事件（Event）设备运行时的事件。事件一般包含需要被外部感知和处理的通知信息，可包含多个输出参数。如，某项任务完成的信息，或者设备发生故障或告警时的温度等，事件可以被订阅和推送。使用：设备端可以上报属性和事件；云端可以向设备端发送设置属性和调用服务的指令。 Step By Step 1、产品物模型model.json(替换产品productKey导...

2020-03-07

944

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。