搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

海量数据实时更新太慢？Lambda架构大法好！

为了达到实时跟踪和维持数据结果为最新这两个要求，可以采用Lambda架构来实现。

2017-07-31

“水下物联网”技术实现实时水质观测

中天海洋系统有限公司总经理杨华勇博士说，这项“水下物联网”新技术是中天海洋联合浙江大学共同研发成功，能全天24小时不间断、实时、原位在线监测，解决了实验室等取样、化验、分析导致数据滞后等问题。

2017-07-09

《Storm分布式实时计算模式》——2.7 总结

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.7节,作者：（美）P.

2017-07-02

《Storm分布式实时计算模式》——3.8 总结

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第3章，第3.8节,作者：（美）P.

2017-07-02

《Storm分布式实时计算模式》——1.7 总结

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第1章，第1.7节,作者：（美）P.

2017-07-02

Apache Eagle：分布式实时 Hadoop 数据安全方案

Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全

2017-06-04

Twitter 开源了数据实时分析平台 Heron

Twitter使用Storm实时分析海量数据已经有好几年了，并在2011年将其开源。该项目稍后开始在Apache基金会孵化，并在去年秋天成为顶级项目。

2017-06-01

基于用户画像的实时异步化视频推荐系统

上线了一个百台规模的ES集群，还设计开发了一套实时推荐系统。标题有点长，其实是为了突出该推荐系统的三个亮点，一个是实时，一个是基于用户画像去做的，一个是异步化。

2017-03-30

【Spark Summit EU 2016】Spark应用的动态实时修改

Summit EU 2016上的演讲，主要介绍了对于对于Spark驱动的应用而言，需要能够在某些情景下修改某些功能或者参数以及改变数据来源，而这些操作不能让整个应用停止运行，这就需要对于Spark应用的动态实时修改来完成

2017-02-13

Spark机器学习9· 实时机器学习(scala with sbt)

Spark机器学习 1 在线学习模型随着接收的新消息，不断更新自己；而不是像离线训练一次次重新训练。 2 Spark Streaming 离散化流(DStream) 输入源：Akka actors、消息队列、Flume、Kafka、…… http://spark.apache.org/docs/latest/streaming-programming-guide.html 类群(lineage)：应用到RDD上的转换算子和执行算子的集合 3 MLib+Streaming应用 3.0 build.sbt 依赖Spark MLlib和Spark Streaming name := "scala-spark-streaming-app" version := "1.0" scalaVersion := "2.11.7" libraryDependen

2016-12-20

Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析

Logstash是一款开源日志收集处理框架，有各种不同的input、filter、output插件，用户使用这些插件可以将各种数据源导入到其他系统。logstash-output-datahub插件，实现将数据导入DataHub的功能，通过简单的配置即可完成数据采集和向DataHub的传输任务。结合StreamCompute(Galaxy)用户可以方便的完成流式数据从采集，传输，开发到结果数据存储与展示的整套解决方案。同时，还可以通过创建Collector同步任务将数据同步到MaxCompute(ODPS),之后在MaxCompute上进行完备的数据开发工作。接下来，会将各个流程步骤在文章中作详细描述，以帮助用户使用Logstash＋DataHub＋StreamCompute/MaxCompute快速构建起自己的流式数据应用。数据

2016-10-17

Android(Linux)控制GPIO的方法及实时性分析

Linux下控制GPIO的方法有N种，详细请参考《RPi GPIO Code Samples》，文中用十多种语言演示了如何控制GPIO，非常全面详尽。因此，这里不再多做赘述，仅把调试过程中整理的脚本贴上并做简单的分析。特别说明，Linux必须有root权限！！！否则会出现/system/bin/sh: can't create /sys/class/gpio/export: Permission denied等错误。 @echo off echo adb root adb root >%temp%\_tmp @findstr "already" %temp%\_tmp @if NOT errorlevel 1 goto config timeout /T 10 :config @echo on adb shell chmod 0666 /sys/class/gpio/export adb shell chmod 0666 /sys/class/gpio/unexport adb shell echo 62 ">" /sys/class/gpio/export adb shell echo 63 ">" /sys/class/gpio/export adb shell chmod 0666 /sys/class/gpio/gpio62/direction adb shell chmod 0666 /sys/class/gpio/gpio63/direction adb shell chmod 0666 /sys/class/gpio/gpio62/value adb shell chmod 0666 /sys/class/gpio/gpio63/value adb shell echo out ">" /sys/class/gpio/gpio62/direction adb shell echo out ">" /sys/class/gpio/gpio63/direction adb shell echo 1 ">" /sys/class/gpio/gpio62/value adb shell echo 1 ">" /sys/class/gpio/gpio63/value @echo off :top adb shell echo 1 ">" /sys/class/gpio/gpio62/value adb shell echo 1 ">" /sys/class/gpio/gpio63/value rem @timeout /T 1 for /l %%i in (1,1,768) do echo %%i>nul rem ping 0.0.0.1 -n 1 -w 500>nul adb shell echo 0 ">" /sys/class/gpio/gpio62/value adb shell echo 0 ">" /sys/class/gpio/gpio63/value rem @timeout /T 1 for /l %%i in (1,1,768) do echo %%i>nul rem ping 0.0.0.1 -n 1 -w 500>nul goto top pause. 该批处理文件运行在PC上，通过adb发送shell命令操作/sys/class/gpio以控制GPIO。在MSM8996的开发板上测试，运行结果如下图所示。从图中可以看出，两个GPIO的控制时间间隔相差约40ms，说明GPIO控制延时较为严重。 #!/system/bin/sh chmod 0666 /sys/class/gpio/export chmod 0666 /sys/class/gpio/unexport echo 62 > /sys/class/gpio/export echo 63 > /sys/class/gpio/export chmod 0666 /sys/class/gpio/gpio62/direction chmod 0666 /sys/class/gpio/gpio63/direction chmod 0666 /sys/class/gpio/gpio62/value chmod 0666 /sys/class/gpio/gpio63/value echo out > /sys/class/gpio/gpio62/direction echo out > /sys/class/gpio/gpio63/direction echo 1 > /sys/class/gpio/gpio62/value echo 1 > /sys/class/gpio/gpio63/value while : do echo 1 > /sys/class/gpio/gpio62/value echo 1 > /sys/class/gpio/gpio63/value usleep 100000 echo 0 > /sys/class/gpio/gpio62/value echo 0 > /sys/class/gpio/gpio63/value usleep 100000 done 该脚本运行在MSM8996开发板上，通过操作/sys/class/gpio以控制GPIO，执行结果如下图所示。从图中可以看出，两个GPIO的控制时间间隔相差约0.6ms，说明GPIO控制延时较小。 Android脚本文件可通过如下命令发送到开发板上，并修改其属性。 pushd %~dp0 adb push .\gpio.sh /data/local/ adb shell chmod 777 /data/local/gpio.sh 参考: How to use GPIO signals(Linux应用程序控制GPIO) PNG https://developer.ridgerun.com/wiki/index.php/How_to_use_GPIO_signals 树莓派上使用多种语言(C、Python、shell)控制GPIO http://elinux.org/RPi_GPIO_Code_Samples 安卓应用程序通过JNI控制GPIO http://android.serverbox.ch/?p=972 Device Tree Usage http://elinux.org/Device_Tree_Usage BeagleBone Black (BBB) Pin Muxes http://www.valvers.com/embedded-linux/beaglebone-black/step04-gpio BeaglebonePin Muxes http://www.valvers.com/embedded-linux/beaglebone/step04-gpio1 Using Device Trees To Configure PRU IO Pins http://www.ofitselfso.com/BeagleNotes/UsingDeviceTreesToConfigurePRUIOPins.php BeagleBone Black GPIOs http://kilobaser.com/blog/2014-07-15-beaglebone-black-gpios gpio-header https://github.com/nomel/beaglebone/tree/master/gpio-header beaglebone-universal-io https://github.com/cdsteinkuehler/beaglebone-universal-io

2016-09-09

(课程)基于HBase做Storm 实时计算指标存储

这次探讨的主题是：基于 HBase 做 Storm 实时计算指标存储 HBase 实时指标存储是我入职乐视云后对原有的实时系统改造的一部分。部分分享内容其实还处于实施阶段。

2016-09-06

基于Redis、Storm的实时数据查询实践

Exception e) { logger.error("", e); } finally { //jedis.close(); jp.returnResourceObject(jedis); } } 接入用户实时刷卡消费信息

2016-08-10

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

2016-05-08

Twitter Storm 实时数据处理框架分析总结

是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。

2013-04-11

大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark stream...

大数据分析处理架构图数据源：除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。

2017-11-14

阿里云新功能：EIP高精度实时互联网流量秒级监控（可能是史上最好用的实时流量监控）

而令人激动的是，这可能是史上最好用的实时业务流量监控功能，没有之一。众所周知，弹性公网IP（EIP）承载了海量的互联网BGP流量，这些流量实时性要求很高，对公网带宽的质量要求也很高。

2018-07-08

腾讯特效SDK：全平台实时互动特效解决方案

一、产品定位与核心亮点腾讯特效SDK是一款基于AI能力的实时特效处理PaaS产品，其核心技术属性在于通过精准的AI点位识别与实时图像处理算法，为视频直播、会议、短视频等场景提供美颜、滤镜、贴纸、背景

2026-09-20

AI时代组织转型（一）实时、个性化客户体验

可能有些朋友3个月前就看过我分享“世界经济论坛”关于AI的一份报告的视频解读，这里我把文字版也附上，给一些更喜欢文字阅读的朋友。并非简单地附属报告内容，而是结合我多年的数智化转型经验，增加了自己的解读。

2026-09-20

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

海量数据实时更新太慢？Lambda架构大法好！

“水下物联网”技术实现实时水质观测

《Storm分布式实时计算模式》——2.7 总结

《Storm分布式实时计算模式》——3.8 总结

《Storm分布式实时计算模式》——1.7 总结

Apache Eagle：分布式实时 Hadoop 数据安全方案

Twitter 开源了数据实时分析平台 Heron

基于用户画像的实时异步化视频推荐系统

【Spark Summit EU 2016】Spark应用的动态实时修改

Spark机器学习9· 实时机器学习(scala with sbt)

Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析

Android(Linux)控制GPIO的方法及实时性分析

(课程)基于HBase做Storm 实时计算指标存储

基于Redis、Storm的实时数据查询实践

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

Twitter Storm 实时数据处理框架分析总结

大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark stream...

阿里云新功能：EIP高精度实时互联网流量秒级监控（可能是史上最好用的实时流量监控）

腾讯特效SDK：全平台实时互动特效解决方案

AI时代组织转型（一）实时、个性化客户体验

资源下载

腾讯云软件源

Nacos

Spring

Sublime Text

欢迎您来访！