搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

从 A 股到美股港股：为什么量化系统离不开统一的实时行情 API

真正让我意识到实时行情 API 价值的，并不是单纯的数据速度，而是能不能把不同市场的行情、代码、字段和盘中状态统一成策略可以直接消费的数据结构。

2026-09-13

外汇接口技术选型与实现：实时行情和历史数据的工程化接入

于是我们开始认真评估外汇接口，把实时行情和历史数据分开处理。这次改造的核心不是增加多少功能，而是让数据链路可维护、可观测、可恢复。

2026-09-10

Apache Doris 5.0 年度版本前瞻（一）：构建统一的多模湖仓实时分析平台

- 应用场景：统一实时多模数据分析平台，赋能 Agent 实时上下文、具身智能等更多 AI 场景。

2026-09-04

贵金属实时行情API的技术选型与最佳实践：黄金白银数据接入全解析

## 业务侧的真实需求画像各用数方提出的需求看似简单，实则严格：交易部门要求行情推送延迟在毫秒级，且不能因网络波动产生断点；风控部门需要买一卖一价差实时流，用于监控流动性风险；研究团队则依赖完整的 tick

2026-08-10

外汇实时行情时序异常云原生治理：基于前置时间戳校验识别 API 时间戳回退

## 四、云端 WebSocket 行情接入工程实现云端外汇实时行情普遍采用 WebSocket 长连接架构，开发时将报文接收、时序校验、云存储持久化三层解耦，降低模块耦合度。

2026-08-05

生产计划与排程（APS）系统 | KPI监控看板：设备OEE/生产效率实时计算展示

要解决这个问题，我们需要一套**实时KPI监控看板**。它不仅是数据的展示屏，更是管理的指挥棒。其中，**设备综合效率（OEE）**是全球制造业公认的黄金指标。

2026-08-03

从“一秒千次”到“一夜白头”千万级实时累加的血泪教训

突然，一道灵光劈开了混沌：为什么一定要实时落盘？我重构了方案： 1. 客户端只做一件事：利用Redis Cluster的分片能力，将数据按Hash Key分散，执行 "INCR"。 2.

2026-07-14

打破“次元壁”：多模态原生Agent、实时流式交互与具身感知工程化实战

斯坦福最新《AI指数报告》指出，具备视觉理解、实时语音打断与视频流分析能力的多模态Agent，已在工业质检、医疗辅助等场景实现规模化商用。

2026-07-12

Timeplus Proton 3.0：开启实时数据管道新时代，让海量数据处理更极简高效

这次更新是社区版迄今为止最大的一次升级，标志着Timeplus在实时数据处理领域迈出了重要一步。

2025-10-24

谷歌搜索测试「AI Mode」：整合多模态和实时信息、一键解答复杂问题

AI 模式由定制版的 Gemini 2.0 驱动，能够访问实时数据源和知识图谱等资源。它通过“查询扩展”技术，从多个子主题和数据源中提取信息，并综合呈现。如果信息不足，用户将被引导至网页搜索结果。

2025-03-06

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜

近日，在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中，现代化实时数仓 SelectDB 在时隔两年后再次完成登顶，在全部近百款数据库和数十种机型中，性能位居总榜第一

2024-05-30

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

为帮助业务人员提升数据开发的效率与质量，同程数科历经三代架构演进，最终引入 Apache Doris 搭建统一实时数仓，在后续的实际应用中，将实时数仓平台化，进一步构建了一站式数据平台 Ark，为业务人员提供了简单易用

2023-06-21

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

从源端采集到的业务数据和日志数据将分为实时和离线两条链路：在实时部分，业务库数据通过 Binlog 的方式接入，日志数据使用 Flume-Kafka-Sink 进行实时采集，利用 Flink 将数据计算写入到

2023-05-11

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

在早期架构中，数据经 Kafka 后将分为实时和离线两条链路，首先是实时部分，实时部分链路较短，经过 Kafka 缓冲完的数据通过 Spark 计算后放入 MySQL 中进行分析，对于早期的实时分析需求

2022-10-10

树莓派4B使用docker基于jenkins+jmeter+granfa+influxdb搭建接口实时监控平台

Raspberry Pi 4B-8g版本系统：Ubuntu 20.04 LTS Docker：20.10.3 上一篇树莓派4B基于jenkins+jmeter+granfa+influxdb搭建接口实时监控平台我们虽然介绍了接口实时监控平台的原生安装方式

2021-02-26

【云栖号案例 | 游戏&娱乐】点触科技上云构建实时计算和数据仓库

业务痛点对数据库的快速、实时查询能力要求高：某些恶意用户利用信用卡或者别的漏洞刷单（代充），系统需要实时查询多种日志（比如登入日志，充值日志等）从而识别并拦截游戏代充订单，才能避免损失代充订单的钱。

2020-03-23

云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！大数据文摘出品作者：LYLM、陈若朦 2002年世界杯上，法国球员齐达内到底被对手的话激怒，狠狠地拿头撞击对方胸口被逐出赛场，他的对手到底说了什么呢？——AI也许可以给出答案。随着人工智能系统被赋予越来越多的功能，它将帮助我们解决更多问题。学会读唇语的AI暴露了其复读机的本质，可以解读许多被消音的谜团。而AI读唇的真正目的，是成为听力障碍患者的耳朵，帮助他们“听到”原本消失在耳朵里的声音。据统计，目前全世界约有4.66亿的人不幸患有听力障碍，大约占到了世界人口的5%。根据世界卫生组织的预估，到2050年，这个数字将会攀升至9亿。大多数患有听力障碍的人与正常交流会存在困难，手语是其中的一种交流方式。如何帮助听力障碍患者和聋哑人与外界交流，是很多人都在关注的问题。交流首先要解决的是“听懂”别人的话，手语和唇语都可以可以作为一种相互理解的方法。听障患者通过读唇语得以获取信息，但是这个技能需要长时间的练习，并且即使掌握了识别率也很低。将“读唇术”交给AI实际上已经不是什么新鲜事了，早在2016年，谷歌deepmind和牛津大学的研究人员就开发了名为Lipreading视频标注系统，准确率达95.2%，远远优于受训的读唇者。2018年哥伦比亚大学研究团队开发了大型视觉语音识别系统。为了追求更高性能的系统，近日，阿里巴巴、浙江大学和斯蒂文斯理工学院的研究人员共同开发出名为LIBS（Lip by Speech）的算法，在将从语音识别中提取出来的特征当作补充材料，其准确率达业界领先水平，同时还针对目前最大的普通话唇语语料库CMLR进行了训练，读懂中文也不在话下。人工智能如何学会读唇？机器读唇很困难，因为它需要从视频中提取时空特征（位置和运动都很重要)。现大多数机器学习系统只能进行单词分类，而不进行句子级的序列预测。 LIBS的研究者表示，这个系统在两个基准上管理着行业领先的准确性，在字符错误率上分别比基准高出7.66%和2.75%，能帮助有一定听力障碍的人群观看无字幕的视频。 LIBS可以从视频中的多个层次提取有用的音频信息，包括在序列层、语境层和帧数层。将提取的数据与视频数据对齐，识别对应部分（由于样本数量和缺失值不同，可能存在开头或结尾部分的视频和音频序列长度不一致的情况），并采用了特定的筛选方法对有用特征数据进行了提纯。利用提出的多粒度知识精馏的不同层次，实现视频帧与预测字符之间的对齐（其中纵轴表示视频帧，横轴表示预测字符） LIBS的语音识别和唇语识别都是基于注意力机制的“序列到序列”（Sequence-to-sequence）模型，这是一项机器翻译方法，将序列（例如音频或视频序列）输入转化为标签和注意值的输出。值得注意的是，序列到序列模型在自动语音识别(ASR)领域越来越受欢迎，因为它将传统ASR系统的独立组件折叠成了单一的神经网络。总的来说，LIBS通过引入一种新的过滤策略来从语音识别器中提取特征，并通过采用基于交叉模式对齐的方法，来进行帧级知识提取，从而解决两个序列之间采样率不一致的问题，以实现准确唇语识别。研究人员分别使用LRS2和CMLR数据集在上述模型中训练，LRS2数据集中包含45,000条来自BBC的句子音频，而CMLR，来源于中国网络电视网，是包含100,000条以上自然语言句子的最庞大的普通话唇语语料库（包括3,000以上个的汉字和20,000以上条的词组）。 “LIBS减少了对非关键帧的注意力。”一名研究人员在其论文中这样描述，“帧数层知识的提纯进一步加强了对视频帧数特征的分辨能力，能使注意力机制更加集中。” LIBS通过红色区域分析唇语论文链接：https://arxiv.org/pdf/1911.11502.pdf 句子越长，读得越准确 LIBS的研究团队发现，模型在使用过短句子（如LRS2数据集）进行预训练时得到的结果不大理想，因为解码器从少于14个字母的句子中提取有效信息的难度较大。然而，一旦模型使用最大长度为16个单词的句子进行预训练，解码器由于获得了语境层的知识，对LRS2数据集的句末解码质量有了显著提高。早在1982年，就有Easton和Basala的研究表明，人的唇读能力会随着长单词的出现而增强，这表明了在模糊的沟通渠道中，上下文间的特征词句捕捉时间重要性。 2016年的LipNet模型也是针对长句在读唇上的优势构建的。该模式利用时空卷积、递归网络和连接主义时间分类损失，将一个可变长度的视频帧序列映射到文本。LipNet系统通过6个不同的电视节目、共超过10万个句子进行5000小时的训练。最终这个AI系统通过只看每个说话人的嘴唇，就能准确地破译整个短语。读唇AI将成为人类的“复读机” 近年来，随着深度学习的发展和训练大数据的可用性，人工智能系统学习读唇取得了前所未有的进步，表现也有了很大的提高。读唇对于人类来说也是一项困难的工作，当人们看到说话人的嘴巴时，通常会被细微的、容易混淆的唇形变化所困惑。所以说，AI读唇的实现具有巨大的实用潜力，它可以用于改善助听器、公共空间中的默写、嘈杂环境中的语音识别、生物识别和无声电影处理。 AI读唇不久后将可作为应用程序整合到手机中，这使得听力障碍患者无论走到哪里都能随身携带一只“耳朵”。这样的系统还可以帮助那些因为声带受损而不能说话的人“发出声音”。另外，LIBS团队表示在未来的工作中，他们期待着将同样的框架应用到其他模态中，比如语音和手语系统。相关报道：https://venturebeat.com/2019/12/04/researchers-develop-ai-that-reads-lips-from-video-footage/ 原文发布时间：2019-12-16本文作者：LYLM、陈若朦本文来自阿里云云栖号合作伙伴“大数据文摘”，了解相关信息可以关注“大数据文摘” 云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！

2019-12-15

【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总本文全面总结了大数据项目组在亲听项目以及全链路debug项目上进行的实时流处理需求梳理，架构选型，以及达成效果一、背景介绍 1.1亲听项目

2019-02-28

利用人脸识别与神经网络技术，这款app可让真实表情实时转为表情包

据了解，该软件有一个界面用于显示用户此刻的面部表情，故而用户可以实时看见自己聊天时的反应和表情。此外，Polygram还搭建神经网络系统，用以检测和分析用户的面部表情信息，对用户的位置信息等进行检测。

2018-03-13

微信团队分享：微信每日亿次实时音视频聊天背后的技术解密

》 >>更多同类文章 …… 附录2：更多实时音视频文章 [1] 开源实时音视频技术WebRTC的文章：《开源实时音视频技术WebRTC的现状》《简述开源实时音视频技术WebRTC的优缺点

2018-01-04

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

从 A 股到美股港股：为什么量化系统离不开统一的实时行情 API

外汇接口技术选型与实现：实时行情和历史数据的工程化接入

Apache Doris 5.0 年度版本前瞻（一）：构建统一的多模湖仓实时分析平台

贵金属实时行情API的技术选型与最佳实践：黄金白银数据接入全解析

外汇实时行情时序异常云原生治理：基于前置时间戳校验识别 API 时间戳回退

生产计划与排程（APS）系统 | KPI监控看板：设备OEE/生产效率实时计算展示

从“一秒千次”到“一夜白头”千万级实时累加的血泪教训

打破“次元壁”：多模态原生Agent、实时流式交互与具身感知工程化实战

Timeplus Proton 3.0：开启实时数据管道新时代，让海量数据处理更极简高效

谷歌搜索测试「AI Mode」：整合多模态和实时信息、一键解答复杂问题

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

树莓派4B使用docker基于jenkins+jmeter+granfa+influxdb搭建接口实时监控平台

【云栖号案例 | 游戏&娱乐】点触科技上云构建实时计算和数据仓库

阿里和浙大联合推出读唇模型，中英双语实时复述

【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力

利用人脸识别与神经网络技术，这款app可让真实表情实时转为表情包

微信团队分享：微信每日亿次实时音视频聊天背后的技术解密

资源下载

Mario

腾讯云软件源

Sublime Text

WebStorm

欢迎您来访！

精选列表

从 A 股到美股港股：为什么量化系统离不开统一的实时行情 API

外汇接口技术选型与实现：实时行情和历史数据的工程化接入

Apache Doris 5.0 年度版本前瞻（一）：构建统一的多模湖仓实时分析平台

贵金属实时行情API的技术选型与最佳实践：黄金白银数据接入全解析

外汇实时行情时序异常云原生治理：基于前置时间戳校验识别 API 时间戳回退

生产计划与排程（APS）系统 | KPI监控看板：设备OEE/生产效率实时计算展示

从“一秒千次”到“一夜白头”千万级实时累加的血泪教训

打破“次元壁”：多模态原生Agent、实时流式交互与具身感知工程化实战

Timeplus Proton 3.0：开启实时数据管道新时代，让海量数据处理更极简高效

谷歌搜索测试「AI Mode」：整合多模态和实时信息、一键解答复杂问题

现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

树莓派4B使用docker基于jenkins+jmeter+granfa+influxdb搭建接口实时监控平台

【云栖号案例 | 游戏&娱乐】点触科技上云 构建实时计算和数据仓库

阿里和浙大联合推出读唇模型，中英双语实时复述

【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力

利用人脸识别与神经网络技术，这款app可让真实表情实时转为表情包

微信团队分享：微信每日亿次实时音视频聊天背后的技术解密

资源下载

Mario

腾讯云软件源

Sublime Text

WebStorm

欢迎您来访！

【云栖号案例 | 游戏&娱乐】点触科技上云构建实时计算和数据仓库