搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

【云栖号案例 | 游戏&娱乐】点触科技上云构建实时计算和数据仓库

业务痛点对数据库的快速、实时查询能力要求高：某些恶意用户利用信用卡或者别的漏洞刷单（代充），系统需要实时查询多种日志（比如登入日志，充值日志等）从而识别并拦截游戏代充订单，才能避免损失代充订单的钱。

2020-03-23

阿里和浙大联合推出读唇模型，中英双语实时复述

云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！大数据文摘出品作者：LYLM、陈若朦 2002年世界杯上，法国球员齐达内到底被对手的话激怒，狠狠地拿头撞击对方胸口被逐出赛场，他的对手到底说了什么呢？——AI也许可以给出答案。随着人工智能系统被赋予越来越多的功能，它将帮助我们解决更多问题。学会读唇语的AI暴露了其复读机的本质，可以解读许多被消音的谜团。而AI读唇的真正目的，是成为听力障碍患者的耳朵，帮助他们“听到”原本消失在耳朵里的声音。据统计，目前全世界约有4.66亿的人不幸患有听力障碍，大约占到了世界人口的5%。根据世界卫生组织的预估，到2050年，这个数字将会攀升至9亿。大多数患有听力障碍的人与正常交流会存在困难，手语是其中的一种交流方式。如何帮助听力障碍患者和聋哑人与外界交流，是很多人都在关注的问题。交流首先要解决的是“听懂”别人的话，手语和唇语都可以可以作为一种相互理解的方法。听障患者通过读唇语得以获取信息，但是这个技能需要长时间的练习，并且即使掌握了识别率也很低。将“读唇术”交给AI实际上已经不是什么新鲜事了，早在2016年，谷歌deepmind和牛津大学的研究人员就开发了名为Lipreading视频标注系统，准确率达95.2%，远远优于受训的读唇者。2018年哥伦比亚大学研究团队开发了大型视觉语音识别系统。为了追求更高性能的系统，近日，阿里巴巴、浙江大学和斯蒂文斯理工学院的研究人员共同开发出名为LIBS（Lip by Speech）的算法，在将从语音识别中提取出来的特征当作补充材料，其准确率达业界领先水平，同时还针对目前最大的普通话唇语语料库CMLR进行了训练，读懂中文也不在话下。人工智能如何学会读唇？机器读唇很困难，因为它需要从视频中提取时空特征（位置和运动都很重要)。现大多数机器学习系统只能进行单词分类，而不进行句子级的序列预测。 LIBS的研究者表示，这个系统在两个基准上管理着行业领先的准确性，在字符错误率上分别比基准高出7.66%和2.75%，能帮助有一定听力障碍的人群观看无字幕的视频。 LIBS可以从视频中的多个层次提取有用的音频信息，包括在序列层、语境层和帧数层。将提取的数据与视频数据对齐，识别对应部分（由于样本数量和缺失值不同，可能存在开头或结尾部分的视频和音频序列长度不一致的情况），并采用了特定的筛选方法对有用特征数据进行了提纯。利用提出的多粒度知识精馏的不同层次，实现视频帧与预测字符之间的对齐（其中纵轴表示视频帧，横轴表示预测字符） LIBS的语音识别和唇语识别都是基于注意力机制的“序列到序列”（Sequence-to-sequence）模型，这是一项机器翻译方法，将序列（例如音频或视频序列）输入转化为标签和注意值的输出。值得注意的是，序列到序列模型在自动语音识别(ASR)领域越来越受欢迎，因为它将传统ASR系统的独立组件折叠成了单一的神经网络。总的来说，LIBS通过引入一种新的过滤策略来从语音识别器中提取特征，并通过采用基于交叉模式对齐的方法，来进行帧级知识提取，从而解决两个序列之间采样率不一致的问题，以实现准确唇语识别。研究人员分别使用LRS2和CMLR数据集在上述模型中训练，LRS2数据集中包含45,000条来自BBC的句子音频，而CMLR，来源于中国网络电视网，是包含100,000条以上自然语言句子的最庞大的普通话唇语语料库（包括3,000以上个的汉字和20,000以上条的词组）。 “LIBS减少了对非关键帧的注意力。”一名研究人员在其论文中这样描述，“帧数层知识的提纯进一步加强了对视频帧数特征的分辨能力，能使注意力机制更加集中。” LIBS通过红色区域分析唇语论文链接：https://arxiv.org/pdf/1911.11502.pdf 句子越长，读得越准确 LIBS的研究团队发现，模型在使用过短句子（如LRS2数据集）进行预训练时得到的结果不大理想，因为解码器从少于14个字母的句子中提取有效信息的难度较大。然而，一旦模型使用最大长度为16个单词的句子进行预训练，解码器由于获得了语境层的知识，对LRS2数据集的句末解码质量有了显著提高。早在1982年，就有Easton和Basala的研究表明，人的唇读能力会随着长单词的出现而增强，这表明了在模糊的沟通渠道中，上下文间的特征词句捕捉时间重要性。 2016年的LipNet模型也是针对长句在读唇上的优势构建的。该模式利用时空卷积、递归网络和连接主义时间分类损失，将一个可变长度的视频帧序列映射到文本。LipNet系统通过6个不同的电视节目、共超过10万个句子进行5000小时的训练。最终这个AI系统通过只看每个说话人的嘴唇，就能准确地破译整个短语。读唇AI将成为人类的“复读机” 近年来，随着深度学习的发展和训练大数据的可用性，人工智能系统学习读唇取得了前所未有的进步，表现也有了很大的提高。读唇对于人类来说也是一项困难的工作，当人们看到说话人的嘴巴时，通常会被细微的、容易混淆的唇形变化所困惑。所以说，AI读唇的实现具有巨大的实用潜力，它可以用于改善助听器、公共空间中的默写、嘈杂环境中的语音识别、生物识别和无声电影处理。 AI读唇不久后将可作为应用程序整合到手机中，这使得听力障碍患者无论走到哪里都能随身携带一只“耳朵”。这样的系统还可以帮助那些因为声带受损而不能说话的人“发出声音”。另外，LIBS团队表示在未来的工作中，他们期待着将同样的框架应用到其他模态中，比如语音和手语系统。相关报道：https://venturebeat.com/2019/12/04/researchers-develop-ai-that-reads-lips-from-video-footage/ 原文发布时间：2019-12-16本文作者：LYLM、陈若朦本文来自阿里云云栖号合作伙伴“大数据文摘”，了解相关信息可以关注“大数据文摘” 云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！

2019-12-15

【阿里内部应用】基于Blink构建亲听项目以及全链路debug项目实时响应能力

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总本文全面总结了大数据项目组在亲听项目以及全链路debug项目上进行的实时流处理需求梳理，架构选型，以及达成效果一、背景介绍 1.1亲听项目

2019-02-28

利用人脸识别与神经网络技术，这款app可让真实表情实时转为表情包

据了解，该软件有一个界面用于显示用户此刻的面部表情，故而用户可以实时看见自己聊天时的反应和表情。此外，Polygram还搭建神经网络系统，用以检测和分析用户的面部表情信息，对用户的位置信息等进行检测。

2018-03-13

微信团队分享：微信每日亿次实时音视频聊天背后的技术解密

》 >>更多同类文章 …… 附录2：更多实时音视频文章 [1] 开源实时音视频技术WebRTC的文章：《开源实时音视频技术WebRTC的现状》《简述开源实时音视频技术WebRTC的优缺点

2018-01-04

HTAP数据库 PostgreSQL 场景与性能测试之 33 - (OLAP) 物联网 - 线性字段区间实时统计

标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试背景 PostgreSQL是一个历史悠久的数据库，历史可以追溯到1973年，最早由2014计算机图灵奖得主，关系数据库的鼻祖Michael_Stonebraker操刀设计，PostgreSQL具备与Oracle类似的功能、性能、架构以及稳定性。 PostgreSQL社区的贡献者众多，来自全球各个行业，历经数年，PostgreSQL 每年发布一个大版本，以持久的生命力和稳定性著称。 2017年10月，PostgreSQL 推出10 版本，携带诸多惊天特性，目标是胜任OLAP和OLTP的HTAP混合场景的需求：《最受开发者欢迎的HTAP数据库PostgreSQL 10特性》 1、多核并行增强 2、fdw 聚合下推 3、逻辑订阅 4、分区 5、金融级多副本 6、jso

2017-11-18

HTAP数据库 PostgreSQL 场景与性能测试之 8 - (OLTP) 多值类型(数组)含索引实时写入

2017-11-11

实时计算和数据转换，为何Yelp弃用Storm和Heron，自建流处理器PaaStorm?

MapReduce任务并不是用于实时处理的，所以任务的拓扑要每天调度一次。更糟的是，万一上游的任务失败了，下游的也会失败，最终会输出错误的结果。

2017-07-31

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务（归档Maxcompute）

实时业务处理的需求越来越多，也有各种处理方案，比如storm，spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。

2017-07-24

(流式、lambda、触发器)实时处理大比拼 - 物联网(IoT)\金融,时序处理最佳实践

标签 PostgreSQL , 物联网 , 传感器 , lambda , 调度 , 实时 , 流式更新 , UPSERT , insert on conflict do update 背景越来越多的数据要求实时的分析

2017-05-19

【Spark Summit East 2017】打击网络犯罪:联合特遣部队的实时数据和人工分析

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。本讲义出自William Callaghan在Spark Summit East 2017上的演讲，网络犯罪是一个大行业。Gartner报道全球安全支出达到了8000万美元，中小型企业占超过一半的攻击目标企业。这些攻击的背后不断改变的自身的技术来逃避企业普遍使用的安全防御。由于越来越频繁和复杂的攻击，识别和减轻安全相关事件的任务已经变得越来越困难。演讲中，William Callaghan着重分享了面对的挑战和威胁分析管道的建设。

2017-02-17

面试宝典_Python.运维开发.0004.用Python实现tail实时输出新增日志?

用PYTHON实现tail -f功能,默认显示最后15行,实时输出新增行? 解题思路: 1.

2017-02-05

【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏

本文偏向与实操层面的为大家介绍，如何基于阿里云数加StreamCompute、DataV快速构建网站日志实时分析。

2017-01-10

景区票务系统数据大屏：基于腾讯云流计算与云监控的实时可视化实践

数据大屏把实时客流、营收、闸机状态一屏展示，运营人员随时掌握全局。

2026-11-02

免费公交位置实时共享系统「司机到哪了」实测体验：等车这件小事，终于不用靠猜了

最近我们实测了一套叫**「司机到哪了」**的免费位置实时共享系统，发现这件事，原来可以被解决得这么轻巧。 !

2026-10-24

研发图纸在局域网里传来传去，实时监控局域网电脑到底该看哪几段？

实时监控局域网电脑，看的就是数据在局域网里走的这条路，沿路每段都要有个岗。 !

2026-10-20

从历史数据下载到实时行情API，按用途做选择

从历史数据下载到实时行情API，按用途做选择 **摘要：** 寻找 A 股数据源时，历史回测与实时行情接入需要关注的条件并不相同。

2026-10-16

Linux 下实现「每进程实时网速」监控：nethogs 文本模式的两套格式与踩坑记录

# Linux 下实现「每进程实时网速」监控：nethogs 文本模式的两套格式与踩坑记录 ## 需求背景做资源监控面板时,大部分指标都好办:`top`/`ps` 拿 CPU 和内存,`df` 拿磁盘

2026-09-30

云上跑 OLAP：多表 Join 与实时更新场景的部署形态、扩缩容与冷热分层实践

** JOIN 与实时更新之所以值得单独拎出来讨论，是因为它们直接决定了上面几条能不能落地——Join 不做优化，扩容只是买更多 CPU 去搬运数据；更新写成高并发单行 upsert，compaction

2026-09-24

元器件车间恒温管控：SNMP协议读取RJ45温湿度变送器实时数据教程

# 元器件车间恒温管控：SNMP协议读取RJ45温湿度变送器实时数据教程 !

2026-09-24

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。