搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

rsync+inotify实现数据的实时同步

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等

2017-01-17

storm消费kafka实现实时计算

大致架构 * 每个应用实例部署一个日志agent * agent实时将日志发送到kafka * storm实时计算日志 * storm计算结果保存到hbase storm消费kafka 创建实时计算项目并引入

2016-09-04

大数据的实时处理STORM简介

https://blog.csdn.net/chszs/article/details/9292831 《大数据的实时处理STORM简介》作者：chszs，转载需注明。

2013-07-09

http://blog.csdn.net/comaple/article/details/7896167 这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm集群的安装配置过程。以作备忘之用。我的实验机器为：195和196 如果转载请注明出处：comaple的博客首先：安装依赖包 1， ZeroMQ 2.1.7 2， JZMQ 3， Java 4， Python 5， Unzip 这里只需要安装1,2就可以了。下面是遇到的一些问题：安装zeroMQ 下载zeroMQ2.1.7 http://www.zeromq.org/area:download 解压：tar –xvf zeromq-2.1.7.tar.gz Cd 到bin目录： ./autogen.sh 如果没有找到configure文件时要运行这一步。 ./configure configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下： yum install uuid-dev 提示找不到该依赖包 yum install uuid* 直接用* ok ./configure 再次运行configure还是报错 configure: error: cannot link with -luuid, install uuid-dev.上网搜索可能是还缺另外一个包 yum install e2fsprogs* ok make install 安装JZMQ a)下载jzmq.zip https://github.com/nathanmarz/jzmq b)Cd到bin目录./autogen.sh c)./configure d) make install 安装storm集群配置说明：10.10.249.195：nimbus 10.10.249.196： supervisor Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群，下面是storm集群的配置： 10.10.249.195上的配置： a)下载storm-0.7.4.zip https://github.com/nathanmarz/storm/downloads b)解压后修改conf/storm.yaml文件， storm.zookeeper.servers: - "10.10.249.195" - "10.10.249.196" c)# nimbus.host:"nimbus" 这个不用改，nimbus负责提交任务，分配任务。相当于namenode节点。配置好以后到bin目录下： ./storm nimbus 启动storm主节点服务 ./storm ui 启动storm监控页面：监控地址：http://hostname：8080 10.10.249.196上的配置： 1，修改storm.yaml 文件： storm.zookeeper.servers: -"10.10.249.195" -"10.10.249.196" nimbus.host: "10.10.249.195" #这个是storm将要启动几个本地work，一个端口对应一个work。 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 2，启动supervisor ./storm supervisor 提交任务： 10.10.249.195上面： ./storm jar stormWork.jar SearchKeywordTopNTopology"word-count" 这里有用到的jar文件大家可以试一试：stormWork.jar 监控storm运行情况：

2013-04-11

停车场查询-全国停车场实时查询-停车场实时查询API接口使用指南

本文介绍一款停车场查询工具，可根据城市、周边查询停车场信息，包括：停车场名称、省份、城市、区县、详细地址、经纬度、停车场类型、收费情况、总车位数、剩余车位数。

2026-07-21

实时分析全面赋能金融业务，马上消费基于 Apache Doris 构建实时数仓的实践

但随着业务体量的飞跃式增长、以及业务模式的不断优化升级，我们对数据分析的实时性提出了更高诉求，主要包括两类：数据时效的实时。

2023-02-02

C#采用Websocket实现同步通信，远程同步画板操作（完成实现同步画板演示，实时聊天，实时语音流

接下来实现第二个功能：实时聊天 3. 现在实现最后一个功能：实时语音流推送（语音聊天

2021-05-19

阿里 Qoder 上线实时语音智能体 Qoder Voice

阿里AI编程助手Qoder正式推出实时语音交互智能体Qoder Voice，由全双工语音模型Qwen-Audio-3.0-Realtime驱动，支持开发者通过自然语音完成任务创建、方案讨论和代码执行，实现语音与

2026-07-28

AI实时换脸已经到这个地步了？

以前的换脸，不管是FaceFusion还是Deep-Live在换脸时，都需要显卡实时重启驱动和替换照片，而这个AI实时换脸最近传疯了，我自己也试了一下，真的太牛了，随意拉动一张图片就可以实现实时换脸

2026-07-17

百度Feed实时数仓架构升级

；第四部分是总结和规划，Feed实时数仓重构升级后，带来了什么样的收益和业务效果，以及对实时数仓未来发展的一个思路探讨。

2025-09-26

基于 Databend 的实时数据汇聚平台建设

本方案中基于 Databend 实现一个数据快速汇聚及实时去重，实现一份数据多种工作负载，把原来数据共享的推模式变成：增量订阅模式 + 抽取推送两种模式。

2025-09-12

如何基于 SpringBoot 快速构建 Apache Pulsar 实时应用

本文将带领大家基于SpringBoot 快速构建一个 Pulsar 实时应用。

2025-08-28

构建秒级响应的实时数据架构

核心优势：实时高效：基于强大的 CDC 技术，实时捕获增量数据，将链路延迟控制在秒级别以内，确保数据的实时性。多源端到端同步：支持 40+ 数据源的端到端同步，极大简化链路架构，降低运维复杂度。

2025-08-11

xAI 发布 Live Search API，可实时联网搜索

xAI发布Live Search API Beta版，支持实时搜索X平台、互联网和新闻，整合Grok模型智能决策。该API现已进入免费Beta测试阶段，持续至2025年6月5日。

2025-05-23

Graphiti —— 为 AI 代理构建实时知识图谱

Graphiti 专门为解决动态和频繁更新的数据集的挑战而设计，使其特别适合需要实时交互和精确历史查询的应用程序。使用 Graphiti 可以：集成并维护动态用户交互和业务数据。

2025-04-27

基于Flink的配置化实时反作弊系统

因此，构建一个高效、灵活、可扩展的实时反作弊系统变得尤为重要。反作弊系统根据业务属性和时效性可分为三类：在线反作弊、实时反作弊与离线反作弊。

2025-03-04

Linux Kernel 6.12 正式发布：真实时内核来了

更新亮点对‘PREEMPT_RT’(Real-Time Linux) 补丁的主线支持，显著提升了实时应用的性能，通过使内核进程可抢占——有效地实现了正确的实时计算引入新的sched_ext调度程序，

2024-11-18

GaussDB(DWS)基于Flink的实时数仓构建

本文分享自华为云社区《GaussDB(DWS)基于Flink的实时数仓构建》，作者：胡辣汤。

2024-04-18

十八张图带你入门实时监控系统HertzBeat

这篇文章，我们聊聊开源实时监控告警系统 HertzBeat 赫兹跳动。 1 产品特色 HertzBeat 有两个非常鲜明的特色：强大的监控模版和无需 Agent 。

2024-02-05

基于 Flink 构建实时数据湖的实践

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。

2023-12-18

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。