搜索[实时etl]结果-低调大师优秀个人博客

精选列表

搜索[实时etl]，共10000篇文章

技术干货｜如何利用 ChunJun 实现数据实时同步？

，以及 ChunJun ⽀持的 RDB 实时采集插件的特性、采集逻辑及其原理，帮助大家更好地理解 ChunJun 与实时同步。

2023-04-24

V1.2.5 官网: hertzbeat.com | tancloud.cn 大家好，HertzBeat v1.2.5发布啦！这个版本我们支持了很多更多新的通知渠道，新增 Discord, Slack, Telegram通知，支持设置通知时间段，告警消息不会在非工作时间打扰啦，支持数据图表自动刷新等。修复若干BUG，完善了文档，重构了代码。快来体验下吧! 只需要一条docker命令即可安装体验heartbeat ： docker run -d -p 1157:1157 --name hertzbeat tancloud/hertzbeat 感谢hertzbeat贡献者们的贡献！👍👍 我们急需对测试用例，新增应用监控，文档等各方面的贡献者，非常欢迎您的加入。快来吧，HertzBeat上手非常简单！ Feature： #245 通知支持 telegram 渠道#580 @gcdd1993 [web-app] 更新 dashboard ui and pic #579 [manager] remove useless judgment #582 @gcdd1993 [alerter, manager] 使用 thymeleaf 模版渲染通知内容 #583 @gcdd1993 [script,manager] 升级build版本为Java11，修复 PMD报错#585 [alerter] support AlertsController unit test case (#442) #587 @MysticalDream add test unit case #589 @zhouyoulin12 [manager, web-app] 通知方式支持slack webhook, upgrade jdk version to JDK11 #591 @gcdd1993 [alerter, manager, web-app] 告警通知方式支持 discord 渠道#593 @gcdd1993 [collector,common,manager] 新增监控类型 FTP server 监控#586 #596 @SurryChen [home] support telegram alert notify help doc #597 [webapp] support auto refresh monitor detail data chart #604 [doc] support dynamic-tp monitoring practice blog #610 [webapp,doc] monitor detail support basic panel hide #619 支持通知设置时间段 #624 @Ceilzcx [manager] support more mysql monitoring metrics #631 [unit test] Add unit test cases for KeyPairUtil #635 @Daydreamer-ia Bugfix. fix(sec): 升级 com.google.code.gson:gson to 2.8.9 #598 @jerjjj fix(sec): 升级 org.postgresql:postgresql to #602 @wjl110 [webapp] 修复 alarm notification keeps spinning in circles occasionally #605 [manager,webapp] 修复 split dynamic-tp metrics, scroll web when x overflow #612 [warehouse] 修复 monitoring metric are displayed as NULL when no instance #615 [collector] 修复 oracle query error: ORA-01000 happen #618 [manager]修复 flink fields name, use _ replace - avoid alert_threshold_expr problem. #622 @cuipiheqiuqiu [webapp] fix rule days not change when edit old notice rule item #628 [webapp] 更新 alert notice modal item span #630 升级注意⚠️. 对于使用H2数据库的用户升级，需要在H2数据库执行如下SQL: ALTER TABLE HZB_NOTICE_RECEIVER DROP CONSTRAINT CONSTRAINT_D; 如何开启 H2 数据库网页控制台: 参考如下修改 application.yml 并重启, 浏览器访问 ip:1157/h2-console spring: h2: console: path: /h2-console enabled: true

2023-02-13

Godot 4.0 引入 Movie Maker 模式，支持非实时录制

可以录制来自任何 2D 或 3D 项目的非实时视频和音频。 Movie Maker 模式比较适合以下情况：录制游戏预告片，供宣传使用。录制过场动画，在游戏中显示。

2022-11-17

StarRocks存储引擎近期进展与实时分析实践

StarRocks 存储引擎现状，包括实时更新主键模型在实时分析场景中面临的新需求和挑战。 2.

2022-11-09

Meta 开发了实时翻译闽南语的 AI

来自 Meta（前 Facebook）的人工智能研究团队就专门针对这种场景开发了一个 AI 翻译系统，这是一个面向口头语言的实时翻译系统，并以闽南语与英文互译为首要目标。

2022-10-21

如何实时、高效地处理如此海量的路况数据？

摘要：数据是智慧交通的基础和命脉，如何实时、高效地处理如此海量的路况数据却绝非易事。本文分享自华为云社区《高并发图片视频处理，为出行保驾，为生活添彩！》，作者：昇腾CANN。

2022-10-09

得物基于Attach to Process的实时调试实践

整体按实时调试方案的可行性分析，方向调研，优化方案设计，推进优化落地，最后在团队推广的流程。

2022-07-18

StoneDB —— 基于 MySQL 的开源实时 HTAP 数据库

StoneDB 具备超高性能、实时分析等特点，为用户提供一站式 HTAP 解决方案。

2022-07-07

Fizz Gateway 2.6.3 发布，加强服务注册中心实时更新

v2.6.3 changelog: 修复无参函数或可变参数函数导致函数表达式执行失败的问题修复服务注册中心信息无法实时生效的问题 Fix funcExecutor issue caused by no

2022-05-07

TiDB 在携程 | 实时标签处理平台优化实践

为此，携程专门研发了国际业务动态实时标签化处理平台（以下简称 CDP ）。

2022-03-30

百度爱番番实时CDP建设实践

用户的实时交互、激活：面对用户习惯变化快，实时感知用户行为进行实时自动化营销能力尤为重要。安全的用户数据管理：数据长期、安全存储是数据管理平台的基本要求。

2022-02-08

kajiya —— Rust 编写的实时全局光照渲染器

kajiya 是 Rust 和 Vulkan 实现的实时全局光照渲染器。

2021-12-26

Apache Storm 2.1.1 发布，分布式实时计算

Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。

2021-10-16

Apache Storm 2.3.0 发布，分布式实时计算

Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。

2021-09-28

PgBouncer 1.16.0 发布，可在实例中实时加载 TLS 设置

PgBouncer 是一个开源的、轻量级的、用于 PostgreSQL 的连接池。它可以为一个或多个数据库建立连接池，并通过 TCP 和 Unix domain sockets 为客户提供服务。 PgBouncer 1.16.0 正式发布，更新内容如下：功能：支持热重载 TLS 设置。当配置文件被重新加载时，改变的 TLS 设置会自动生效；密码和用户名的最大长度已分别增加到 996 和 128；现在可以为每个数据库设置最小池大小；在 SHOW POOLS 中显示了待定查询取消的数量。修复：配置解析现在在许多地方有更严格的错误处理。以前它可能会记录一个错误并继续进行，现在这些配置错误会导致启动失败；查询取消处理已被修复。此前在某些情况下，取消请求似乎会被卡住很长时间；通过 hba 混合使用 md5 和 scram 的问题已被修复；在 Windows 上用 c-res 构建的问题已被修复； "FIXME: query end, but query_start == 0" 信息已被修复；修复了重新加载 default_pool_size、 min_pool_size 和 res_pool_size 的问题。以前重新加载这些设置时，并不奏效。清理：现在使用 Cirrus CI 而不是 Travis CI；跟以往一样，增加了许多测试；不能再使用 "pgbouncer" 作为数据库名称；在连接关闭前发送给客户端的错误现在被标记为 "FATAL"，而不仅仅是 "ERROR"；修正了 GCC 11 的编译器警告；更多详情可查看：https://www.pgbouncer.org/changelog.html#pgbouncer-116x

2021-08-10

Apache Druid 0.21.1 发布，实时分析数据库

Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。

2021-06-11

实时计算框架：Spark集群搭建与入门案例

一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。 2、运行结构 Driver 运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-Manager进行通信，并负责申请资源、任务分配和监控等。 ClusterManager 负责申请和管理在WorkerNode上运行应用所需的资源，可以高效地在一个计算节点到数千个计算节点之间伸缩计算，目前包括Spark原生的ClusterManager、ApacheMesos和HadoopYARN。 Executor Application运行在WorkerNode上的一个进程，作为工作节点负责运行Task任务，并且负责将数据存在内存或者磁盘上，每个 Application都有各自独立的一批Executor，任务间相互独立。二、环境部署 1、Scala环境安装包管理 [root@hop01 opt]# tar -zxvf scala-2.12.2.tgz [root@hop01 opt]# mv scala-2.12.2 scala2.12 配置变量 [root@hop01 opt]# vim /etc/profile export SCALA_HOME=/opt/scala2.12 export PATH=$PATH:$SCALA_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# scala -version Scala环境需要部署在Spark运行的相关服务节点上。 2、Spark基础环境安装包管理 [root@hop01 opt]# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz [root@hop01 opt]# mv spark-2.1.1-bin-hadoop2.7 spark2.1 配置变量 [root@hop01 opt]# vim /etc/profile export SPARK_HOME=/opt/spark2.1 export PATH=$PATH:$SPARK_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# spark-shell 3、Spark集群配置服务节点 [root@hop01 opt]# cd /opt/spark2.1/conf/ [root@hop01 conf]# cp slaves.template slaves [root@hop01 conf]# vim slaves hop01 hop02 hop03 环境配置 [root@hop01 conf]# cp spark-env.sh.template spark-env.sh [root@hop01 conf]# vim spark-env.sh export JAVA_HOME=/opt/jdk1.8 export SCALA_HOME=/opt/scala2.12 export SPARK_MASTER_IP=hop01 export SPARK_LOCAL_IP=安装节点IP export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/opt/hadoop2.7/etc/hadoop 注意SPARK_LOCAL_IP的配置。 4、Spark启动依赖Hadoop相关环境，所以要先启动。启动：/opt/spark2.1/sbin/start-all.sh 停止：/opt/spark2.1/sbin/stop-all.sh 这里在主节点会启动两个进程：Master和Worker，其他节点只启动一个Worker进程。 5、访问Spark集群默认端口是：8080。 http://hop01:8080/ 运行基础案例： [root@hop01 spark2.1]# cd /opt/spark2.1/ [root@hop01 spark2.1]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar 运行结果：Pi is roughly 3.1455357276786384 三、开发案例 1、核心依赖依赖Spark2.1.1版本： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</version> </dependency> 引入Scala编译插件： <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.2.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> 2、案例代码开发读取指定位置的文件，并输出文件内容单词统计结果。 @RestController public class WordWeb implements Serializable { @GetMapping("/word/web") public String getWeb (){ // 1、创建Spark的配置对象 SparkConf sparkConf = new SparkConf().setAppName("LocalCount") .setMaster("local[*]"); // 2、创建SparkContext对象 JavaSparkContext sc = new JavaSparkContext(sparkConf); sc.setLogLevel("WARN"); // 3、读取测试文件 JavaRDD lineRdd = sc.textFile("/var/spark/test/word.txt"); // 4、行内容进行切分 JavaRDD wordsRdd = lineRdd.flatMap(new FlatMapFunction() { @Override public Iterator call(Object obj) throws Exception { String value = String.valueOf(obj); String[] words = value.split(","); return Arrays.asList(words).iterator(); } }); // 5、切分的单词进行标注 JavaPairRDD wordAndOneRdd = wordsRdd.mapToPair(new PairFunction() { @Override public Tuple2 call(Object obj) throws Exception { //将单词进行标记： return new Tuple2(String.valueOf(obj), 1); } }); // 6、统计单词出现次数 JavaPairRDD wordAndCountRdd = wordAndOneRdd.reduceByKey(new Function2() { @Override public Object call(Object obj1, Object obj2) throws Exception { return Integer.parseInt(obj1.toString()) + Integer.parseInt(obj2.toString()); } }); // 7、排序 JavaPairRDD sortedRdd = wordAndCountRdd.sortByKey(); List<Tuple2> finalResult = sortedRdd.collect(); // 8、结果打印 for (Tuple2 tuple2 : finalResult) { System.out.println(tuple2._1 + " ===> " + tuple2._2); } // 9、保存统计结果 sortedRdd.saveAsTextFile("/var/spark/output"); sc.stop(); return "success" ; } } 打包执行结果：查看文件输出： [root@hop01 output]# vim /var/spark/output/part-00000 四、源代码地址 GitHub·地址 https://github.com/cicadasmile/big-data-parent GitEE·地址 https://gitee.com/cicadasmile/big-data-parent

2021-04-26

Apache Druid 0.20.2 发布，实时分析数据库

Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。

2021-04-02

Radar —— 一款轻量级实时风控引擎

Radar是一款基于java语言，使用Springboot + Mongodb + Groovy 等框架搭建的轻量级实时风控引擎，适用于反欺诈应用场景，极简的配置，开箱即用。

2021-02-04

好未来数据中台实时数据平台演进

我们今天要分享的实时平台就是在数据开发中。 2.好未来 T-Streaming 实时平台实时平台构建前的诉求实时平台在构建之初，我们梳理了四个重要的诉求。

2021-01-31

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。