搜索[实时分析]结果-低调大师优秀个人博客

精选列表

搜索[实时分析]，共10000篇文章

Meta 开发了实时翻译闽南语的 AI

来自 Meta（前 Facebook）的人工智能研究团队就专门针对这种场景开发了一个 AI 翻译系统，这是一个面向口头语言的实时翻译系统，并以闽南语与英文互译为首要目标。

2022-10-21

如何实时、高效地处理如此海量的路况数据？

智慧交通将人、车、路互联互通，依靠大数据、物联网、人工智能等高新技术，汇集路况信息，提供实时、高效、安全的交通信息服务。

2022-10-09

得物基于Attach to Process的实时调试实践

整体按实时调试方案的可行性分析，方向调研，优化方案设计，推进优化落地，最后在团队推广的流程。

2022-07-18

StoneDB —— 基于 MySQL 的开源实时 HTAP 数据库

StoneDB 具备超高性能、实时分析等特点，为用户提供一站式 HTAP 解决方案。

2022-07-07

Fizz Gateway 2.6.3 发布，加强服务注册中心实时更新

v2.6.3 changelog: 修复无参函数或可变参数函数导致函数表达式执行失败的问题修复服务注册中心信息无法实时生效的问题 Fix funcExecutor issue caused by no

2022-05-07

TiDB 在携程 | 实时标签处理平台优化实践

为此，携程专门研发了国际业务动态实时标签化处理平台（以下简称 CDP ）。

2022-03-30

百度爱番番实时CDP建设实践

另外，如何做到流式计算下的数据实时更新，也影响存储组件的选择。Apache Kudu 是 Cloudera 开源的列式存储引擎，是一种典型的HTAP(在线事务处理/在线分析处理混合模式)。

2022-02-08

kajiya —— Rust 编写的实时全局光照渲染器

kajiya 是 Rust 和 Vulkan 实现的实时全局光照渲染器。

2021-12-26

Apache Storm 2.1.1 发布，分布式实时计算

Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。

2021-10-16

Apache Storm 2.3.0 发布，分布式实时计算

Apache Storm 是一个分布式的、容错的、高性能的实时计算系统，为数据的处理提供了有力的保障。

2021-09-28

PgBouncer 1.16.0 发布，可在实例中实时加载 TLS 设置

PgBouncer 是一个开源的、轻量级的、用于 PostgreSQL 的连接池。它可以为一个或多个数据库建立连接池，并通过 TCP 和 Unix domain sockets 为客户提供服务。 PgBouncer 1.16.0 正式发布，更新内容如下：功能：支持热重载 TLS 设置。当配置文件被重新加载时，改变的 TLS 设置会自动生效；密码和用户名的最大长度已分别增加到 996 和 128；现在可以为每个数据库设置最小池大小；在 SHOW POOLS 中显示了待定查询取消的数量。修复：配置解析现在在许多地方有更严格的错误处理。以前它可能会记录一个错误并继续进行，现在这些配置错误会导致启动失败；查询取消处理已被修复。此前在某些情况下，取消请求似乎会被卡住很长时间；通过 hba 混合使用 md5 和 scram 的问题已被修复；在 Windows 上用 c-res 构建的问题已被修复； "FIXME: query end, but query_start == 0" 信息已被修复；修复了重新加载 default_pool_size、 min_pool_size 和 res_pool_size 的问题。以前重新加载这些设置时，并不奏效。清理：现在使用 Cirrus CI 而不是 Travis CI；跟以往一样，增加了许多测试；不能再使用 "pgbouncer" 作为数据库名称；在连接关闭前发送给客户端的错误现在被标记为 "FATAL"，而不仅仅是 "ERROR"；修正了 GCC 11 的编译器警告；更多详情可查看：https://www.pgbouncer.org/changelog.html#pgbouncer-116x

2021-08-10

实时计算框架：Spark集群搭建与入门案例

一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。 2、运行结构 Driver 运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-Manager进行通信，并负责申请资源、任务分配和监控等。 ClusterManager 负责申请和管理在WorkerNode上运行应用所需的资源，可以高效地在一个计算节点到数千个计算节点之间伸缩计算，目前包括Spark原生的ClusterManager、ApacheMesos和HadoopYARN。 Executor Application运行在WorkerNode上的一个进程，作为工作节点负责运行Task任务，并且负责将数据存在内存或者磁盘上，每个 Application都有各自独立的一批Executor，任务间相互独立。二、环境部署 1、Scala环境安装包管理 [root@hop01 opt]# tar -zxvf scala-2.12.2.tgz [root@hop01 opt]# mv scala-2.12.2 scala2.12 配置变量 [root@hop01 opt]# vim /etc/profile export SCALA_HOME=/opt/scala2.12 export PATH=$PATH:$SCALA_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# scala -version Scala环境需要部署在Spark运行的相关服务节点上。 2、Spark基础环境安装包管理 [root@hop01 opt]# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz [root@hop01 opt]# mv spark-2.1.1-bin-hadoop2.7 spark2.1 配置变量 [root@hop01 opt]# vim /etc/profile export SPARK_HOME=/opt/spark2.1 export PATH=$PATH:$SPARK_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# spark-shell 3、Spark集群配置服务节点 [root@hop01 opt]# cd /opt/spark2.1/conf/ [root@hop01 conf]# cp slaves.template slaves [root@hop01 conf]# vim slaves hop01 hop02 hop03 环境配置 [root@hop01 conf]# cp spark-env.sh.template spark-env.sh [root@hop01 conf]# vim spark-env.sh export JAVA_HOME=/opt/jdk1.8 export SCALA_HOME=/opt/scala2.12 export SPARK_MASTER_IP=hop01 export SPARK_LOCAL_IP=安装节点IP export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/opt/hadoop2.7/etc/hadoop 注意SPARK_LOCAL_IP的配置。 4、Spark启动依赖Hadoop相关环境，所以要先启动。启动：/opt/spark2.1/sbin/start-all.sh 停止：/opt/spark2.1/sbin/stop-all.sh 这里在主节点会启动两个进程：Master和Worker，其他节点只启动一个Worker进程。 5、访问Spark集群默认端口是：8080。 http://hop01:8080/ 运行基础案例： [root@hop01 spark2.1]# cd /opt/spark2.1/ [root@hop01 spark2.1]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar 运行结果：Pi is roughly 3.1455357276786384 三、开发案例 1、核心依赖依赖Spark2.1.1版本： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</version> </dependency> 引入Scala编译插件： <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.2.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> 2、案例代码开发读取指定位置的文件，并输出文件内容单词统计结果。 @RestController public class WordWeb implements Serializable { @GetMapping("/word/web") public String getWeb (){ // 1、创建Spark的配置对象 SparkConf sparkConf = new SparkConf().setAppName("LocalCount") .setMaster("local[*]"); // 2、创建SparkContext对象 JavaSparkContext sc = new JavaSparkContext(sparkConf); sc.setLogLevel("WARN"); // 3、读取测试文件 JavaRDD lineRdd = sc.textFile("/var/spark/test/word.txt"); // 4、行内容进行切分 JavaRDD wordsRdd = lineRdd.flatMap(new FlatMapFunction() { @Override public Iterator call(Object obj) throws Exception { String value = String.valueOf(obj); String[] words = value.split(","); return Arrays.asList(words).iterator(); } }); // 5、切分的单词进行标注 JavaPairRDD wordAndOneRdd = wordsRdd.mapToPair(new PairFunction() { @Override public Tuple2 call(Object obj) throws Exception { //将单词进行标记： return new Tuple2(String.valueOf(obj), 1); } }); // 6、统计单词出现次数 JavaPairRDD wordAndCountRdd = wordAndOneRdd.reduceByKey(new Function2() { @Override public Object call(Object obj1, Object obj2) throws Exception { return Integer.parseInt(obj1.toString()) + Integer.parseInt(obj2.toString()); } }); // 7、排序 JavaPairRDD sortedRdd = wordAndCountRdd.sortByKey(); List<Tuple2> finalResult = sortedRdd.collect(); // 8、结果打印 for (Tuple2 tuple2 : finalResult) { System.out.println(tuple2._1 + " ===> " + tuple2._2); } // 9、保存统计结果 sortedRdd.saveAsTextFile("/var/spark/output"); sc.stop(); return "success" ; } } 打包执行结果：查看文件输出： [root@hop01 output]# vim /var/spark/output/part-00000 四、源代码地址 GitHub·地址 https://github.com/cicadasmile/big-data-parent GitEE·地址 https://gitee.com/cicadasmile/big-data-parent

2021-04-26

Radar —— 一款轻量级实时风控引擎

Radar是一款基于java语言，使用Springboot + Mongodb + Groovy 等框架搭建的轻量级实时风控引擎，适用于反欺诈应用场景，极简的配置，开箱即用。

2021-02-04

好未来数据中台实时数据平台演进

内容包括两部分，第一部分是好未来在做实时平台中的几点思考，第二部分主要分享教育行业中特有数据分析场景。

2021-01-31

基于 Flink SQL CDC 的实时数据同步方案

不增加数据库负载的优势 · 无需入侵业务，业务解耦，无需更改业务模型 · 捕获删除事件和捕获旧记录的状态，在查询 CDC 中，周期的查询无法感知中间数据是否删除基于日志的 CDC 方案介绍从 ETL 的角度进行分析

2020-11-09

连载：阿里巴巴大数据实践—实时技术

1．时效性高数据实时采集、实时处理，延时粒度在秒级甚至毫秒级，业务方能够在第一时间拿到经过加工处理后的数据。

2020-08-18

使用 tail -f 实时观测服务器日志输出

在开发阶段, 有 console 端的输出, 总是可以方便实时地看到应用的日志.

2020-08-10

Apache Storm 2.2.0 发布，分布式实时计算

新版本还包含大量改进和 bug 修复，详情见更新说明：https://storm.apache.org/2020/06/30/storm220-released.html Apache Storm 是一个免费开源的分布式实时计算系统

2020-07-02

服务器端实时推送技术之SSE

iframe 流方式是在页面中插入一个隐藏的 iframe，利用其src属性在服务器和客户端之间创建一条长链接，服务器向 iframe 传输数据（通常是 HTML，内有负责插入信息的 javascript），来实时更新页面

2020-06-23

DB 与 Elasticsearch 混合应用之数据实时同步

序言前一篇文章《DB与ES混合之应用系统场景分析探讨》，我们主要探讨了混合场景下的多种模型映射类型，基本覆盖了应用业务系统如何借助Elasticsearch 来解决DB局限性。

2020-06-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。