搜索[实时操作系统]结果-低调大师优秀个人博客

精选列表

搜索[实时操作系统]，共10000篇文章

Apache Druid 0.21.1 发布，实时分析数据库

Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。

2021-06-11

实时计算框架：Spark集群搭建与入门案例

一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。 2、运行结构 Driver 运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-Manager进行通信，并负责申请资源、任务分配和监控等。 ClusterManager 负责申请和管理在WorkerNode上运行应用所需的资源，可以高效地在一个计算节点到数千个计算节点之间伸缩计算，目前包括Spark原生的ClusterManager、ApacheMesos和HadoopYARN。 Executor Application运行在WorkerNode上的一个进程，作为工作节点负责运行Task任务，并且负责将数据存在内存或者磁盘上，每个 Application都有各自独立的一批Executor，任务间相互独立。二、环境部署 1、Scala环境安装包管理 [root@hop01 opt]# tar -zxvf scala-2.12.2.tgz [root@hop01 opt]# mv scala-2.12.2 scala2.12 配置变量 [root@hop01 opt]# vim /etc/profile export SCALA_HOME=/opt/scala2.12 export PATH=$PATH:$SCALA_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# scala -version Scala环境需要部署在Spark运行的相关服务节点上。 2、Spark基础环境安装包管理 [root@hop01 opt]# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz [root@hop01 opt]# mv spark-2.1.1-bin-hadoop2.7 spark2.1 配置变量 [root@hop01 opt]# vim /etc/profile export SPARK_HOME=/opt/spark2.1 export PATH=$PATH:$SPARK_HOME/bin [root@hop01 opt]# source /etc/profile 版本查看 [root@hop01 opt]# spark-shell 3、Spark集群配置服务节点 [root@hop01 opt]# cd /opt/spark2.1/conf/ [root@hop01 conf]# cp slaves.template slaves [root@hop01 conf]# vim slaves hop01 hop02 hop03 环境配置 [root@hop01 conf]# cp spark-env.sh.template spark-env.sh [root@hop01 conf]# vim spark-env.sh export JAVA_HOME=/opt/jdk1.8 export SCALA_HOME=/opt/scala2.12 export SPARK_MASTER_IP=hop01 export SPARK_LOCAL_IP=安装节点IP export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/opt/hadoop2.7/etc/hadoop 注意SPARK_LOCAL_IP的配置。 4、Spark启动依赖Hadoop相关环境，所以要先启动。启动：/opt/spark2.1/sbin/start-all.sh 停止：/opt/spark2.1/sbin/stop-all.sh 这里在主节点会启动两个进程：Master和Worker，其他节点只启动一个Worker进程。 5、访问Spark集群默认端口是：8080。 http://hop01:8080/ 运行基础案例： [root@hop01 spark2.1]# cd /opt/spark2.1/ [root@hop01 spark2.1]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.1.jar 运行结果：Pi is roughly 3.1455357276786384 三、开发案例 1、核心依赖依赖Spark2.1.1版本： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</version> </dependency> 引入Scala编译插件： <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.2.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> 2、案例代码开发读取指定位置的文件，并输出文件内容单词统计结果。 @RestController public class WordWeb implements Serializable { @GetMapping("/word/web") public String getWeb (){ // 1、创建Spark的配置对象 SparkConf sparkConf = new SparkConf().setAppName("LocalCount") .setMaster("local[*]"); // 2、创建SparkContext对象 JavaSparkContext sc = new JavaSparkContext(sparkConf); sc.setLogLevel("WARN"); // 3、读取测试文件 JavaRDD lineRdd = sc.textFile("/var/spark/test/word.txt"); // 4、行内容进行切分 JavaRDD wordsRdd = lineRdd.flatMap(new FlatMapFunction() { @Override public Iterator call(Object obj) throws Exception { String value = String.valueOf(obj); String[] words = value.split(","); return Arrays.asList(words).iterator(); } }); // 5、切分的单词进行标注 JavaPairRDD wordAndOneRdd = wordsRdd.mapToPair(new PairFunction() { @Override public Tuple2 call(Object obj) throws Exception { //将单词进行标记： return new Tuple2(String.valueOf(obj), 1); } }); // 6、统计单词出现次数 JavaPairRDD wordAndCountRdd = wordAndOneRdd.reduceByKey(new Function2() { @Override public Object call(Object obj1, Object obj2) throws Exception { return Integer.parseInt(obj1.toString()) + Integer.parseInt(obj2.toString()); } }); // 7、排序 JavaPairRDD sortedRdd = wordAndCountRdd.sortByKey(); List<Tuple2> finalResult = sortedRdd.collect(); // 8、结果打印 for (Tuple2 tuple2 : finalResult) { System.out.println(tuple2._1 + " ===> " + tuple2._2); } // 9、保存统计结果 sortedRdd.saveAsTextFile("/var/spark/output"); sc.stop(); return "success" ; } } 打包执行结果：查看文件输出： [root@hop01 output]# vim /var/spark/output/part-00000 四、源代码地址 GitHub·地址 https://github.com/cicadasmile/big-data-parent GitEE·地址 https://gitee.com/cicadasmile/big-data-parent

2021-04-26

Apache Druid 0.20.2 发布，实时分析数据库

Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。

2021-04-02

Radar —— 一款轻量级实时风控引擎

Radar是一款基于java语言，使用Springboot + Mongodb + Groovy 等框架搭建的轻量级实时风控引擎，适用于反欺诈应用场景，极简的配置，开箱即用。

2021-02-04

好未来数据中台实时数据平台演进

我们今天要分享的实时平台就是在数据开发中。 2.好未来 T-Streaming 实时平台实时平台构建前的诉求实时平台在构建之初，我们梳理了四个重要的诉求。

2021-01-31

基于 Flink SQL CDC 的实时数据同步方案

ETL 的角度进行分析，一般采集的都是业务库数据，这里使用 MySQL 作为需要采集的数据库，通过 Debezium 把 MySQL Binlog 进行采集后发送至 Kafka 消息队列，然后对接一些实时计算引擎或者

2020-11-09

连载：阿里巴巴大数据实践—实时技术

1．时效性高数据实时采集、实时处理，延时粒度在秒级甚至毫秒级，业务方能够在第一时间拿到经过加工处理后的数据。

2020-08-18

使用 tail -f 实时观测服务器日志输出

在开发阶段, 有 console 端的输出, 总是可以方便实时地看到应用的日志.

2020-08-10

Apache Druid 0.19.0 发布，实时分析数据库

Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。

2020-07-22

Apache Storm 2.2.0 发布，分布式实时计算

新版本还包含大量改进和 bug 修复，详情见更新说明：https://storm.apache.org/2020/06/30/storm220-released.html Apache Storm 是一个免费开源的分布式实时计算系统

2020-07-02

服务器端实时推送技术之SSE

iframe 流方式是在页面中插入一个隐藏的 iframe，利用其src属性在服务器和客户端之间创建一条长链接，服务器向 iframe 传输数据（通常是 HTML，内有负责插入信息的 javascript），来实时更新页面

2020-06-23

Flink 在快手实时多维分析场景的应用

作者：董亭亭、徐明摘要：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。

2020-06-16

DB 与 Elasticsearch 混合应用之数据实时同步

下面这篇文章，我们主要解决 DB 到 Elasticsearch 数据实时同步问题。

2020-06-01

基于SLS+Blink的实时计算最佳实践

阿里云实时计算（Blink）阿里云实时计算是基于Apache Flink构建的一站式、高性能实时大数据处理平台，广泛适用于流式数据处理、离线数据处理等场景。

2020-04-24

比特币实时价格接收与显示代码【Swift】

在这篇文章中，我们将学习如何利用websocket开发一个可以实时接收并显示比特币/Bitcoin价格行情的Swift应用。

2020-02-19

谷歌开源实时语音转录引擎 Live Transcribe Speech Engine

昨日，谷歌在其开源博客中宣布开源Android 语音识别转录工具 —— Live Transcribe 的语音引擎（Live Transcribe Speech Engine），它旨在将语音或对话实时转录为文字

2019-08-18

回顾 | 阿里云实时计算专场 · 北京站

6 月 30 日，阿里云实时计算专场北京站，由来自格灵深瞳的大数据总监与阿里巴巴产品专家、技术专家一起与大家探讨实时计算的应用实践与场景化解决方案。

2019-07-03

广告点击数实时统计：Spark StructuredStreaming + Redis Streams

实时统计广告点击数：Spark StructuredStreaming + Redis Stream 业务场景介绍某广告公司在网页上投递动态图片广告，广告的展现形式是根据热点图片动态生成的。

2019-05-22

PostgreSQL pipelinedb 流计算插件 - IoT应用 - 实时轨迹聚合

标签 PostgreSQL , IoT , 轨迹聚合 , pipelinedb , 流计算 , 实时聚合背景 IoT场景，车联网场景，共享单车场景，人的行为位点等，终端实时上报的是孤立的位点，我们需要将其补齐成轨迹

2019-04-26

13行代码实现：Python实时视频采集（附源码）

13行代码实现：Python实时视频采集（附源码）一、前言本文是《人脸识别完整项目实战》系列博文第3部分：程序设计篇（Python版），第1节《Python实时视频采集程序设计》，本章内容系统介绍：基于

2019-04-07

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

Apache Druid 0.21.1 发布，实时分析数据库

实时计算框架：Spark集群搭建与入门案例

Apache Druid 0.20.2 发布，实时分析数据库

Radar —— 一款轻量级实时风控引擎

好未来数据中台实时数据平台演进

基于 Flink SQL CDC 的实时数据同步方案

连载：阿里巴巴大数据实践—实时技术

使用 tail -f 实时观测服务器日志输出

Apache Druid 0.19.0 发布，实时分析数据库

Apache Storm 2.2.0 发布，分布式实时计算

服务器端实时推送技术之SSE

Flink 在快手实时多维分析场景的应用

DB 与 Elasticsearch 混合应用之数据实时同步

基于SLS+Blink的实时计算最佳实践

比特币实时价格接收与显示代码【Swift】

谷歌开源实时语音转录引擎 Live Transcribe Speech Engine

回顾 | 阿里云实时计算专场 · 北京站

广告点击数实时统计：Spark StructuredStreaming + Redis Streams

PostgreSQL pipelinedb 流计算插件 - IoT应用 - 实时轨迹聚合

13行代码实现：Python实时视频采集（附源码）

资源下载

Mario

腾讯云软件源

Spring

WebStorm

欢迎您来访！