首页 文章 精选 留言 我的

精选列表

搜索[实时etl],共10000篇文章
优秀的个人博客,低调大师

阿里云容器Kubernetes监控(六) - 使用eventer与npd实时告警节点异常

前言 在开始给大家讲解如何通过eventer与npd来实现节点异常告警之前,要稍微给大家解释一下为什么用三篇的篇幅来介绍eventer。在kubernetes中,会将交付场景中的大部分实体都抽象为一个逻辑的概念,例如:接入层抽象为Service,存储层抽象为PV/PVC,不同种类的应用抽象为Deployment、StatefulSet等等。这种抽象的方式不仅仅将交付变成了软件定义式的配置,更多的是规约了一种标准化,这种标准化不仅仅是交付内容的标准化,也包括了交付方式的标准化,甚至交付生命周期的标准化。 交付内容的标准化与交付方式的标准化是非常好理解的,那么交付生命周期的标准化怎么理解呢。我们可以通过kubectl describe deploy [deploy name]的方式查看一个Deployment的状态描述。 在这个例子中,我们

优秀的个人博客,低调大师

通过Spark Streaming从TCP协议中获取实时流数据(scala测试代码)

scala的简单实现: package lab2012 import org.apache.spark._ import org.apache.spark.streaming._ object WaitToGetWordFromTCP { def main(args: Array[String]): Unit = { // Spark Streaming程序以StreamingContext为起点,其内部维持了一个SparkContext的实例。 // 这里我们创建一个带有两个本地线程的StreamingContext,并设置批处理间隔为8秒。 val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount") val ssc = new StreamingContext(conf, Seconds(1)) // 在一个Spark应用中默认只允许有一个SparkContext,默认地spark-shell已经为我们创建好了 // SparkContext,名为sc。因此在spark-shell中应该以下述方式创建StreamingContext,以 // 避免创建再次创建SparkContext而引起错误: // val ssc = new StreamingContext(sc, Seconds(8)) // 创建一个从TCP连接获取流数据的DStream,其每条记录是一行文本 val lines = ssc.socketTextStream("192.168.88.80", 8048) // 对DStream进行转换,最终得到计算结果 //val res = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _) val res = lines.flatMap(word=>word.split(" ")).map((_, 1)).reduceByKey(_ + _) // 打印该DStream中每个RDD中的前十个元素 res.print() // 执行完上面代码,Spark Streaming并没有真正开始处理数据,而只是记录需在数据上执行的操作。 // 当我们设置好所有需要在数据上执行的操作以后,我们就可以开始真正地处理数据了。如下: ssc.start() // 开始计算 ssc.awaitTermination() // 等待计算终止 //启动后,通过:nc -lk 8048,可以向端口发送字符串,spark可以接受到字符串,并处理 } }

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册