Spark Streaming实时流处理学习
目录
1.初识实时流处理
2.分布式日志收集框架Flume
3.分布式发布订阅消息系统Kafka
4.实战环境搭建
5.Spark Streaming入门
6.Spark Streaming核心概念与编程
7.Spark Streaming进阶与案例实战
8.Spark Streaming整合Flume
9.Spark Streaming整合Kafka
10.Spark Streaming整合Flume&Kafka打造通用流处理基础
11.Spark Streaming项目实战
12.可视化实战
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
Hadoop大数据开发框架学习
一.Hadoop框架介绍 hadoop是Apache发布的开源分布式基础架构他的两个核心是 HDFSHDFS是Hadoop的文件管理系统,负责了海量数据的存储,是做大数据的基础 MapReduceMapReduce则是为了海量数据提供了计算 两部分就组成了Hadoop的分布式基础架构 二.HDFS介绍 HDFS作为Hadoop为存储海量数据,自然有着与传统文件系统有着不同的结构,它是以Linux文件系统的基础的架构,构建里一套分布式文件系统,它是由一个NameNode和多台DataNode组成的。他通过将文件进行划分,分成多个数据块进行存储。(默认64MB,一般设置为128MB,备份X3)NameNode 管理文件系统的命名空间,存放文件元数据 维护文件系统的所有文件和目录,文件与数据块的映射 记录每个文件中各个块所在数据节点的信息 DataNode 存储并检索数据块 香NameNode更新所存储块的列表 优点 适合大文件存储,有副本策略 可以构建在廉价机器上,有一定容错和恢复机制 支持流式数据访问,一次写入多次读取 缺点 不适合大量小文件存储 不适合并发写入,不支持文件随机修改 不支...
-
下一篇
01. Spark Streaming实时流处理学习——初识实时流处理
1. 初识实时流处理 1.1. 业务现状分析 统计主站每个(指定)课程访问的客户、地域信息分布地域:ip转换客户端:useragent获取如上两个操作:采用离线(Spark/MapReduce)的方式进行统计 实现步骤课程编号、IP信息、useragent进行相应的统计分析操作:MapReduce/Spark 项目架构日志收集:Flume离线分析:MapReduce/Spark统计结果图形化展示 问题1小时级别10分钟5分钟1分钟秒级别 基于Hadoop的实现方案存在的问题?如何解决????===> 实时流处理框架 1.2. 业务现状分析 实时流处理产生背景 时效性高数据量大 实时流处理概述 实时计算流式计算实时流式计算 离线计算与实时计算对比 数据来源离线:HDFS 历史数据 数据量比较大 实时:消息队列(Kafka),实时新增/修改记录过来的某一笔数据 处理过程离线:MapReduce:map + reduce 实时:Spark(DStream/SS) 处理速度离线:慢 实时:快速 进程离线:启动+销毁 实时:7*24 实时流处理框架对比 Apache Storm Apach...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- MySQL数据库中FOR UPDATE的使用
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Dcoker安装(在线仓库),最新的服务器搭配容器使用
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Hadoop3单机部署,实现最简伪集群
- CentOS7设置SWAP分区,小内存服务器的救世主

微信收款码
支付宝收款码