MongoDB Spark Connector 实战指南
Why Spark with MongoDB?
- 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的
- 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单
- 统一构建 ，支持多种数据源，通过 Spark RDD 屏蔽底层数据差异，同一个分析应用可运行于不同的数据源；
- 应用场景广泛，能同时支持批处理以及流式处理
MongoDB Spark Connector 为官方推出，用于适配 Spark 操作 MongoDB 数据；本文以 Python 为例，介绍 MongoDB Spark Connector 的使用，帮助你基于 MongoDB 构建第一个分析应用。
准备 MongoDB 环境
安装 MongoDB 参考 Install MongoDB Community Ed
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
国庆宅在家？不如来玩玩阿里云大数据产品系列教程~
激动人心的国庆长假终于到啦！ 面对人山人海的景点，很多小伙伴都机智的选择了宅在家里~刷剧、看动漫、打游戏、吃外卖...嗯，生活是不是有点无聊呢？是不是，缺了点什么？此时此刻，休闲放松之余，爱学习的你还有另一种选择：玩一玩今年新上架的阿里云大数据产品系列教程吧！内容良心，细节感人，手把手教你玩转阿里云大数据产品哦~传送门：MaxCompute：构建与优化数据仓库搭建互联网在线运营分析平台DataWorks：数据质量保障教程实现窃电用户自动识别教程Dataphin：基于Dataphin构建数据仓库如果在使用过程中觉得不爽，欢迎评论或私信！~
- 下一篇
Flink落HDFS数据按事件时间分区解决方案
0x1 摘要 Hive离线数仓中为了查询分析方便，几乎所有表都会划分分区，最为常见的是按天分区，Flink通过以下配置把数据写入HDFS， BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.setBucketer(new DateTimeBucketer<>("yyyy/MM/dd")); sink.setWriter(new StringWriter<>()); sink.setBatchSize(1024 * 1024 * 256L); sink.setBatchRolloverInterval(30 * 60 * 1000L); sink.setInactiveBucketThreshold(3 * 60 * 1000L); sink.setInactiveBucketCheckInterval(30 * 1000L); sink.setInProgressSuffix(".in-progress"); sink.setPe...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- CentOS6,CentOS7官方镜像安装Oracle11G
- Eclipse初始化配置，告别卡顿、闪退、编译时间过长
- SpringBoot2全家桶，快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS6,7,8上安装Nginx，支持https2.0的开启
微信收款码
支付宝收款码