MongoDB Spark Connector 实战指南
Why Spark with MongoDB?
- 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的
- 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单
- 统一构建 ，支持多种数据源，通过 Spark RDD 屏蔽底层数据差异，同一个分析应用可运行于不同的数据源；
- 应用场景广泛，能同时支持批处理以及流式处理
MongoDB Spark Connector 为官方推出，用于适配 Spark 操作 MongoDB 数据；本文以 Python 为例，介绍 MongoDB Spark Connector 的使用，帮助你基于 MongoDB 构建第一个分析应用。
准备 MongoDB 环境
安装 MongoDB 参考 Install MongoDB Community Ed
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
国庆宅在家？不如来玩玩阿里云大数据产品系列教程~
激动人心的国庆长假终于到啦！ 面对人山人海的景点，很多小伙伴都机智的选择了宅在家里~刷剧、看动漫、打游戏、吃外卖...嗯，生活是不是有点无聊呢？是不是，缺了点什么？此时此刻，休闲放松之余，爱学习的你还有另一种选择：玩一玩今年新上架的阿里云大数据产品系列教程吧！内容良心，细节感人，手把手教你玩转阿里云大数据产品哦~传送门：MaxCompute：构建与优化数据仓库搭建互联网在线运营分析平台DataWorks：数据质量保障教程实现窃电用户自动识别教程Dataphin：基于Dataphin构建数据仓库如果在使用过程中觉得不爽，欢迎评论或私信！~
- 下一篇
Flink落HDFS数据按事件时间分区解决方案
0x1 摘要 Hive离线数仓中为了查询分析方便，几乎所有表都会划分分区，最为常见的是按天分区，Flink通过以下配置把数据写入HDFS， BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.setBucketer(new DateTimeBucketer<>("yyyy/MM/dd")); sink.setWriter(new StringWriter<>()); sink.setBatchSize(1024 * 1024 * 256L); sink.setBatchRolloverInterval(30 * 60 * 1000L); sink.setInactiveBucketThreshold(3 * 60 * 1000L); sink.setInactiveBucketCheckInterval(30 * 1000L); sink.setInProgressSuffix(".in-progress"); sink.setPe...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Cmake3.16.3，解决mysql等软件编译问题
- SpringBoot2更换Tomcat为Jetty，小型站点的福音
- CentOS7安装Docker，走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx，支持https2.0的开启
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2配置默认Tomcat设置，开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker，最新的服务器搭配容器使用
微信收款码
支付宝收款码