【译】Apache Spark 2.4 内置数据源 Apache Avro-低调大师

【译】Apache Spark 2.4 内置数据源 Apache Avro

2018-12-04 682

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4

Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中，尤其适用于基于 Kafka 的数据流场景。从 Apache Spark 2.4 版本开始，Spark 原生支持了 Avro 数据的读写。新的内置 spark-avro 模块最初来自 Databricks 开源项目 Avro Data Source for Apache Spark（后文简称为 spark-avro ）。此外, 它还提供了：

新函数 from_avro() 和 to_avro() 用于在 DataFrame 中读写 Avro 数据，而不仅仅是文件。
Avro 逻辑类

微信关注我们

原文链接：https://yq.aliyun.com/articles/675234

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

中国HBase技术社区第九届meetup-HBase典型应用场景与实践（北京站）

2018年12月23日14点，将在北京朝阳360公司A座一层发布厅举办中国HBase技术社区第九届meetup-HBase典型应用场景与实践。本期活动主题 13:30-14:00 签到 14:00-14:40 HBase 2.0 在360的技术改进与应用实践课程介绍：HBase在360的使用现状和发展历程，以及在升级HBase2.0的过程中发现的问题与改进。讲师：王小勇——360系统部分布式存储方向架构师在360先后负责hdfs的版本开发和功能定制化、参与并完成了hbase 0.8.9版本的定制化和多项技术升级；带领技术团队，hbase2.0的应用实践过程中主导了多项改进，推动了hbase从低版本到hbase 2.0版本的平滑过度和功能迁移。 14:40-15:20 HBase 基本知识介绍及典型案例分析课程介绍：HBase基础知识介绍，Rowkey设计技巧，HBase企业级特性及组件介绍，HBase+Spark典型案例分析。讲师：吴阳平——阿里云HBase业务架构师「过往记忆博客（ https://www.iteblog.com ）博主。」负责HBase时空、时序、分析、图等...

2018-12-05

627

Spark DAGScheduler中stage转换成TaskSet的过程更多资源分享 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn.net/thinktothings/article/details/84726769 Youtube视频分析 Spark DAGScheduler中stage转换成TaskSet的过程(youtube视频) : Bilibili视频分析 Spark DAGScheduler中stage转换成TaskSet的过程(bilibili视频) : https://www.bilibili.com/video/av37442139/?p=18 DAGScheduler 转化stage为TaskSet 得到 partitions(分区信息) val partitionsToCompute: Seq[Int] = stage.findMissingPartitions() 计算分区的首选位置信息 val taskIdToLoc...

2018-12-05

580

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。