[译]介绍Spark2.4的用于处理复杂数据类型的新内置函数与高阶函数

2018-11-19 737

[译]介绍Spark2.4的用于处理复杂数据类型的新内置函数与高阶函数

本文翻译自databricks的介绍spark2.4新特性的blog，英文原文参考原文链接

Apache Spark2.4总共支持了29个用于处理复杂数据类型（比如，数组类型等）的新内置函数和高阶函数。

在Spark2.4版本之前，有两种典型的方式处理复杂数据类型：

将嵌套结构的数据转化为多行数据，然后使用函数处理，最后再组装成嵌套结构。
自己构建一个UDF。

和之前不同，新的内置函数可以直接操作复杂数据类型，同时新的高阶函数可以使用匿名的lambda函数处理复杂数据类型，和UDF类似，但是性能大大提高。

在本篇文章，我们将通过一些示例展示部分内置函数以及它们的具体用法。

典型的处理方式

我们首先来看一下Spark2.4以前典型的处理方式。

选择1 - Explode and C

微信关注我们

原文链接：https://yq.aliyun.com/articles/672027

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

0023-HOSTS配置问题导致集群异常故障分析

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题现象 Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警 Cluster 1 HDFS 可用空间抑制... NameNode 运行状况抑制... HDFS 金丝雀抑制... DataNode (ip-172-31-10-118) 日志文件 NameNode 连接抑制... DataNode (ip-172-31-5-190) 日志文件 NameNode 连接抑制... DataNode (ip-172-31-9-33) 日志文件 NameNode 连接抑制... Hive Metastore Server (ip-172-31-6-148) 日志文件 Hive Metastore Canary 抑制... Impala Daemon (ip-172-31-10-118) 日志文件进程状态抑制... Impala Daemon (ip-172-31-5-190) 日志文件进程状态抑制... Impala Daemon (ip-172-31-9-33) 日志文件进程状...

2018-11-20

641

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 5.快速组件服务验证 5.1HDFS验证(mkdir+put+cat+get) mkdir操作： _[root@ip-172-31-6-148_~]# hadoop fs -mkdir -p /fayson/test [root@ip-172-31-6-148 ~]# hadoop fs -ls / Found 3 items drwxr-xr-x - root supergroup 0 2017-09-0506:16 /fayson drwxrwxrwt - hdfs supergroup 0 2017-09-0504:24 /tmp drwxr-xr-x - hdfs supergroup 0 2017-09-0504:24 /user [root@ip-172-31-6-148 ~]# put操作： _[root@ip-172-31-6-148_~]# vim a.txt 1,test 2,fayson 3.zhangsan [root@ip-172-31-6-148 ~]#hadoop fs -put a.txt ...

2018-11-20

686

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。