MaxCompute SQL引用第三方Base64JAR实现编解码-低调大师

MaxCompute SQL引用第三方Base64JAR实现编解码

2017-08-02 613

BASE64和其他相似的编码算法通常用于转换二进制数据为文本数据，其目的是为了简化存储或传输。更具体地说，BASE64算法主要用于转换二进制数据为ASCII字符串格式。

下面我们通过阿里云MaxCompute 和大数据开发套件，引用第三方的Base64 JAR，来实现字符串的编码、解码；

效果如下：

---base64编码
select id,encode_base64('liuxiaowen1234') from alian.user_info limit 1;

bGl1eGlhb3dlbjEyMzQ=


---base64解码
select id,decode_base64('bGl1eGlhb3dlbjEyMzQ=') from alian.user_info limit 1;

liuxiaowen1234

实验环境阿里云大数

微信关注我们

原文链接：https://yq.aliyun.com/articles/158314

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

SparkStreaming与Kafka整合遇到的问题及解决方案

最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。实现 Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式。一. 基于Receiver方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。代码如下： SparkConfsparkConf=newSparkConf().setAppName("log-etl").setMaster("local[4]"); JavaStreamingContextjssc=newJavaS...

2017-08-03

499

这篇文章调查分析了多个分布式机器学习平台所使用的设计方法，并提出了未来的研究方向。这是我与我的学生Kuo Zhang、Salem Alqahtani通力合作的成果。我们在2016年的秋天写了这篇论文，并且将在ICCCN'17（International Conference on Computer Communications and Networks，计算机通信与网络国际会议）上介绍这篇文章。机器学习，特别是深度学习（DL），最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存在着非常有前景的应用。当然，资金驱动着这些技术以极快的速度向前发展，而且，最近我们已经看到了有很多机器学习平台正在建立起来。由于在训练过程中要涉及到庞大的数据集和模型的大小，因此机器学习平台通常是分布式平台，而且并行运行了10到100个作业来训练模型。据估计，在不久的将来，数据中心的绝大多数任务将是机器学习任务。我的知识背景是分布式系统，因此，我们决定从分布式系统的角度来研究这些机器学习平台，分析这些平台的通信和控...

2017-08-04

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。