Spark Packages寻宝（一）：简单易用的数据准备工具Optimus-低调大师

Spark Packages寻宝（一）：简单易用的数据准备工具Optimus

2020-06-11 547 89

作者：李呈祥，花名司麟，阿里云智能EMR团队高级技术专家，Apache Hive Committer， Apache Flink Committer，目前主要专注于EMR产品中开源计算引擎的优化工作。

Spark社区在Spark Packages网站中索引了许多第三方库，这些第三方库由不同的开发者贡献，作为Spark生态圈的一部分，扩充了Spark的使用范围和使用场景，其中很多对于我们日常的使用可能有帮助，我们准备开启一个系列文章介绍Spark Packages中一些有意思的第三方库，作为系列的第一篇，本文主要介绍Optimus，一个基于PySpark的简单易用的数据准备工具。

本文的部分内容源自Optimus官网和相关介绍文章，原文链接参考文末引用部分。

在Spark（Pyspark）的支持下，Optimus允许用户使用自己的或一组

微信关注我们

原文链接：https://yq.aliyun.com/articles/764923

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2020-06-12 00:00:00

拒做工具人！教你一键快速部署应用到容器镜像仓库

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！近年来，容器技术以迅雷不及掩耳之势迅速蔓延开来，容器技术基于各种场景的尝试与实践更是层出不穷，它的崛起改变了我们创建、发布与运行应用的方式，实现了资源的独立与隔离、相较于传统的虚拟化技术，它更加轻量化。随着以 Docker 为代表的容器技术在越来越多的业务场景中被应用，越来越多开发者开始习惯将应用打包成标准格式镜像并存放在镜像仓库中以便完成日常部署发布、团队协作等工作。但在真正的生产环境中，我们会产生大量镜像，不管是第三方还是自建，而这些镜像伴随而来的是部署、保存、分发使用等大量繁琐、重复的部署、管控工作。对于开发者而言，在本地 IDE、镜像仓库、容器等多个产品间来回切换，不仅耗费大量工时与精力，而且繁琐细碎的操作更容易造成一系列失误。说到底，哪个开发者想做一个天天机械性重复工作的工具人呢？谁不想做点有创造性的工作呢？面对这样的难题，Cloud Toolkit 给出了答案～在 IntelliJ IDEA 安装和配置 Cloud Toolkit 后，只需在配置界面设置部署参数即可...

487

2020-06-12 00:00:00

语音识别服务分离计算内核

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！背景最近研究的同事对识别内核做了一些优化，将原先集成在casrserver的内核计算逻辑单独抽离出来做成了服务并且测试后性能有提升，需要casrserver服务配合做一些改造，我之前也有过类似的想法，这次正好识别工程团队没有人力支持，加上我之前维护过casrserver, 于是就去协助casrserver改造了。在修改之前先介绍一下当前的架构当前架构如上图，当前casrserver中既处理了网络连接，又完成了识别的计算任务，图中是一次语音请求的核心交互逻辑, 一条客户端连接过来，网络进程里会对应三个协程: recv协程负责接收客户端发上来的数据 rpc协程负责将recv的数据发送给计算进程，然后接收计算进程返回的识别结果 send协程将识别结果再回给客户端为了做到异步三个协程之间用了两个队列进行通信, 关于这套架构更详细的介绍，见顺哥在2016年openresty大会做的 ppt分享。之前的架构介绍到这里，让我们再来看看新版修改后的架构。改动后的架构如图，原先在openres...

572

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。