【干货集锦】大数据计算技术共享计划 — MaxCompute技术公开课第三季-低调大师

【干货集锦】大数据计算技术共享计划 — MaxCompute技术公开课第三季

2018-09-27 690

2018年5月底，MaxCompute 开启大数据计算技术共享计划技术公开课，不知不觉已经走过了三季，有超过1.3万名用户以及大数据爱好者参与到直播学习中来。阿里巴巴十年磨一剑的大数据计算平台MaxCompute引领越来越多的企业和开发者们走近大数据。因为计算的价值远不止于计算本身，而是可以带给我们更多洞察和更强驱动。

来吧~一起看看第三季的技术干货有哪些？这里就是第三季全家桶，快往下看吧~

如果你期待有下一季直播，欢迎在本贴留言，我们希望给出的刚好是你想要~

第三季技术干货

1、MaxCompute2.0新功能介绍 — 9月4日秋鹏阿里巴巴计算平台高级技术专家
摘要：介绍MaxCompute全新的SQL 2.0引擎在编译器，优化器，运行时提供的新技术实现高性能与低成本，非结构化数据处理框架与生态连接能力等内容。

微信关注我们

原文链接：https://yq.aliyun.com/articles/646251

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

DataWorks如何将shell任务运行在自定义资源组上

在进行数据开发中，有很多时候需要使用shell 来调用其他语言。但是在DataWorks上，底层的机器运行任务时都会有沙箱限制，沙箱会限制网络访问和禁止本地IO读写等等，会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境（自己的机器上）呢。我们可以将任务的运行环境预先在某台机器上准备好，然后将任务指定在这台机器上运行。注：目前只有华东2支持将shell任务运行在自定义资源组上。新增自定义资源组，这部分可以直接查看DataWorks的官网文档新增资源组，本文不多做赘述。准备任务运行环境，用户自行准备。编写任务代码。将任务指定在新增的资源组上运行。

2018-09-27

659

前言这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。第一部分：Linux环境安装第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装 Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。第三部分：Hadoop伪分布式模式安装伪分布式的意思是虽然各个模块是在各个进程上分开运行的，但是只是运行在一个操作系统上的，并不是真正的分布式。第四部分：完全分布式安装完全分布式模式才是生产环境采用的模式，Hadoop运行在服务器集群上，生产环境一般都会做HA，以实现高可用。第一部分：Linux环境安装第一步、配置Vmware NAT网络这里选择NAT模式，各个虚拟机通过NAT使用宿主机的IP来访问外网。第二步、安装Linux操作系统操作系统的安装步骤请自行参考公众号前期文章，然后将各机器hos...

2018-09-27

529

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。