2019年Apache Spark技术交流社区原创文章回顾-低调大师

2019年Apache Spark技术交流社区原创文章回顾

2020-01-08 630

整理了这一年分享过的来自诸多专家的实践经验，希望2020年我们仍然能够互相支持，壮大Spark社区。

福利：转发本文到朋友圈，集赞30个截图发送至小编（小编微信见文末），送Spark社区定制毛线帽一顶，限量10顶先到先得。

感谢持续分享输出优质内容的阿里云EMR团队的王道远，余根茂，彭搏，郑锴，夏立，林武康，李呈祥，吴威，殳鑫鑫，宋军，关文选，孙大鹏，辛现银，江宇，陈强，陈龙，陶克路，姚舜扬，周克勇，苏昆辉；阿里云Tablestore存储服务技术专家朱晓然，王卓然；Databricks研发总监李潇；资深数据架构师祝威廉；entobit技术总监邓力；某游戏公司数据平台负责人李伟；eBay软件开发工程师李万雪；同盾科技工程师梁世威；感谢圈内的技术大佬浪尖，过往记忆，AI前线，vivo技术，滴滴技术提供的帮助。（排名不分先后）

浅谈 Spar

微信关注我们

原文链接：https://yq.aliyun.com/articles/742171

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据上云第一课：（1）MaxCompute授权和外表操作躲坑指南

一、子账号创建、AK信息绑定如果您是第一次使用子账号登录数加平台和使用DataWorks，需要确认以下信息：• 该子账号所属主账号的企业别名。• 该子账号的用户名和密码。• 该子账号的AccessKey ID和AccessKey Secret。• 确认主账号已经允许子账号启用控制台登录。• 确认主账号已经允许子账号自主管理AccessKey。1、子账号创建（1）创建子账号（2）绑定AK信息（3）DataWorks给定角色（1）使用阿里云账号（主账号）登录RAM控制台。（2）在左侧导航栏的人员管理菜单下，单击用户。（3）单击新建用户。（4）输入登录名称和显示名称。（5）在访问方式区域下，选择控制台密码登录。（6）单击确认。说明：（1）单击添加用户，可一次性创建多个RAM用户。（2）RAM用户创建完成后，务必保存用户名和登录密码，

2020-01-09

573

点击订阅云栖夜读日刊，专业的技术干货，不容错过！阿里专家原创好文 1.秒级启动万个容器，探秘阿里云容器镜像加速黑科技阿里云容器与存储团队展开合作，利用DADI加速器支持镜像按需读取和P2P分发，实现3.01秒启动10000个容器，完美杜绝容器冷启动的数分钟漫长等待，以及镜像仓库大规模并行分发场景下的网络拥堵。年关将至，各种年货节、秒杀商品、倒计时直播即将纷至沓来。这些业务的共同点都是流量瞬间暴增，必须在立刻筹备大量的服务器，并在极短时间内扩容容器承接线上流量，避免系统崩溃。阅读更多》》 2.从零开始入门 K8s | 调度器的调度流程和算法介绍 Kubernetes 作为当下最流行的容器自动化运维平台，以声明式实现了灵活的容器编排，本文以 v1.16 版本为基础详细介绍了 K8s 的基本调度框架、流程，以及主要的过滤器、Score 算法实现等，并介绍了两种方式用于实现自定义调度能力。阅读更多》》 3.自建Hive数据仓库跨版本迁移到阿里云E-MapReduce 客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在...

2020-01-09

678

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。