【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季-低调大师

【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季

2018-07-19 609

2018年5月-6月 MaxCompute 开启大数据计算技术共享计划技术公开课第一季，有超过1500名用户以及大数据爱好者参与到直播学习中来。7月，我们又开启第二季直播，5次大数据技术直播，有近6000名用户、大数据专家、技术牛人、大数据爱好者参与其中。

在前两季的直播中，我们看到了开发者们对大数据的热情和需求，第三季正在火热策划和准备中，请大家摆好姿势，保持期待！

究竟第二季技术共享中有哪些产品和技术干货？
错过了第二季直播分享，哪里可以看回放？下资料？

来这里，全都有。（往下看吧）

第二季技术干货

1、MaxCompute客户端 - odpscmd操作使用—7月24日曲宁阿里巴巴计算平台产品专家
摘要：介绍如何借助客户端命令行工具使用 MaxCompute 服务的基础功能。

2、MaxComput

微信关注我们

原文链接：https://yq.aliyun.com/articles/616516

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

windows 本地测试spark streaming + kafka direct api

windows 本地测试spark streaming + kafka direct api 卡在如下信息出： “Kafka scala consumer marked as dead for group” 1.环境： kafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，就是卡在上面的信息出，没有输出。 2.之前已经在集群上使用shell 测试过相应的topic，kafka 和 topic没有问题。 3.所以问题可能出在windows上，最可能就是hosts中的kafka服务器域名配置问题。验证后，果然是。 **解决方法：修改本地windows上hosts文件，添加对应的主机映射关系即可，保证两者网络通信畅通。** 问题原因： kafka 某个topic 下的某一个机器网络是不通的，导致去获取该机器上的消费组时无法获取到，就标记该组在机器上为死亡状态。

2018-07-20

569

1、Spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式...

2018-07-20

649

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。