12月14日云栖精选夜读：活动推荐丨阿里云TechInsight论坛为什么这么火？-低调大师

1：工作流调度系统的作用：（1）：一个完整的数据分析系统通常都是由大量任务单元组成：比如，shell脚本程序，java程序，mapreduce程序、hive脚本等；（2）：各任务单元之间存在时间先后及前后依赖关系；（3）：为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；（4）：举例说明工作流调度系统的具体作用：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：a、通过Hadoop先将原始数据同步到HDFS上；b、借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；c、需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；d、将明细数据进行复杂的统计分析，得到结果报表信息；e、需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。（5）：工作流调度实现方式： a：简单的任务调度：直接使用linux的crontab来定义；b：复杂的任务调度：开发调度平台，或使用现成的开源调度系统，比如ooize、azkaban等（6）：常见工作流...

2017-12-14

649

摘要：12月20日的北京云栖大会上，由云栖社区主办的开发者技术进阶峰会再度开启（报名请戳这里，输入邀请码yqsqz3）。在此之前，我们整理了2017杭州云栖大会开发者技术进阶专场上的精彩分享内容，第一篇是阿里巴巴通用计算平台负责人关涛的分享：演讲内容讲述了他是如何带领团队迎接各种挑战，并从阿里大数据平台Maxcompute开始谈起，重点分享了登月项目带来的挑战以及尝试，最后作了简要总结。以下是精彩视频内容整理：阿里巴巴大数据平台的前世今生 MaxCompute是阿里巴巴和阿里云大数据的旗舰计算平台，该平台承接了阿里内部99%存储 + 95%计算，阿里内部所有数据最终都汇集到此平台上；对内用户数为1.4万人，每天作业数为300万+；该平台规模庞大，有超过6万台服务器在四个数据中心10+集群中，具备跨DC调度容灾能力；Maxcomput

2017-12-15

716

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。