坐实大数据资源调度框架之王,Yarn为何这么牛
摘要:Yarn的出现伴随着Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为大数据的代名词。 本文分享自华为云社区《Yarn为何能坐实资源调度框架之王?》,作者: JavaEdge。 Hadoop主要组成: 分布式文件系统HDFS 分布式计算框架MapReduce 分布式集群资源调度框架Yarn Yarn的出现伴随着Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为一个集存储、计算、资源管理为一体的完整大数据平台,进而发展出自己的生态体系,成为大数据的代名词。 在MapReduce应用程序的启动过程中,最重要的就是把MapReduce程序分发到大数据集群的服务器,Hadoop 1中,这个过程主要是通过TaskTracker和JobTracker通信完成。 方案的缺点 服务器集群资源调度管理和MapReduce执行过程耦合在一起,如果想在当前集群中运行其他计算任务,比如Spark或者Storm,就无法统一使用集群中的资源。 Hadoop早期,大数据技术就只有Hadoop,这缺点不明显。但随大数据发展,各种新计算框架出现,我们不可能为每种计算框架部署一个服务...















