在Docker中从头部署自己的Spark集群
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46353101 由于自己的电脑配置普普通通,在VM虚拟机中搭建的集群规模也就是6个节点左右,再多就会卡的不行 碰巧接触了Docker这种轻量级的容器虚拟化技术,理论上在普通PC机上搭建的集群规模可以达到很高(具体能有多少个也没有实际测试过) 于是就准备在Docker上搭建Spark集群 由于是Docker新手,在操作过程中遇到了不少麻烦 刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用 问题多多,下载速度慢,下载异常,运行异常,配置异常等等等等。。。 好不容易下载了一个可以用的镜像,但是是一个节点的伪分布式,jdk,hadoop,spark等等的版本也不是我想要的 所以就着手从头开始在Docker中部署Spark 下面进入正题 宿主机为Ubuntu系统(VM上的一个虚拟机),Docker的安装请看: Docker解析及轻量级PaaS平台演练(一) 安装好Docker之后,先拉取一个官方的基本镜像ubun...