【DevOps】第一步: 编写Dockerfile与项目实践
一、Dockerfile简介 Dockerfile 是一个文本文件，其内包含了一条条的 指令(Instruction)，每一条指令构建一层，因此每一条指令的内容，就是描述该层应当如何构建。 Dockerfile分为四部分： FROM：基础镜像信息 MAINTAINER：维护者信息 RUN、COPY、ADD、EXPOSE等：镜像操作指令 CMD、ENTRYPOINT：容器启动时执行指令。 例如： FROM python:3.6 MAINTAINER cbbing <cbbing@163.com> COPY pip.conf requirements.txt /root/.pip/ #设置时区 ENV TZ=Asia/Shanghai ENV PYTHONPATH=/usr/src/app RUN mkdir -p /usr/src/app \ && pip install -r /root/.pip/requirements.txt \ && apt-get update \ && apt-get install -y supervisor \ && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \ && echo $TZ > /etc/timezone WORKDIR /usr/src/app CMD ["python"] Dockerfile指令 指令的一般格式为 INSTRUCTION arguments，指令包括 FROM、MAINTAINER、RUN 等。 1. FROM 格式为 FROM 或FROM :。第一条指令必须为 FROM 指令。并且，如果在同一个Dockerfile中创建多个镜像时，可以使用多个 FROM 指令（每个镜像一次）。 2. MAINTAINER 格式为 MAINTAINER ，指定维护者信息。 3. RUN 格式为 RUN 或 RUN ["executable", "param1", "param2"]。前者将在 shell 终端中运行命令，即 /bin/sh -c；后者则使用 exec 执行。指定使用其它终端可以通过第二种方式实现，例如 RUN ["/bin/bash", "-c", "echo hello"]。每条 RUN 指令将在当前镜像基础上执行指定命令，并提交为新的镜像。当命令较长时可以使用 来换行。 4. CMD 支持三种格式CMD ["executable","param1","param2"] 使用 exec 执行，推荐方式；CMD command param1 param2 在 /bin/sh 中执行，提供给需要交互的应用；CMD ["param1","param2"] 提供给 ENTRYPOINT 的默认参数；指定启动容器时执行的命令，每个 Dockerfile 只能有一条 CMD 命令。如果指定了多条命令，只有最后一条会被执行。如果用户启动容器时候指定了运行的命令，则会覆盖掉 CMD 指定的命令。 5. EXPOSE 格式为 EXPOSE [...]。告诉 Docker 服务端容器暴露的端口号，供互联系统使用。在启动容器时需要通过 -P，Docker 主机会自动分配一个端口转发到指定的端口。 6. ENV 格式为 ENV 。 指定一个环境变量，会被后续 RUN 指令使用，并在容器运行时保持。例如 ENV PG_MAJOR 9.3 ENV PG_VERSION 9.3.4 ENV TZ=Asia/Shanghai ENV PYTHONPATH=/usr/src/app 7. ADD 格式为 ADD 。该命令将复制指定的 到容器中的 。 其中 可以是Dockerfile所在目录的一个相对路径；也可以是一个 URL；还可以是一个 tar 文件（自动解压为目录）。 8. COPY 格式为 COPY 。复制本地主机的 （为 Dockerfile 所在目录的相对路径）到容器中的 。当使用本地目录为源目录时，推荐使用 COPY。 9. ENTRYPOINT 两种格式：ENTRYPOINT ["executable", "param1", "param2"]ENTRYPOINT command param1 param2（shell中执行）。配置容器启动后执行的命令，并且不可被 docker run 提供的参数覆盖。每个 Dockerfile 中只能有一个 ENTRYPOINT，当指定多个时，只有最后一个起效。 10. VOLUME 格式为 VOLUME ["/data"]。创建一个可以从本地主机或其他容器挂载的挂载点，一般用来存放数据库和需要保持的数据等。 11. USER 格式为 USER daemon。指定运行容器时的用户名或 UID，后续的 RUN 也会使用指定用户。当服务不需要管理员权限时，可以通过该命令指定运行用户。并且可以在之前创建所需要的用户，例如：RUN groupadd -r postgres && useradd -r -g postgres postgres。要临时获取管理员权限可以使用 gosu，而不推荐 sudo。 12. WORKDIR 格式为 WORKDIR /path/to/workdir。为后续的 RUN、CMD、ENTRYPOINT 指令配置工作目录。可以使用多个 WORKDIR 指令，后续命令如果参数是相对路径，则会基于之前命令指定的路径。例如 WORKDIR /a WORKDIR b WORKDIR c RUN pwd 则最终路径为 /a/b/c。 13. ONBUILD 格式为 ONBUILD [INSTRUCTION]。配置当所创建的镜像作为其它新创建镜像的基础镜像时，所执行的操作指令。ONBUILD指令,实际上就是相当于创建一个模板镜像，后续可以根据该模板镜像创建特定的子镜像例如，Dockerfile 使用如下的内容创建了镜像 image-A。 [...] ONBUILD ADD . /app/src ONBUILD RUN /usr/local/bin/python-build --dir /app/src [...] image-A的构建过程中不执行这两条命令，但在FROM image-A的子镜像中会执行这两条命令。 二、构建镜像 docker build -t mynginx:v2019 . 注意不要少了最后面的“.” 三、Dockerfile编写建议 通过 Docker 多阶段构建将多个层压缩为一个在构建 Docker 容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。 从 Docker 1.10 开始，COPY、ADD 和 RUN 语句会向镜像中添加新层。层会占用空间，你拥有的层越多，最终的镜像就越大。Git 存储库在这方面也是类似的，存储库的大小随着层数的增加而增加，因为 Git 必须保存提交之间的所有变更。 将不经常改动的命令，比如python的reqirements.txt 依赖包，单独拎出来放在项目代码的前面。因为依赖包不经常变动，每次生成镜像时，只需将后面的项目代码copy到镜像即可。 # 方案一： FROM python:3.6 RUN mkdir -p /usr/src/app WORKDIR /usr/src/app COPY . /usr/src/app RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000 # 方案二： FROM python:3.6 RUN mkdir -p /usr/src/app WORKDIR /usr/src/app COPY requirements.txt /usr/src/app/ RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ COPY . /usr/src/app CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000 方案二比方案一好，为什么？因为方案一中的requirements.txt实际项目中是很少变动，但是因为/usr/src/app的项目代码是经常变动，导致每次打包都得根据equirements.txt安装依赖包。而方案二先把requirements.txt 拷贝进来，如果requirements.txt 没改动，docker会用到之前缓存的，加快打包速度。实际运行几次打包过程，会发现速度的差异是比较明显的。 四、实践 公司现在的所有项目均以容器封装，几十个容器运行在十来台主机中，现在正在将服务器整合到kubernetes集群中，可以说一切皆容器，一切皆Docker。 1. Django项目的Dockerfile Django项目打包成Docker镜像是比较简单，主要是安装python依赖包，然后就是manage.py启动服务。Dockerfile 位于Django项目的根目录，目录结构如下： ├── requirements.txt ├── Dockerfile ├── api │ ├── __init__.py │ ├── urls.py │ ├── wsgi.py │ └── settings.py Dockerfile文件： FROM python:3.6 RUN mkdir -p /usr/src/app WORKDIR /usr/src/app COPY requirements.txt /usr/src/app/ RUN pip install -r /usr/src/app/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ COPY . /usr/src/app CMD python /usr/src/app/manage.py runserver 0.0.0.0:8000 2. SpringMVC项目的Dockerfile 项目运行在tomcat中。先生成war文件，转成tar.gz文件， 通过ADD命令解压到镜像中。接下来就是配置文件的替换，最后运行tomact服务。 # Version 0.1 # 基础镜像 FROM cbbing/tomcat RUN rm -rf $CATALINA_HOME/webapps/ROOT ADD ROOT.tar.gz $CATALINA_HOME/webapps/ # 配置文件替换 COPY conf/server.xml $CATALINA_HOME/conf/ COPY conf/tomcat-users.xml $CATALINA_HOME/conf/ COPY conf/jdbc.properties $CATALINA_HOME/webapps/ROOT/WEB-INF/classes/properties/ CMD ["catalina.sh", "run"] mvn.sh: 生成ROOT.tar.gz的脚本如下： cd ../myweb mvn clean mvn install -DskipTests cd .. mkdir ./ROOT cp ./myweb/target/myweb.war ./ROOT cd ROOT jar xvf myweb.war rm myweb.war cd .. tar czf ROOT.tar.gz ./ROOT rm -rf ROOT/ 3. Vue.js项目的Dockerfile 步骤如下： 下载package.json中定义的依赖 npm build生成编译后的文件到dist 基础镜像为nginx，从nginx代理静态文件 FROM nginx:1.15 MAINTAINER cbbing <cbbing@163.com> ENV LANG C.UTF-8 ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo Asia/Shanghai > /etc/timezone COPY nginx.conf /etc/nginx/conf.d/default.conf COPY dist /usr/share/nginx/html make.sh：制作脚本如下 #!/usr/bin/env bash echo "npm install" npm install -g cnpm --registry=https://registry.npm.taobao.org cnpm install echo "npm build" npm run build image_tag=`date +%Y%m%d` #_%H%M echo "当前时间：$image_tag" docker build -t cbbing/web_p:v${image_tag} . 4. Scrapy项目的Dockerfile scrapy项目和Django项目的差别在于启动的方式不同，这里涉及到一些配置文件。 FROM python:3.6 #设置时区 ENV TZ=Asia/Shanghai ENV PYTHONPATH=/usr/src/app RUN mkdir -p /usr/src/app \ && pip install -r /root/.pip/requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ \ && apt-get update \ && apt-get install -y supervisor \ && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime \ && echo $TZ > /etc/timezone WORKDIR /usr/src/app COPY . /usr/src/app COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf RUN mkdir -p /var/log/supervisor COPY scrapyd.conf /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf CMD ["/usr/bin/supervisord"] 其中用到的配置文件： supervisord.conf [inet_http_server] port=9020 username=admin password=1234 [supervisord] nodaemon=true logfile=/var/log/supervisor/supervisord.log; pidfile=/var/log/supervisord.pid; childlogdir=/var/log/supervisor [program:scrapyd] command=scrapyd loglevel=info redirect_stderr=true stdout_events_enabled=true [program:scrapyd-deploy] command=bash supervisor-scrapyd-deploy.sh startsecs = 35 loglevel=info [program:simple_http] command=/bin/bash supervisor-http-egg.sh autorestart=true startsecs=10 loglevel=info [rpcinterface:supervisor] supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface scrapyd.conf [scrapyd] eggs_dir = eggs logs_dir = logs items_dir = jobs_to_keep = 20 dbs_dir = dbs max_proc = 0 max_proc_per_cpu = 4 finished_to_keep = 100 poll_interval = 5.0 bind_address = 0.0.0.0 http_port = 6800 debug = off runner = scrapyd.runner application = scrapyd.app.application launcher = scrapyd.launcher.Launcher webroot = scrapyd.website.Root [services] schedule.json = scrapyd.webservice.Schedule cancel.json = scrapyd.webservice.Cancel addversion.json = scrapyd.webservice.AddVersion listprojects.json = scrapyd.webservice.ListProjects listversions.json = scrapyd.webservice.ListVersions listspiders.json = scrapyd.webservice.ListSpiders delproject.json = scrapyd.webservice.DeleteProject delversion.json = scrapyd.webservice.DeleteVersion listjobs.json = scrapyd.webservice.ListJobs daemonstatus.json = scrapyd.webservice.DaemonStatus 参考 Dockerfile介绍 三个技巧，将 Docker 镜像体积减小 90%
