首页 文章 精选 留言 我的

精选列表

搜索[参考文献管理],共10000篇文章
优秀的个人博客,低调大师

Docker 容器的数据管理

文章首发于公众号《程序员果果》地址:https://mp.weixin.qq.com/s/qg8eXHobNxzfPAaHB3U9cw 一、容器的数据卷 1. 什么是数据卷? docker的理念之一就是将应用和运行的环境打包,因此docker容器的生存周期通常都是与在容器中运行的程序相同的,而我们对数据的要求是持久化,docker容器之间也需要一个共享数据的渠道。这些需求就催生了docker数据卷的诞生。 docker数据卷是经过特殊设计的目录,可以绕过联合文件系统(UFS),为一个或多个容器提供访问。 数据卷设计的目的,在于数据的永久化,它完全独立于容器的生命周期。因此,docker不会在容器删除时删除其挂在的数据卷,也不会存在类似的垃圾收集机制,对容器引用的数据进行处理 2. 数据卷的特点 docker数据卷独立于docker存在,与docker容器的生存周期分离。 存在于宿主机(docker host)中。 docker数据卷,可以是目录,也可以是文件。 docker容器可以利用数据卷技术与宿主机进行数据共享。 3. 数据卷的特点 数据卷在容器启动时初始化,如果容器使用的镜像在挂载点包含了数据,这些数据会拷贝到新初始化的数据卷中。 数据卷可以在容器之间共享和重用。 可以对数据卷里的内容直接进行修。 数据卷的变化不会影响镜像的更新。 即使挂载数据卷的容器已经被删除,卷也会一直存在。 4. 数据卷的使用方法 #为容器添加数据卷使用-v选项 docker run -v ~/container_data:/data -it IMAGE /bin/bash 容器中 root@311b7376b879:/# ls bin boot data dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@311b7376b879:/# cd data/ root@311b7376b879:/data# echo "hi , what's up man ?" > hi.txt 宿主机 huanchu-mbp:~ huanchu$ docker run -it -d -v ~/Documents/ttt:/data --name test1 nginx /bin/bash huanchu-mbp:~ huanchu$ cat Documents/ttt/hi.txt hi , what's up man ? 5. 数据卷添加访问权限 挂载的数据默认为可读写权限。但也可以根据自己的需求,将容器里挂载共享的数据设置为只读,这样数据修改就只能在宿主机上操作,用法如下: #ro:指定为只读。 docker run -it -v ~/datavolume:/data:ro ubuntu /bin/bash 6. 使用Dockerfile创建包含数据卷的镜像 Dockerfile指令: ​ VOLUME [ "/data"] 在Dockerfile中 VOLUME 指令创建的挂载点,无法指定主机上对应的目录,是自动生成的 Dockerfile # Version: 0.0.1 FROM ubuntu:latest VOLUME ["/data/volume1","/data/volume2"] RUN apt-get update RUN apt-get install -y nginx RUN echo 'Hi, I am in your container' > /usr/share/nginx/html/index.html EXPOSE 80 构建镜像 docker build -t="mynginx2" . 启动容器 docker run -it --name mynginx_test mynginx2 查看数据卷 root@e22ae166d8fa:/# ls bin boot data dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@e22ae166d8fa:/# cd data/ root@e22ae166d8fa:/data# ls volume1 volume2 root@e22ae166d8fa:/data# 查看主机挂载点 我们通过docker inspect 查看通过该dockerfile创建的镜像生成的容器,可以看到如下信息: 可以看到两个挂载点的信息。 "Mounts": [ { "Type": "volume", "Name": "596925f444bbcb7d3b75c3b844700ce8f43bd5fc8b18bb97f323e2825a1df13e", "Source": "/var/lib/docker/volumes/596925f444bbcb7d3b75c3b844700ce8f43bd5fc8b18bb97f323e2825a1df13e/_data", "Destination": "/data/volume1", "Driver": "local", "Mode": "", "RW": true, "Propagation": "" }, { "Type": "volume", "Name": "0a28aed7c33a588dd74ce008d78670a5ff01dbea17e659597ebd5506bf8824cb", "Source": "/var/lib/docker/volumes/0a28aed7c33a588dd74ce008d78670a5ff01dbea17e659597ebd5506bf8824cb/_data", "Destination": "/data/volume2", "Driver": "local", "Mode": "", "RW": true, "Propagation": "" } 二、数据卷容器 1. 什么是数据卷容器? 命名的容器挂载数据卷,其他容器通过挂载这个容器实现数据共享,挂载数据卷的容器,就叫做数据卷容器。 2. 构建一个数据卷容器 huanchu-mbp:Documents huanchu$ docker run -it -v ~/Documents/ttt:/data --name container_data ubuntu root@832301c940b6:/# ls bin boot data dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@832301c940b6:/# cd data/ root@832301c940b6:/data# ls Dockerfile com hi.txt root@832301c940b6:/data# echo Dockerfile com/ hi.txt root@832301c940b6:/data# echo Dockerfile com/ hi.txt root@832301c940b6:/data# echo "ha ha ha !" > ha.txt root@832301c940b6:/data# ls Dockerfile com ha.txt hi.txt 3. 挂载数据卷容器的方法 docker run --volumes-from [container name] 创建一个新的容器,并挂载刚才创建的数据卷容器 container_data huanchu-mbp:Documents huanchu$ docker run -it --name ubuntu_test --volumes-from container_data ubuntu /bin/bash root@1d6b918c00e5:/# ls bin boot data dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@1d6b918c00e5:/# cd data/ root@1d6b918c00e5:/data# ls Dockerfile com ha.txt hi.txt root@1d6b918c00e5:/data# cat ha.txt ha ha ha ! root@1d6b918c00e5:/data# 使用inspect命令查看挂载细节 "Mounts": [ { "Type": "bind", "Source": "/Users/huanchu/Documents/ttt", "Destination": "/data", "Mode": "", "RW": true, "Propagation": "rprivate" } ] 三、数据卷的备份和还原 数据卷数据备份 方法 docker run --volumes-from [container name] -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar 例如 docker run --volumes-from container_data -v ~/Documents/ttt:/backup --name ubuntu_test1 ubuntu tar cvf /backup/ubuntu_test1.tar /data 在宿主机上可以查看到备份的数据 huanchu-mbp:ttt huanchu$ ls -l total 1272 -rw-r--r-- 1 huanchu staff 191 12 24 15:48 Dockerfile drwxr-xr-x 3 huanchu staff 96 12 12 14:45 com -rw-r--r-- 1 huanchu staff 11 12 24 17:04 ha.txt -rw-r--r-- 1 huanchu staff 21 12 24 14:26 hi.txt -rw-r--r-- 1 huanchu staff 593920 12 24 18:09 ubuntu_test1.tar 数据卷数据还原 方法 docker run --volumes-from [container name] -v $(pwd):/backup ubuntu tar xvf /backup/backup.tar 例如 #第一步 docker run -v ~/Documents/ttt:/data --name ubuntu_test2 ubuntu tar xvf /data/ubuntu_test1.tar #第二步 docker run -it --volumes-from ubuntu_test2 --name ubuntu_test3 ubuntu /bin/bash

优秀的个人博客,低调大师

Spark中的内存管理(一)

一个Spark应用运行的过程如下所示: Driver用户的主程序提交到Driver中执行,在Driver中创建SparkContext,SparkContext初始化DAGScheduler和TaskScheduler,作为coordinator负责从AppMaster申请资源,并将作业的Task调度到Executor上面执行。 在yarn-cluster模式下,AppMaster中包含了Driver,在YARN中启动,spark-submit客户端kill掉不影响程序的运行;在yarn-client模式下,Driver在spark-submit的客户端启动(不在YARN中),跟AppMaster是分离的,spark-submit客户端kill掉会导致Spark程序挂掉(如spark-sql/spark-shell等都是以yarn-c

优秀的个人博客,低调大师

Istio Egress Gateway出口流量管理

缺省状态下,Istio服务网格内的Pod,由于其iptables将所有外发流量都透明的转发给了sidecar,所以这些集群内的服务无法访问集群之外的 URL,而只能处理集群内部的目标。 控制出口流量描述了如何通过ServiceEntry将外部服务暴露给集群内的客户端 本文则通过一个官方的用例解释如何通过Egress Gateway配置Istio的出口流量,这个例子主要适用于两种场景: 离​​开服务网格的所有流量必须流经一组专用节点,这一组节点会有特殊的监控和审查 集群中不是所有节点都有public IP,定义egress网关,通过它引导所有出口流量并将public IP分配给egress网关节点,允许应用节点以受控方式访问外部服务 环境准备 创建Kubernetes集群 阿里云容器服务Kubernetes 1.11.2目前已经上线,可以通过容器

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册