docker private registry using rados beckend
前提: docker 下载镜像需要连接到 docker.io, 网络原因, 可能被其他国家限制, 也可能由于网速慢, 会导致异常 因此, 常常需要创建一个私有的 docker private registry 用于保存私有镜像或官方镜像, 提供更加方便快捷的下载方法, 省时省力. A. 主机说明 主机 ip地址 作用 sh-storage-128204.sh.vclound.com 10.198.128.204 docker registry sh-storage-128200.sh.vclound.com 10.198.128.200 ceph sh-storage-128201.sh.vclound.com 10.198.128.201 ceph sh-storage-128202.sh.vclound.com 10.198.128.202 ceph sh-storage-128203.sh.vclound.com 10.198.128.203 ceph B. ceph 重要配置 (ceph 创建过程[略] 请参考之前的 ceph 文档) 1. 创建 dellpools ceph osd create pool dellpools 1600 1600 2. ceph 用户授权 第一次授权 ceph auth get-or-create client.docker mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=dockerpools' 假如用户已经存在修改授权方法 ceph auth caps client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=dockerpools, allow rwx pool=cephpools' 3. 导出 keyring ceph auth export client.docker > /etc/ceph/ceph.client.docker.keyring C. docker 配置 载入官方 registry 镜像 docker 后端 registry 官方镜像支持多种后端存储, 其中 v1 版本支持 swift, s3, ceph-s3 (radosgw) 等等, 不进行每个详细列举 当前使用的是 v2 版本, 其中对应 ceph 存储的 ceph-s3 接口应该已经不再支持, 如果希望使用 radosgw 方法需要指定 s3 驱动, 另外增加了 volumes (cephfs), rados 模块的支持, 该文档不进行 s3, volumes 测试 镜像 可以利用官方直接下载最新版本的镜像 docker pull registry 载入私有镜像 创建私有镜像的方法参考另外一个文档, 下面 rhel7_7.1.1503.tar, 是我自己创建的私有镜像 常见私有镜像载入前都是 tar 结构 载入私有镜像方法如下 [root@sh-storage-128204 export]# docker load --input rhel7_7.1.1503.tar 查询载入后的镜像 [root@sh-storage-128204 export]# docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE test 7.1.1503 fab4b1df8eb1 2 days ago 227.6 MB 重命名私有镜像 在上传镜像前, 需要对私有镜像进行 tag 标签 [root@sh-storage-128204 docker]# docker tag fab4b1df8eb1 10.198.128.204:5000/centos:7.1.1503 [root@sh-storage-128204 ~]# docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE test 7.1.1503 fab4b1df8eb1 2 days ago 227.6 MB registry 2 b2c682ed7e4c 4 weeks ago 224.5 MB 10.198.128.204:5000/centos 7.1.1503 fab4b1df8eb1 2 days ago 227.6 MB rados 配置文件 创建 rados.yml 配置 version: 0.1 log: level: debug formatter: text fields: service: registry loglevel: debug storage: rados: poolname: dockerpools username: docker http: addr: :5000 headers: X-Content-Type-Options: [nosniff] 创建 ssl key 在镜像上传时候, 需要调用 ssl key , 否则会遇到 https 连接错误 openssl genrsa -out ca.key 2048 openssl req -new -key ca.key -out docker.csr openssl x509 -req -days 365 -in docker.csr -signkey ca.key -out docker.crt D. docker 启动 docker -D run -d -p 5000:5000 -e CEPH_CONF=/etc/ceph/ceph.conf -v /var/lib/ceph:/var/lib/ceph -v /etc/ceph:/etc/ceph -v /root/docker/rados.yml:/etc/docker/registry/config.yml -v /etc/docker/certs.d:/certs -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/docker.crt -e REGISTRY_HTTP_TLS_KEY=/certs/ca.key -d registry:2 常见大坑说明 1 registry 镜像无法读取 ceph.conf 配置, 因此需要带参数 -v /etc/ceph:/etc/ceph 2. registry 镜像无法获得 ceph health 状态, 因此需要带参数 -v /var/lib/ceph:/var/lib/ceph 3. 常见 https 连接错误, 由 docker.crt, ca.key 解决 4. 常见 registry 无法连接到 pools, 要么没有授权, 要么无法读取 docker 用户 keyring
