安装NVIDIA docker plugin-低调大师

安装NVIDIA docker plugin

2019-01-28 643

GPU云主机集成CUDA & NVIDIA DOCKER镜像方案

一、预安装前置条件
1、系统和内核版本支持
2、 CUDA的GPU支持
二、NVIDIA驱动环境安装

1、安装CUDA Toolkit
2、设置cuda环境变量
3、安装 docker-18.06.1
4、安装NVIDIA docker plugin
三、驱动环境检视
1、 cuda驱动环境检视
2、 cuda设备用例查询
3、docker插件安装环境检视
4、NVIDIA docker plugin用例测试
四、NGC测试
1、运行tensorflow容器
2、用例功能测试
五、GPU云主机产品新增CUDA和NVIDIA-DOCKER自定义镜像功能
1、产品交互形态
2、CUDA自定义镜像制作方案
3、NVIDIA DOCKER自定义镜像制作方案

一、预安装前置条件
1、系统和内核版本支持

cat /etc/*release

uname -a

2、CUDA的GPU支持

lspci | grep -i nvidia

二、环境集成安装
1、安装CUDA Toolkit
rpm -i cuda-repo-rhel7-9-1-local-9.1.85-1.x86_64.rpm
yum clean all
yum install cuda

2、设置cuda环境变量
export PATH=$PATH:/usr/local/cuda-9.1/bin
export LD_LIBRARY_PATH=/usr/local/cuda-9.1/lib64

3、安装 docker-18.06.1
①安装
yum install -y docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm
yum install -y docker-ce-18.06.1.ce-3.el7.x86_64.rpm

②、docker 配置文件修改

③、启动docker
system restart docker

4、安装NVIDIA docker-plugin
rpm -i libseccomp-2.3.1-3.el7.x86_64.rpm
rpm -i libnvidia-container1-1.0.0-0.1.rc.2.x86_64.rpm
rpm -i libnvidia-container-tools-1.0.0-0.1.rc.2.x86_64.rpm
rpm -i nvidia-container-runtime-hook-1.4.0-2.x86_64.rpm
rpm -i nvidia-container-runtime-2.0.0-1.docker18.06.1.x86_64.rpm
rpm -i nvidia-docker2-2.0.3-1.docker18.06.1.ce.noarch.rpm

三、驱动环境检视
1、 cuda驱动验证
nvidia-smi
nvcc --version

2、 cuda设备用例查询
cd /usr/local/cuda-9.1/samples/1_Utilities/deviceQuery
make
./deviceQuery

3、 nvidia docker plugin安装验证
nvidia-docker version

4、 docker用例测试
docker run hello-world

四、NGC测试
1、运行tensorflow容器：
docker run --runtime=nvidia -it --rm -v /tmp/gpu-cuda-install/benchmarks-cnn_tf_v1.8_compatible:/workspace nvcr.io/nvidia/tensorflow:18.02-py2 bash

2、用例功能测试：
cd /opt/tensorflow/nvidia-examples/cnn && python nvcnn.py --model=resnet50 --batch_size=64 --num_gpus=1 --fp16

五、GPU云主机产品新增CUDA和NVIDIA-DOCKER镜像功能
1、产品交互形态
操作系统Centos7.2-64选项子选项框新增cuda镜像和nvidia-docker镜像

2、 CUDA自定义镜像制作方案

3、NVIDIA DOCKER自定义镜像制作方案

END

微信关注我们

原文链接：https://yq.aliyun.com/articles/689267

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

构建Tensorflow RDMA的Docker镜像

RDMA是一个远程通讯技术，它通过Kernel bypass等方式降低数据传输中的延迟和CPU消耗。在分布式训练中，由于多个Worker之间或者Worker和Paramater Server 之间需要大量传输模型变量。当GPU到达一定数量后，受制于网络带宽以及TCP协议的延迟，通讯往往会成为计算性能的瓶颈，而在分布式训练中使用RDMA技术能够非常明显地提高训练速度。 Tensorflow Tensorflow是谷歌开源的深度学习框架，它有丰富的平台支持和API，也可以非常轻松地构建分布式模型训练。 Tensorflow 在实现里支持RDMA作为其分布式场景的通讯协议，但是官方镜像默认没有支持RDMA。需要重新构建tensorflow，并开启RDMA相关的构建参数。 Tensorflow 对 RDMA的支持和实现协议参见文档： htt

2019-01-29

809

前言只有光头才能变强。文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y 回顾前面：为什么需要Docker？ Docker入门为什么可以这么简单？前面两篇已经讲解了为什么需要Docker这项技术，以及解释了Docker的基本概念/术语，使用Docker成功运行Tomcat~ 在上篇也同样留下一个问题：我们知道Tomcat运行起来需要Java的支持，那么我们在DockerHub拉取下来的Tomcat镜像是不是也有Java环境呢？所以，这篇主要来讲讲Docker镜像相关的知识点！一、简单了解Dockerfile Dockerfile是用来构建Docker镜像的文件，是由一系列命令和参数构成的脚本。简单来说：Dockerfile是镜像的源码。上一篇我们pull了一份Tomca

2019-01-29

531

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。