在数据科学环境中使用 Docker 容器
出品丨Docker公司(ID:docker-cn)
编译丨小东
每周一、三、五晚6点10分 与您不见不散!
容器是传统虚拟机的轻量级版本。它们不会占用您服务器上的大量空间,易于创建和消除,而且启动速度很快。它们还可以轻松地创建可重复使用的数据科学环境。
对于数据科学家来说,可以直接运行一个已经配备了执行特定分析所需的各种库和工具的容器,而无需花费几个小时在不同的环境中调试数据包或配置自定义的环境。这就是为什么 DataScience.com 使用 Docker 容器来处理该平台上的各种应用程序,例如用户可以启动独立的 Jupyter 和 RStudio 会话,其中已经配备了他们选择的库和工具。
什么是容器?
在 Docker 网站上,将容器定义为“一种标准化的软件单元”。那到底是什么意思呢?
容器就像它的名称一样:它包含一些内容。在这里,软件容器包含运行软件应用程序所需的代码、框架和库。因为它只包含这些东西,所以就变得非常小;这意味着可以在一个操作系统上放置多个容器。这也意味着当您运行该软件的时候,会胸有成竹,因为您需要的一切都已经在那个容器里了。(顺便提一下,Docker 不是唯一的容器技术提供商。您可能还会搜索到 Kubernetes、Cloud Foundry 和其他技术方案。)
不过,真正重要的是容器所带来的标准化和效率。您的团队不再需要为每个分析建立一个新的环境,而是将某些类型的分析所需的工具和数据包 (例如 scikit-learn、TensorFlow、Jupyter 等) 放入容器中,创建该容器的镜像,并让每位用户从该镜像中启动一个独立的、标准化的环境。
等一下,什么是镜像?
镜像实质上是在特定时间点运行的容器的快照,它可以作为其他容器的模板。所有正在运行的容器都来自一个镜像,您可以对任何正在运行的容器进行快照以创建新镜像。您也可以从该镜像中根据需要启动多个容器。明白了吧?
像 Docker Hub 这样的存储库包含数十万个镜像,可以免费下载。这当中肯定有一个镜像,其中包含你执行特定分析所需的工具。
如果您在 DataScience.com 平台上工作,那么要找到含有所需工具的镜像非常简单,只需在启动环境时从下拉菜单中选择合适的镜像即可。我们已经为深度学习、自然语言处理和其他数据科学技术创建了许多预先配置好的镜像,可用于我们平台上的 RStudio 和 Jupyter 会话。
为什么要将数据科学环境配置在容器中?
其中一个考虑因素就是速度。我们希望使用我们平台的数据科学家可以在几分钟内就启动一个 Jupyter 或 RStudio 会话,而不是几个小时。我们还希望他们拥有快速的用户体验,同时仍然在一个受监管的中心式架构(而不是在他们的本地机器上)中工作。每家公司的环境搭建和运行的过程各不相同,但在某些情况下,数据科学家必须向 IT 部门提交正式申请,并等待数天或数周,这取决于他们手头积压的工作。这给两个团队都带来了工作压力。
容器化对于数据科学和 IT 技术运维团队而言都有利。例如,在 DataScience.com 平台上,我们允许 IT 在管理仪表板中配置具有不同语言、库和设置的环境,并使这些镜像出现在数据科学家启动会话时的下拉菜单中。这些环境可以用于任何运行、会话、计划作业或 API。(或者您不必配置任何内容。我们提供了大量的标准环境模板供您选择。)
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Jenkins部署net core小记
作为一个不熟悉linux命令的neter,在centos下玩Jenkins真的是一种折磨啊,但是痛并快乐着,最后还是把demo部署成功!写这篇文章是为了记录一下这次部署的流程,和心得体会。 网上很多资料都不适合自己,netcore的博文少之又少,很多都是Jenkins部署java,说起这个就是痛啊,由于网上资料松散,准备买书看的,但是讲Jenkins的,实战都是java项目,我泱泱netcore感觉真的尚未成长起来哇。 但是终究被我找到一个适合的文章入门,这篇:https://www.cnblogs.com/chuancheng/p/8933057.html 参照这篇往下进行配置,按照文章中的描述,基本无大问题,作者很良心了,一些坑都有提到,我这里只补充一个,就是dockerfile里面的代码, 里面的Jessie源,用的是腾讯云的,说如果是阿里主机则要改成阿里云的源,啊,天哪,我真不知道这个源要怎么改,(*/ω\*) 对于这种首次玩的东西,不一字一句写出来我就真的可能卡在这里。然后网上搜了一下阿里云的Jessie源。。。看得模模糊糊,嗯,是不是链接中间的域名换一下就OK? 于是乎,这...
- 下一篇
使用Docker快速部署ELK分析Nginx日志实践(二)
Kibana汉化使用中文界面实践 一、背景 笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析Nginx日志,但是这只是第一步,后面还有很多仪表盘需要配置,而对于大部分人来说,英文并不是那么好,但Kibana都是英文界面,这就阻碍了笔者熟悉Kibana的一些操作; 所以笔者思考能不能将其汉化,在搜索引擎中找到了一些文章,发现汉化相对来说成本还算比较低,因此进行了一番实践,整个操作流程即便是将前人的汉化包拿过来使用,但使用的过程汉化包的作者并没有过多的讲解,本文主要是讲解如何使用汉化包以及操作过程的记录。 笔者上一篇文章使用Docker快速部署ELK分析Nginx日志实践URL地址:https://segmentfault.com/a/1190000016144694 二、操作概述 汉化包下载 运行环境安装 汉化效果演示 三、汉化包下载 笔者所使用的汉化包项目名称为Kibana_Hanization,在Github上进行了开源,URL地址如下 https://github.com/anbai-inc/Kibana_Hanization 在...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7,8上快速安装Gitea,搭建Git服务器
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker安装Oracle12C,快速搭建Oracle学习环境