首页 文章 精选 留言 我的

精选列表

搜索[轻量版],共10000篇文章
优秀的个人博客,低调大师

docker 摘要(入门版)

Docker 安装 macOS或者windows 下载boot2docker工具 CentOS yum install docker-io -y systemctl start docker docker摘要 docker虚拟化 只虚拟User space 一台机器可以运行20-50个container 启动速度快 对内核有要求(不能像VMware一样可以安装mac,windows和linux) 用于大数据,分布式和集群 container实现 cgroup(内核中对资源的限制机制,通过控制进程(一个container实例)来限制) namespace(每一个容器都是有一个自己网络进程的独立的虚拟环境,实现容器间的隔离 chroot(文件系统的隔离,有一个真实的物理文件系统(物理机上),其他的都是虚拟的文件系统(虚拟的文件系统在内存中)) 以上,cgroup,namespace,chroot都是在linux中,也就是直接调用linux,后来为了跨平台,将上面的封装成了libcontainer库,让docer依赖于它 pid,容器有自己独立的进程表和1号进程 net,容器有自己的network info ipc,container之间的通信 mnt,每个容器都有自己唯一的目录挂载,是真实的挂载目录的子目录 utc,有独立的hostname和domain 层次 server -> hostOS -> docker engine -> app1 使用aufs实现分层的文件系统管理 Image是一种文件系统,里面必须有操作系统或者软件,docker中的系统Image很小,因为只包含很好的最核心的部分,每一个那么多的外围 只读为Image,可写为container,image是java中的class,container是对象 Image类似一个单链表系统,每一个image包含一个指向parent image的指针 每一个parent image的image是base image 层次: debain image(base image) -> apache image -> container 一般base image是操作系统镜像 建议:一个container干一件事情 dockerfile(类似于makefile,是命令的集合) 描述一个Image的层次,就提描述了一个依赖次序,centos -> apache -> container 有了它可以完美的重现出开发环境,方便了测试人员 docker hub(镜像仓库,类似于github) C/S运行 client request -> server -> http server -> router -> job -> driver 使用 docker pull {image name} docker images --no-trunc docker run [OPTIONS] IMAGE[:TAG] [CMD][ARG...] -name -i: iteract -t: tag -d: detach docker ps 不加上-a选项显示的正在运行的容器 加上-a显示所有的容器,包括停止的 docker inspect [ID] docker logs docker build docker rm/kill/stop id, 关闭容器 批量操作: docker rm/kill/stop $(docker ps -a -q) docker run -t -i centos /bin/bash, -t表示是伪tty(就是给一个终端,如果每一个则容器一start就stop了),-i表示iteract(在有了终端这个前提之下,如果attach到容器中,可以执行交互式的命令,如果没有则什么都干不了),-d就是在后台运行,不会在执行了上面这个命令之后直接进入到容器中 进入到了交互之界面,使用exit退出,但是也会stop容器,如果要在一次进入到该容器,需要先start容器,则attach容器,因为-i会前台运行,使用-d则是相反的 docker cp id:path hostpath 自己的摘要 docker在某些方面和git是一样的,不如说对于image镜像都是通过版本控制的,我们从dockeruhb中pull下来镜像文件,如果我们将其启动为一个容器,如果我们在这个容器中进行了修改,docker会通过文件将其修改记录下来,我们可将当当前的容器commit成一个新的image,这就类似于git中的一个commit点 在确定一个容器的时候是使用container id 在确定一个image的时候,是通过name:tag,如果只有name则会选中所有的tag,tag表示一个版本 生成一个image(提交点)的方法有两种,docker commit 和 docker build,在docker build中就是在一个image中执行一个命令的集合在提交成一个新的image

优秀的个人博客,低调大师

大数据分析师与大数据工程师职位,孰轻孰重?(个人角度)

在互联网盛行的今天,能够预测未来需要依靠更多数据支持,从数据的趋势和分析中,就可以把未来的发展动向掌握得淋漓尽致。在大数据背景之下,精通大数据的专业人才将成为企业最重要的业务角色,大数据从业人员薪酬持续增长,人才缺口巨大。 最近在回答粉丝问题中,我发现一个问题:很多人对于大数据的职位体系不了解,一些对于想入门与大数据的人一直处于迷茫阶段,不知道自己该不该转行学习大数据,不知道自己是否要转大数据专业,这里就给大家分析一下( 个人观点) 数据分析师指的是不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。 互联网本身具有数字化和互动性的特征,这种属性特征给数据搜集、整理、研究带来了革命性的突破。以往“原子世界”中数据分析师要花较高的成本(资金、资源和时间)获取支撑研究、分析的数据,数据的丰富性、全面性、连续性和及时性都比互联网时代差很多。 与传统的数据分析师相比,互联网时代的数据分析师面临的不是数据匮乏,而是数据过剩。因此,互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是,互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。 就行业而言,数据分析师的价值与此类似。就新闻出版行业而言,无论在任何时代,媒体运营者能否准确、详细和及时地了解受众状况和变化趋势,都是媒体成败的关键。 此外,对于新闻出版等内容产业来说,更为关键的是,数据分析师可以发挥内容消费者数据分析的职能,这是支撑新闻出版机构改善客户服务的关键职能。 技能要求 1、懂业务。从事数据分析工作的前提就会需要懂业务,即熟悉行业知识、公司业务及流程,最好有自己独到的见解,若脱离行业认知和公司业务背景,分析的结果只会是脱了线的风筝,没有太大的使用价值。 2、懂管理。一方面是搭建数据分析框架的要求,比如确定分析思路就需要用到营销、管理等理论知识来指导,如果不熟悉管理理论,就很难搭建数据分析的框架,后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。 3、懂分析。指掌握数据分析基本原理与一些有效的数据分析方法,并能灵活运用到实践工作中,以便有效的开展数据分析。基本的分析方法有:对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有:相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。 4、懂工具。指掌握数据分析相关的常用工具。数据分析方法是理论,而数据分析工具就是实现数据分析方法理论的工具,面对越来越庞大的数据,我们不能依靠计算器进行分析,必须依靠强大的数据分析工具帮我们完成数据分析工作。 5、懂设计。懂设计是指运用图表有效表达数据分析师的分析观点,使分析结果一目了然。图表的设计是门大学问,如图形的选择、版式的设计、颜色的搭配等等,都需要掌握一定的设计原则。 再说一下大数据工程师 一、如何成为优秀的大数据工程师 1.从能力上来分析的,首先大数据工程师是需要有计算机编码能力的,因为面对海量的非结构化数据,你要从中挖掘出有价值的东西,需要设计算法与编写程序去实现,而程序员最牛的能力就是编写简洁高效的代码,去实现人们对未来天马行空的梦想,编码能力越强的程序员越有可能成为优秀的大数据工程师。 2.其次,大数据工程师需要统计学与应用数学相关的能力背景,数据挖掘与分析是需要设计数据模型和算法的,应该说程序员是有这个基础的,一般优秀的大数据工程师并不是科班出身,通常是数学专业,因此提高算法设计能力是程序员转型大数据工程师的关键因素。 3.大数据工程师需要具备行业的业务知识,大数据技术的最终目的是服务于社会和企业,并对市场和企业的发展起到重大推动作用,才是大数据的价值所在,因此大数据工程师不能脱离市场。 二、大数据工程师的薪资待遇 真正优秀的大数据工程师是需要不断的学习新知识和不断的自我积累经验。经验越多,薪资当然也就越高,大数据工程师的前景非常光明,在美国,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬比同级别的其他职位高出30%以上。大数据技术发展的太快,在国内发展势头很猛,以至于大数据人才没有跟上大数据发展的步伐,在未来若干年内都会呈供不应求的状态,据预测,未来3-5年内数据人才缺口将高达150万。 因此企业经常高薪聘请大数据技术人才,这这样供不应求的情况下,数据人才的身价水涨船高。数据人才可从事数据分析师、hadoop开发工程师、数据挖掘工程师、算法工程师和大数据开发工程师等工作。北京的大数据工程师薪资高吗?2017年6月,大数据工程师岗位在北京的平均工资从10630元/月至30230元/月不等,随着人才缺口的增加,未来大数据工程师的薪资待遇可能会变得更高。 因此,大数据行业以平均21.2k的月薪高居互联网行业榜首,远高于排名二三位的物联网和智能硬件行业。

优秀的个人博客,低调大师

【软妹带你学技术】十一份Docker福利包疯狂砸来,看官们还请轻戳呦

如果你是冲着软妹来的话,sorry恐怕你注定是要失望啦。不过,为了广大男同胞的身心健康,还是鼓起勇气决定爆照一张!!! 哈哈哈哈哈哈是不是卡哇伊内!口水收一收,再可爱也不是你家的(话说小编我Search的时候,那啥口水没收住,好丢脸......)毕竟想象是美好的,现实是骨感的,咱们还是回归当下,脚踏实地做人做事!Come on,回咱们的狗窝去T_T...... 好了好了,思绪收一收,穿上我们的盔甲、执起我们的电脑,在泡面声声中进入今天的技术谈(妹纸再美看看就好!唯有手中的笔、脑中的知识会永远陪伴你我→_→)...... 上一次咱们的技术小火车(这个题目是很单纯滴)如约而至,从这期起咱们让软妹纸带我们一起开启新征程!Let’s go! 时下大热的容器技术,引无数英雄折尽小蛮腰,如过江之鲫层出不穷。今儿个,咱们就来窥探一番它的真面目——管它是实锤还是虚胖,一探定能知晓。本文中,就让我们一起拨云见雾、釜底抽薪、扒皮抽筋......呃不管了,去探寻Docker的庐山真面目。前方持续高能,非战斗人员请速速撤离! Docker基础之一: Docker架构 Docker使用C-S架构,其客户端同Docker Daemon进行交互,主要的工作通过daemon来完成,包括拉取镜像、编译镜像、运行容器、发布容器等。Docker client和daemon可以运行在同一个系统上,也可以通过远程方式进行访问。Docker client和daemon之间是在 socket 上通过RESTful API来进行交互的。 Docker架构图 那么Docker如何工作呢?通过之前的介绍,咱们就可以知道: l. 我们可以自己编译Docker Image来打包应用; 2.我们可以从Docker Image创建容器,并在其中运行应用程序; 3. 我们可以通过Docker Hub或私有的Registry来分享Docker Image 接下来,我们来看如何将之前的这些元素整合起来运行。 此外,关于底层的Namespaces,Control Groups,Union File System,容器格式等技术我们就不再一一展开叙述了。 Docker基础之二: Linux快速入门 由于Docker是的容器都依赖于Linux内核,因此这一节主要是快速简单的介绍一下Linux,如果你对Linux比较熟悉,可略过。 为什么要使用Linux?理由多多! 1. 本身开源免费; 2. 支持众多开源的软件,诸如mysql, apache, mongodb, nodeJS等; 3. 基本上90%以上的互联网公司都使用linux作为后端服务器; 4. 云主机大多数都是基于linux系统。 But该选取什么发行版本呢? Linux包含了很多的发行版本,包括ubuntu,centos,redhat,federa等等,但是他们都是基于Linux kernel,各发行版本都会做相应包装、优化和简化,但是基本上内核版本不会有太大差异。根据我的经验,推荐使用ubuntu或者centos。Ubuntu的优点是: 1. 内核更新及时; 2. 软件安装和更新方便; 3.GUI简单实用 CentOS就是Red Hat Enterprise 的开源版本,也是不错的选择,考虑到Ubuntu对Docker的完美支持,我一般推荐使用Ubuntu。 在ubuntu安装上,启用root用户——使用vim——配置网络——启用SSH Server——通过客户端连接linux主机——免密码登录linux主机——安装软件这一系列过程中的详细细节咱们欢快地跳过吧。 Docker基础之三: 安装Docker+HelloWorld Docker最核心的程序是Docker Engine,根据参数,它既可以作为后台daemon运行,也可以作为命令行工具使用。下面咱们区分不同的安装环境,讨论在Linux,Ubuntu,CentOS,Mac上对应的问题。 1. Linux上安装 Docker本身是基于linux内核的,因此只要内核版本足够新,一般大于3.10左右,就可以运行。各种系统的安装方式基本相同。 2. Ubuntu上安装 在所有系统中,Docker对ubuntu的支持是最好的,因此如果使用docker,我推荐都适用ubuntu系统。Ubuntu系统的可视化、安装以及内核的更新,我认为都是最好的。Docker支持的Ubuntu系统: 1. Ubuntu Wily 15.10 2. Ubuntu Vivid 15.04 3. Ubuntu Trusty 14.04 (LTS) 4. Ubuntu Precise 12.04 (LTS) 环境要求: 5. 64位系统 6. 3.10以上linux内核,具体可以根据uname-r进行查看 3. CentOS上安装 在CentOS上安装Docker有一定的版本要求,CentOS 7.X及其以后版本&3.10以后版本。 4. Mac上安装 Mac OSX下Docker通过Docker Toolbox来进行安装,Docker Toolbox是Docker公司的一个工具包,里面包括: 1. Docker Machine: 运行docker-machine程序; 2. Docker Engine: Docker可执行程序; 3. Docker Compose: docker-compose程序; 4. Kitematic: Docker GUI; 5. 包含预定义的shell脚本,用于命令行运行环境; 6. Oracle VM VirtualBox。 在这四类安装环境下,详尽细节各不相同,咱们先简要概述到这咯。 Docker基础之四: Docker入门 首先我们检查Docker是否安装成功,步骤可参考如下: 1.下载一个镜像 2.运行一个可交互的shell终端 3.运行一个长时间的程序 4.查看容器 5.容器操作 6.导出服务端口 7.提交(保存)容器到image 其他的我们接着跳跳跳。 Docker基础之五: 使用Docker容器 我们将从运行一个简单的Hello world入手,来讲解如何使用容器。 1.运行Hello World; 2.运行一个可交互的容器; 3.在容器中运行一个后台守护进程。 Docker基础之六: Docker基础命令 容器相关的命令有哪些?我们一起来回顾。 1. docker ps : 查看容器列表; 2. docker logs:查看容器的日志; 3. docker stop:停止容器; 4. Docker Client:Docker Client和Docker Daemon实际使用的是同一个二进制程序,通过docker --help命令可以直接查看docker的所有命令及选项; 5. 通过容器来运行web应用:容器可以运行任何程序,那么一个主要的用途就是运行web应用,并对外提供服务。 Docker基础之七: 镜像操作 镜像(Image)是容器的基础。当你运行docker run的时候,你会指定一个Image来运行。比如,最基本的ubuntu镜像和training/webapp镜像。可以通过docker run来运行镜像: 1. 获取新的Image; 2. 查找Image; 3. 更新自己的Image; 4. 根据Dockerfile编译镜像; 5. 删除Image。 Docker基础之八: 容器的网络 根据之前的教程我们只是运行了简单的应用程序。之前我们编译了自己的image,在本节中我们将讲述如何管理容器的网络: 1.容器命名; 2.创建自己的桥接网络; 3.添加容器到网络。 Docker基础之九: 管理容器的数据 到目前为止,我们已经介绍了Docker的一些基本概念,如:容器的操作,镜像的操作和网络的操作等。在本节,我们将介绍如何管理容器内部的数据,以及容器间的数据交互。我们将介绍如何创建: 1. 数据卷 2. 数据型容器 数据卷是一个经过特殊设计的文件夹,提供给容器使用。数据卷并不由UnionFS管理,因此数据卷可以用作持久化和数据分享。Docker删除容器的时候,不会自动删除数据卷,因此当你使用数据卷的时候也要注意不要产生过多的垃圾数据。此外,如果你希望在容器间共享卷,那么还可以使用数据型容器。 关于数据备份、还原和迁移以及其他注意事项,我们就先略过啦。 Docker基础之十: 存储镜像到Docker Hub 到目前为止,我们已经学习了Docker的基本用法,包括拉取镜像、运行容器、编译镜像文件等等。接下来,我们将学习如何通过Docker hub来简化操作并提高工作效率。Docker Hub是Docker的主仓库,由Docker公司进行维护。这个仓库里面包含了系统的官方镜像,同时提供简单的用户认证信息,以及其他的附属功能。默认情况下,这个仓库是免费的,但是你的所有镜像也是公开的。跟Github类似,如果你需要一个私有的仓库,那么需要付费。 1. Docker Hub相关的命令 Docker本身和仓库相关的命令包括docker search,pull,login,push。 1. 用户创建和登录; 2. 搜索镜像; 3. 下载指定版本的镜像。 2. 提交镜像到Docker Hub 1. 推送镜像到Docker Hub; 2. Tag镜像。 Docker基础之十一: 镜像操作(Dockerfile) Docker可以通过Dockerfile的指令来编译Image,Dockerfile的主要好处是可以通过极少的空间来动态构建一个镜像,但是对国内用户而言,通常是比较通过的,因为下载国外的资源都比较慢。下面送上Dockerfile参考手册: 1.如何使用; 2. Dockerfile格式; 3. 环境变量替换指令; 4. dockerignoe file; 5. FROM; 6. MAINTAINER; 7. RUN。 上面的文字不足以表达Docker技术的精髓,更多深藏其中的宝藏还是留待小伙伴们一起铲铲铲吧!(请忽略我激动得无以复加神经错乱的表达......)更多详情请戳原文链接哦,么么扎! Docker基础之一: Docker架构 https://yq.aliyun.com/articles/130 Docker基础之二: Linux快速入门 https://yq.aliyun.com/articles/131 Docker基础之三: 安装docker+HelloWorld https://yq.aliyun.com/articles/132 Docker基础之四: Docker入门 https://yq.aliyun.com/articles/133 Docker基础之五: 使用Docker容器 https://yq.aliyun.com/articles/134 Docker基础之六: Docker基础命令 https://yq.aliyun.com/articles/135 Docker基础之七: 镜像操作 https://yq.aliyun.com/articles/136 Docker基础之八: 容器的网络 https://yq.aliyun.com/articles/137 Docker基础之九: 管理容器的数据 https://yq.aliyun.com/articles/138 Docker基础之十: 存储镜像到Docker Hub https://yq.aliyun.com/articles/139 Docker基础之十一: 镜像操作(Dockerfile) https://yq.aliyun.com/articles/140

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册