低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • Ubuntu & GitLab CI & Docker & ASP.NET Core 2.0 自动化发布和部署(2)

    Ubuntu & GitLab CI & Docker & ASP.NET Core 2.0 自动化发布和部署(2)

    实现上面目的,大概有三种实现方式: GitLab Runner 不运行在 Docker 容器中:Executor 选择shell(本地运行),然后在本服务器上安装 .NET Core 和 Docker 环境,.gitlab-ci.yml中执行dotnet编译发布和docker构建发布脚本,将构建的镜像推送到 Docker 私有仓库,然后 SSH 连接到服务器...

    2016-01-22 46热度
  • docker学习(1) 安装

    docker学习(1) 安装

    docker是啥就不多讲了,简言之就是更轻量、更牛叉的新一代虚拟机技术。下面是安装步骤: 一、mac/windows平台的安装 docker是在linux内核基础上发展而来的,无法直接运行在mac/windows上,需要借助docker-machine工具,先在mac/windows上建一个linux的虚拟机,然后才能继续玩下去。默认内置的虚拟机引擎是Ora...

    2016-01-22 26热度
  • hadoop-1.x的运行实例

    hadoop-1.x的运行实例

    我的环境是hadoop-0.20.2,eclipse:SDK-3.3.2, 源数据为: Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84 Apr 23 11:49:54 hostapd: wlan0: STA 14:7d:c5:9e:fb:84 Apr 23 11:49:54 hostapd: wla...

    2016-01-22 41热度
  • Spark设计理念与基本架构

    Spark设计理念与基本架构

    《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 本文主要展示本书的第2章内容: 第2章 设计理念与基本架构 “若夫乘天地之正,而御六气之辩,以游无穷者,彼且恶乎待哉?” ——《庄子·逍遥游》 本章...

    2016-01-21 44热度
  • linux下nproc的作用

    linux下nproc的作用

    nproc是操作系统级别对每个用户创建的进程数的限制,在Linux下运行多线程时,每个线程的实现其实是一个轻量级的进程,对应的术语是:light weight process(LWP)。怎么知道一个用户创建了多少个进程呢,默认的ps是不显示全部进程的,需要‘-L' 才能看到所有的进程。 举例1:查看所有用户创建的进程数,使用命令: ps h -Led -o ...

    2016-01-21 75热度
  • hadoop学习笔记--集群搭建

    hadoop学习笔记--集群搭建

    注:大家常说的ssh其实就是一个免密码访问的东西,为了简化操作的,不用每次访问其他节点重新输入密码。但是要想配置如下: 1.在每台机器上执行 ssh-keygen -t rsa,连敲三次回车键(即设置空密码) 2.然后在每台机器上都执行cd ~/.ssh,并分别把id_rsa.pub复制到authorized_keys中, 即执行 cp id_rsa.pub...

    2016-01-21 38热度
  • 关于Web界面查看日志的权限问题

    关于Web界面查看日志的权限问题

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549737 关于Web界面查看日志的权限问题 @(Hadoop) 访问集群的8088端口,通过web ui查看作业日志时,发现没有权限查看,8088主界面右上角显示Logged in as : dr...

    2016-01-20 55热度
  • hive (基于hadoop的数据仓库)

    hive (基于hadoop的数据仓库)

    1.简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。 与传统关系数据库相比的优势是:能够处理海量数据。 劣势是:它只提供查询功能,不能增、删、改。涉及到分布式计算的任务分发,查询时间在分钟级,不能当实时工具用。 运行机理:将sql语句转换为MapReduce任务,让Hadoop处理。 ...

    2016-01-20 29热度
  • Hadoop YARN学习之Hadoop框架演进历史简述

    Hadoop YARN学习之Hadoop框架演进历史简述

    Hadoop YARN学习之Hadoop框架演进历史简述(1) 1. Hadoop在其发展的过程中经历了多个阶段: 阶段0:Ad Hoc集群时代 标志着Hadoop的起源,集群以Ad Hoc、单用户方式建立 阶段1:Hadoop on Demand(HOD) 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop...

    2016-01-20 88热度
  • Hadoop YARN学习之核心概念(2)

    Hadoop YARN学习之核心概念(2)

    Hadoop YARN学习之核心概念(2) 1. Hadoop 2.X YARN引入的新服务 1.1 新的ResourceManager纯碎作为资源调度器,是集群资源的唯一仲裁者; 1.2 用户应用程序(包括MapReduce作业),通过一个新的ApplicationMaster组件请求一定的资源,与Resource协商; 1.3 从而在集群中创建该应用的C...

    2016-01-20 42热度
  • Hadoop YARN学习之组件功能简述(3)

    Hadoop YARN学习之组件功能简述(3)

    Hadoop YARN学习之组件功能简述(3) 1. YARN的三大组件功能简述: ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。 NodeManager,位于每个节点上,管理该节点上用户作业和工作流。 ApplicationMaster,用户...

    2016-01-20 34热度
  • Hadoop YARN学习之监控集群监控Nagios(4)

    Hadoop YARN学习之监控集群监控Nagios(4)

    doop YARN学习之监控集群监控Nagios(4) 1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群。 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中。 加载Nagios插件向hadoop-cluster.cfg添加如下信息 define c...

    2016-01-20 46热度
  • Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

    Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

    Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5) 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。 jstat工具,在JDK的bin目录,可以显示大量JVM统计信息。 1.1 JVM分析 一个Java虚拟机(JVM)进程被分为3个区(代),具体分为年轻代(young generation)、年老...

    2016-01-20 52热度
  • Hadoop YARN学习之重要术语总结(6)

    Hadoop YARN学习之重要术语总结(6)

    Hadoop YARN学习之重要术语总结(6) - SLA服务等级 - RM(ResourceManager) - AM(ApplicationMaster) - NM(NodeMaster) - MPI(Message Passing Interface) - FIFO(First In First Out) - ACL访问控制列表 - CLC(Conta...

    2016-01-20 47热度
  • 使用 docker 后出现的网络异常现象

    使用 docker 后出现的网络异常现象

    硬件: [root@sh-storage-128204 ~]# dmidecode -t system dmidecode 2.12 SMBIOS 2.7 present. Handle 0x0001, DMI type 1, 27 bytes System Information Manufacturer: To be filled by O.E.M. P...

    2016-01-19 44热度
  • Redis企业集群工具RLEC

    Redis企业集群工具RLEC

    版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/50549849 Redis企业集群工具RLEC 作者:chszs,未经博主允许不得转载。经许可的转载需注明作者和博客主页:http://blog.csdn.net/chszs 一、RLEC介绍 RLEC即...

    2016-01-19 30热度
  • maven 不依赖 jar(解决 jar 冲突 )

    maven 不依赖 jar(解决 jar 冲突 )

    如图找到 含有该 jar 的 配置 然后 再pom 中 exclusions 掉 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${...

    2016-01-19 39热度
  • 使用rsync进行多服务器同步

    使用rsync进行多服务器同步

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164 使用rsync进行多服务器同步 @(Others) 当集群数量很大时,修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。 rsync是linux上实现不同机器之间文件同步、备...

    2016-01-19 51热度
  • HBASE解析

    HBASE解析

    Hbase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,也就是说HBase能够利用HDFS的分布式处理模式,并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势,HBase本身就是十分强大的数据库,它能够融合key/value存储模式带来实时...

    2016-01-19 37热度
  • Spark on Yarn年度知识整理

    Spark on Yarn年度知识整理

    大数据体系结构: Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任...

    2016-01-19 51热度
« 上页 5783/5885 下页 »