文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

elasticsearch 常见操作

package com.topwalk.analysis.es.operation.impl; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; ...
2016-03-10 7热度收藏
hive shell 导入数据

数据 10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a515...
2016-03-10 5热度收藏
海量数据处理技术学习

海量数据处理的常用技术可分为: 外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。 MapReduce：分布式处理技术 hash技术：以Bloom filter技术为代表外排序：主要适用于大数据的排序、去重。分布式处理技术：MapReduce 技术思想是将数据交给不同的机器去处理，将数据切分，之后结果归约。...
2016-03-10 7热度收藏
Docker Engine 镜像源站

Docker Engine 镜像源站 Docker Engine 官方已经不推荐使用，请使用Docker CE源站进行安装。 Docker CE 镜像源站相关链接 Docker Toolbox 镜像源站Docker 镜像加速器
2016-03-09 18热度收藏
Docker Toolbox 镜像源站

Docker Toolbox 镜像源站现在Docker只能运行在Linux内核的机器上。所以在Windows或是Mac系统上，需要通过运行Linux的虚拟机来使用Docker服务。而Docker Toolbox提供了一整套工具，让你在Windows或Mac系统上更快的搭建起这套环境。 Docker Toolbox 组件包括: Docker Client D...
2016-03-09 7热度收藏
只需一步：创建oss bucket并控制访问权限

本文介绍怎样利用阿里云资源编排服务(ROS)，一步创建阿里云资源（以OSS为例）、创建多个子帐号，并付给子帐号不同的资源访问权限。先试为快，一步创建 >> 资源编排的RAM功能介绍阿里云资源访问控制服务(RAM)，帮助您把不同的资源权限分配给特定的用户（比如员工、系统或应用程序），达到最小特权的安全实践。例如，授权某个子用户管理两台指定的EC...
2016-03-09 5热度收藏
为什么选择ali-E-MapReduce

介绍 E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。具体实施可以参考：https://www.aliyun.com/produc...
2016-03-09 9热度收藏
Zookeeper可以干什么？

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/catoop/article/details/50848572 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, ...
2016-03-09 10热度收藏
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)

Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】 0.添加大文件到hdfs系统中去,是为了后期的动态添加datanode的机器，datanode机器的数据量不均衡，为了模拟均衡实验点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# hadoo...
2016-03-09 6热度收藏
SparkContext的初始化（叔篇）——TaskScheduler的启动

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开...
2016-03-09 13热度收藏
Cloudera Certified Administrator for Apache Hadoop(CCAH认证)

Exam Sections and Blueprint 1. HDFS (17%) Describe the function of HDFS daemons Describe the normal operation of an Apache Hadoop cluster, both in data storage and in data processi...
2016-03-09 7热度收藏
机器学习路线图

机器学习路线图 1. 引言最近google的阿尔法狗大战李世石刷屏了，闲下来时也了解点机器学习or深度学习的理论 2. 机器学习关注问题并非所有的问题都适合用机器学习解决(很多逻辑清晰的问题用规则能很高效和准确地处理)，也没有一个机器学习算法可以通用于所有问题。咱们先来了解了解，机器学习，到底关心和解决什么样的问题。从功能的角度分类，机器学习在一定量级...
2016-03-09 10热度收藏
谈谈编程语言的选择

常常有新人问我，我该学哪一门编程语言呢？编程语言太多了，我都不知道该选择哪一门编程语言来深入学习了！是的，我也曾被这个问题所困恼，当初学习软件编程时也经历了C/Java/C#这样的路线，后来我也接触并使用过C++/Visual Basic/JavaScript/PHP/Python等语言，并了解过一些冷门语言。多年下来，我对编程语言的理解是每个编程语言的出现...
2016-03-08 9热度收藏
远程管理 KVM 虚机 - 每天5分钟玩转 OpenStack（5）

上一节我们通过 virt-manager 在本地主机上创建并管理 KVM 虚机。其实 virt-manager 也可以管理其他宿主机上的虚机。只需要简单的将宿主机添加进来填入宿主机的相关信息，确定即可。接下来，我们就可以像管理本地虚机一样去管理远程宿主机上的虚机了。这里其实有一个要配置的地方。因为 KVM（准确说是 Libvirt）默认不接受远程管理...
2016-03-08 26热度收藏
基于OSS搭建跨区域部署的分布式Docker镜像仓库

基于OSS搭建跨区域部署的分布式Docker镜像仓库 Docker镜像是Docker的核心价值之一，Docker镜像仓库（Registry）是用于Docker镜像的管理和分发的基础设施。现在已经有了Docker Hub等多家公有镜像管理服务供应商，阿里云容器Hub服务也是您在云端的一个非常好的选择。但是有些情况，为了更加灵活的部署控制和一些管控要求，您也许会...
2016-03-08 5热度收藏
Docker的安全性之一

Docker的安全性（提示：对Docker感兴趣的朋友可以加我的微信ghostcloud2016，然后我把你加到我们的一个Docker爱好者群组里面。）译（https://blog.docker.com/2013/08/containers-docker-how-secure-are-they/）这篇博客的作者是Jerome Petazzoni是Dot...
2016-03-08 14热度收藏
HBase Java编程示例

HelloWorld.zip 点击(此处)折叠或打开 package elementary; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.Li...
2016-03-08 5热度收藏
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡

Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡【修正版】适用场景： a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡 b.当正常维护时 1.对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth...
2016-03-08 9热度收藏
在阿里云容器服务上使用OSS数据卷(Volume)

数据卷 Docker的特性，决定了容器本身是非持久化的，容器被删除后其中的数据也一并被删除了。Docker提供数据卷（Volume），通过挂载宿主机上的目录来实现持久存储。但在集群环境中，宿主机上的数据卷有很大的局限性容器在机器间迁移时，数据无法迁移不同机器之间不能共享数据卷为了解决这些问题，阿里云容器服务提供第三方数据卷，将各种云存储包装成数据卷，...
2016-03-07 86热度收藏
CDH5之Balancer难以在快速增长的集群上平衡大量的数据

背景：公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。于是我们便执行Balancer来清理数据，结果发现有26T的数据需要平衡，而Balancer每次只移动50G的数据...
2016-03-07 5热度收藏

« 上页 5186/5297 下页 »

文章筛选

文章列表