低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • MapReduce业务 - 图片关联计算

    MapReduce业务 - 图片关联计算

    1.概述 最近在和人交流时谈到数据相似度和数据共性问题,而刚好在业务层面有类似的需求,今天和大家分享这类问题的解决思路,分享目录如下所示: 业务背景 编码实践 预览截图 下面开始今天的内容分享。 2.业务背景 目前有这样一个背景,在一大堆数据中,里面存放着图片的相关信息,如下图所示: 上图只是给大家列举的一个示例数据格式,第一列表示自身图片,第二、第三......

    2016-04-24 20热度
  • JStorm-介绍

    JStorm-介绍

    1.概述 JStorm 是一个类似于 Hadoop 的MapReduce的计算系统,它是由Alibaba开源的实时计算模型,它使用Java重写了原生的Storm模型(Clojure和Java混合编 写的),并且再原来的基础上做了许多改进。用户只需按照指定的接口实现一个任务,然后将这个任务提交给JStorm系统,JStorm在接受了任务指令 后,会无间断运行任...

    2016-04-24 27热度
  • HDFS-Architecture剖析

    HDFS-Architecture剖析

    1.概述 从HDFS的应用层面来看,我们可以非常容易的使用其API来操作HDFS,实现目录的创建、删除,文件的上传下载、删除、追加 (Hadoop2.x版本以后开始支持)等功能。然而仅仅局限与代码层面是不够的,了解其实现的具体细节和过程是很有必要的,本文笔者给大家从以下几个方 面进行剖析: Create Delete Read Write Heartbeat...

    2016-04-24 77热度
  • Hadoop-调优剖析

    Hadoop-调优剖析

    1.概述 其实,在从事过调优相关的工作后,会发现其实调优是一项较为复杂的工作。而对于Hadoop这样复杂且庞大的系统来说,调优更是一项巨大的工 作,由于Hadoop包含Common、HDFS、MapReduce、YARN等模块,每个模块都有可以根据自身业务进行优化的工作,本篇博客也是针对 某些模块进行调优剖析。 在进行Hadoop调优时,不仅仅只是针对其性能...

    2016-04-24 30热度
  • MapReduce-深度剖析

    MapReduce-深度剖析

    1.概述 在接触了第一代MapReduce和第二代MapReduce之后,或许会有这样的疑惑,我们从一些书籍和博客当中获取MapReduce的一 些原理和算法,在第一代当中会有JobTrack,TaskTrack之类的术语,在第二代会有 ResourceManager,NodeManager,ApplicationMaster等等术语。然又有Shuffle、...

    2016-04-24 10热度
  • Hadoop2.x源码-编译剖析

    Hadoop2.x源码-编译剖析

    1.概述 最近,有小伙伴涉及到源码编译。然而,在编译期间也是遇到各种坑,在求助于搜索引擎,技术博客,也是难以解决自身所遇到的问题。笔者在被询问多 次的情况下,今天打算为大家来写一篇文章来剖析下编译的细节,以及遇到编译问题后,应该如何去解决这样类似的问题。因为,编译的问题,对于后期业务拓展, 二次开发,编译打包是一个基本需要面临的问题。 2.编译准备 在编译源...

    2016-04-24 27热度
  • Hadoop - 任务调度系统比较

    Hadoop - 任务调度系统比较

    1.概述 在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任 务的运行情况的监控,异常问题的排查等,这些问题会是的我们日常的工作变得复杂。那么,在没有条件和精力去开发一套调度系统的情况下,我们去选择一款第三 方开源的调度系统,来尽量减轻和降低我们日常工作的复杂度,也是极好的。...

    2016-04-24 9热度
  • Hadoop - 实时查询Drill

    Hadoop - 实时查询Drill

    1.概述 在现实业务当中,存在这样的业务场景,需要实时去查询HDFS上的相关存储数据,普通的查询(如:Hive查询),时延较高。那么,是否存在时 延较小的查询组件。在业界目前较为成熟的有Cloudera的Impala,Apache的Drill,Hortonworks的Stinger。本篇博 客主要为大家介绍Drill,其他两种方式大家可以自行下去补充。 2....

    2016-04-24 8热度
  • Hadoop-Drill深度剖析

    Hadoop-Drill深度剖析

    1.概述 在《Hadoop - 实时查询Drill》一文当中,笔者给大家介绍如何去处理实时查询这样的业务场景,也是简略的提了一下如何去实时查询HDFS,然起相关细节并未说明。今天给大家细说一下相关细节,其中包含:HDFS,Hive以及HBase等内容。 2.数据源和文件格式 在使用Drill去做实时查询,由于其只是一个中间件,其适配的存储介质是有限制的,目前...

    2016-04-24 6热度
  • HBase - Phoenix剖析

    HBase - Phoenix剖析

    1.概述 在《Hadoop-Drill深度剖析》 一文当中,给大家介绍了Drill的相关内容,就实时查询来说,Drill基本能够满足要求,同时还可以做一个简单业务上的聚合,如果在使用Hive做一 些简单的业务统计(不涉及多维度,比如CUBE,ROLLUP之类的函数),只是用一些基本的聚合函数或是JOIN ON之类的,Drill基本满足要求,而且响应速度可比O...

    2016-04-24 19热度
  • Hadoop - Ambari集群管理剖析

    Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便。这篇博客记录Ambari的相关问题和注意事项。方便为初学者省去搭配各个社区版的烦恼。 2.How to works 在Ambari的官方WIKI上介绍了如何去使用Ambari,[官方文档]。官方说法比...

    2016-04-24 18热度
  • Hadoop - Kylin On OLAP1

    Hadoop - Kylin On OLAP1

    1.概述 Apache Kylin是一个开源的分布式分析引擎,提供SQL接口并且用于OLAP业务于Hadoop的大数据集上,该项目由eBay贡献于Apache。 2.What is Kylin 在使用一种模型,我们得知道她是干什么的,那么首先来看看Kylin的特性,其内容如下所示: 可扩展超快的OLAP引擎:Kylin是为减少在Hadoop上百亿级别数据查询...

    2016-04-24 9热度
  • Hadoop - Zeppelin 使用心得

    Hadoop - Zeppelin 使用心得

    1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了。今天,给大家介绍这么一款工具。它就能满足上述要求,在使用了一段时间之后,这里给大家分享以下使用心得。 2.How to do 首先,我们来了解一下这款工具的背景及用途。Zeppelin 目前已托管于...

    2016-04-24 70热度
  • Hadoop - Azkaban 作业调度

    Hadoop - Azkaban 作业调度

    1.概述 在调度 Hadoop 的相关作业时,有以下几种方式: 基于 Linux 系统级别的 Crontab。 Java 应用级别的Quartz。 第三方的调度系统。 自行开发 Hadoop 应用调度系统。 对于前两种,使用 Crontab 和Quartz 是基本可以满足业务需求,但有其弊端。在 Job 数量庞大的情况下,Crontab 脚本的编写,变得异常...

    2016-04-24 21热度
  • Hadoop - Kylin On OLAP

    Hadoop - Kylin On OLAP

    1.概述 Apache Kylin是一个开源的分布式分析引擎,提供SQL接口并且用于OLAP业务于Hadoop的大数据集上,该项目由eBay贡献于Apache。 2.What is Kylin 在使用一种模型,我们得知道她是干什么的,那么首先来看看Kylin的特性,其内容如下所示: 可扩展超快的OLAP引擎:Kylin是为减少在Hadoop上百亿级别数据查询...

    2016-04-24 19热度
  • 【技术干货】我们的项目是如何技术选型的

    【技术干货】我们的项目是如何技术选型的

    ​ 本文作者:上海驻云开发总监 陈昂 以下正文: 公司逐渐壮大,团队日趋稳定。作为一名陪着公司一块成长的一分子,我深感欣慰。蓦然回首,发现我们竟然有了诸多产出与成果。有平台,有工具,有产品,有项目。有些项目进行中,有些产品已夭折。但不管怎样,看着这么多已有成果,还是小小的骄傲了一下。然而骄傲之余,精心沉思,我们积累的太少,沉淀的不够。以前,我们就像是在打仗,...

    2016-04-24 30热度
  • HBase 数据库检索性能优化策略

    HBase 数据库检索性能优化策略

    HBase 数据库是一个基于分布式的、面向列的、主要用于非结构化数据存储用途的开源数据库。其设计思路来源于 Google 的非开源数据库”BigTable”。 HDFS 为 HBase 提供底层存储支持,MapReduce 为其提供计算能力,ZooKeeper 为其提供协调服务和 failover(失效转移的备份操作)机制。Pig 和 Hive 为 HBas...

    2016-04-23 39热度
  • 开源大数据周刊-第2期

    开源大数据周刊-第2期

    阿里云E-Mapreduce动态 E-Mapreduce团队计划下周发布VPC方案,敬请期待。 Aliyun-emapreduce-demo发布在github上,敬请关注。 资讯播报 阿里云启动公益云计划 李连杰也喊话要拥抱大数据云栖大会·深圳峰会4月20日在深圳举行。大会上,阿里云正式启动了公益云计划,壹基金创始李连杰也参与此次启动仪式。李连杰表示,我们希...

    2016-04-23 22热度
  • View6.2中viewPM和微软用户配置漫游的应用

    View6.2中viewPM和微软用户配置漫游的应用

    由于view需要在域环境中,于是用户配置文件的集中管理就成了一个绕不过的话题,尤其是使用了linkclone模式的虚拟桌面,如果在创建过程中没有启用persistent磁盘存放用户配置文件,那么后期无论是recompose、refresh、rebalance都会导致用户配置文件的丢失,针对用户配置文件可选用vmware的viewPM策略或微软的用户配置漫游,...

    2016-04-23 21热度
  • Docker的安装,配置,更新和卸载

    Docker的安装,配置,更新和卸载

    版权声明:您好,转载请留下本人博客的地址,谢谢 https://blog.csdn.net/hongbochen1223/article/details/51226700 在Linux中开启Docker引擎 我们可以在Linux中安装Docker并运行Hello world应用程序。通过下面这些操作,我们将会学到更多有关于Docker的基础特征。我们将会学到...

    2016-04-22 43热度
« 上页 5337/5466 下页 »