低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 低调大师
  • SpringBoot
  • 框架
  • 数据库
  • Linux
  • 大数据
  • 开发工具
  • 大师作品
  • 管理工具
  • 服务器
  • 文章摘抄
  • 面试锦集
  • 消息队列
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯

文章列表

  • 一键部署 spark

    一键部署 spark

    前言 Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC...

    2019-10-19 29热度
  • Hive 基本环境部署

    Hive 基本环境部署

    一、Hive 运行模式 与Hadoop类似,Hive也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby数据库中,这是使用hive最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中(一般是My...

    2019-10-19 10热度
  • Hive 工作原理详解

    Hive 工作原理详解

    什么是Hive? Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的...

    2019-10-19 6热度
  • Hive安装和配置

    Hive安装和配置

    Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上,前提是这个机器必须要有hadoop软件(可以不启动hdfs,yarn等进程),因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...

    2019-10-19 6热度
  • Spark 安装与实战

    Spark 安装与实战

    折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...

    2019-10-19 5热度
  • 搭建Spark集群服务器

    搭建Spark集群服务器

    tidb1.0开始支持spark,有个组件tiSpark,不过目前只支持spark2.1版本。所以为了启用tiSpark,还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上,我找到了with hadoop的版本。如下图: 下载地址:https://d3kbcqa49mib13.cloudfr...

    2019-10-19 7热度
  • Flex 4 和 Flash Builder 4 正式版发布 采用全新的Spark组件架构

    Flex 4 和 Flash Builder 4 正式版发布 采用全新的Spark组件架构

    Flex 4 正式版于昨天正式对外发布。Flex 4采用全新的Spark组件架构,支持Flash Catalyst和Flash Builder4的设计开发工作流,以及其他许许多多的新特性。 * 下载 Flex 4 SDK 一起发布的还有Flash Builder 4,有90多个新特性,大大提升了开发者的生产效率。 * 下载Flash Builder 4正式版...

    2019-10-19 4热度
  • 安装hadoop伪分布式模式(Single Node Cluster)

    安装hadoop伪分布式模式(Single Node Cluster)

    目的 本文档介绍如何去安装单节点hadoop集群,以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境: os: CentOS release 6.5 (Final) ip: 172.16.101.58 user:root hadoop-2.9.0.tar.gz SSH无密码登录配置 因为本文档使用root用户安装,所以需要配置好root...

    2019-10-19 7热度
  • 史上最恶毒10大病毒 Conficker排名第八

    史上最恶毒10大病毒 Conficker排名第八

    5月3日消息,据vnunet.com网站报道,美国旧金山的专栏作家伊恩·汤姆森(Iain Thomson)和肖恩·尼古拉斯(Shaun Nichols)发表了他们认为迄今为止最恶毒的10个计算机病毒排行榜。 史上最恶毒10大病毒 1.Creeper Creeper可能是第一个计算机病毒,尽管这种说法还有争议。这个病毒是在1971年由Bob Thomas使用T...

    2019-10-19 5热度
  • 安装hadoop集群(Multi Cluster)

    安装hadoop集群(Multi Cluster)

    配置环境 本文档安装hadoop集群环境,一个master作为namenode节点,一个slave作为datanode节点: (1) master: os: CentOS release 6.5 (Final) ip: 172.16.101.58 user:root hadoop-2.9.0.tar.gz (2) slave: os: CentOS rele...

    2019-10-19 5热度
  • Hive SQL去重a,b和b,a类型

    Hive SQL去重a,b和b,a类型

    昨天开发找到我们DBA,要我们写一条Hive SQL。 需求: 有一个t表,主要有机场名称airport,机场的经纬度distance这两个列组成,想得到所有距离小于100的两个机场名。 其实写这个SQL的逻辑并不是很困难,难点是如何去重复值, 我用MySQL模拟的一个表,其实Hive语法和SQL差不多,插入了三条数据,a, b, c 分别代表三个机场名称,...

    2019-10-19 6热度
  • Hadoop简介

    Hadoop简介

    Hadoop简介 Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。 hadoop2.9.0暂时是个不成熟的版本,建议使用先前的稳定版本hado...

    2019-10-19 6热度
  • 开源框架Mahout配置

    开源框架Mahout配置

    开源框架Mahout配置 机器学习这两年特别火,ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士,作为一个技术控,也得折腾下,就这样来初步折腾下Mahout这个机器学习的主流开源框架。 一、Mahout简介 Mahout的中文意思:驭象的人,再看看Mahout的logo,骑在象头上的那个Mahout。机器学习是人工智能的一个分支,它涉及通过一些技术来...

    2019-10-19 7热度
  • 2017金砖会议之spark

    2017金砖会议之spark

    前言 2017年金砖国家工商论坛组委会2日召开新闻发布会,介绍有关情况。论坛预期取得四方面成果:一是增强工商界加强互利合作的信心,二是增进工商界之间的交流合作,三是提出有价值的政策建议,四是拓展工商界参与全球经济治理的深度和广度。 spark简介 Spark(注意不要同Apache Spark混淆)的设计初衷是,可以简单容易地创建REST API或Web应用...

    2019-10-19 10热度
  • 僵尸网络的最新消息与发展趋势

    僵尸网络的最新消息与发展趋势

    对于当前的形势我一直有一个疑问,为何世界经济持续低迷,但网络犯罪活动却欣欣向荣。难道互联网真的是犯罪分子的天堂么?是否是高昂的投资回报率,使得恶意软件制作者们不断改进如Storm这样的蠕虫?貌似如此。 Storm卷土重来 首先要提到的重大事件是由Storm 蠕虫创建的僵尸网络再度出现。2007年,Storm蠕虫曾经建立起了一个空前庞大的僵尸网络。不过在200...

    2019-10-19 5热度
  • HBase工具之监控Region的可用和读写延时状况

    HBase工具之监控Region的可用和读写延时状况

    1、介绍 HBase集群上region数目由于业务驱动而越来越多,由于服务器本身,网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控,也可以反映出hdfs集群的状况 2、工具 org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况 Us...

    2019-10-19 9热度
  • Hive 简单SQL

    Hive 简单SQL

    1.创建表 (1)内部表和外部表的区别 默认创建的是内部表,可以指定目录,如果不指定则会创建默认目录,一旦drop,该目录和数据都会被删除 创建external table 的时候需要指定存放目录,并且drop表的时候,不会删除该目录和目录下的数据,只会删除元信息 #创建一个外部表 0: jdbc:hive2://192.168.163.102:10000&...

    2019-10-19 7热度
  • 腾讯大规模Hadoop集群实践

    腾讯大规模Hadoop集群实践

    腾讯大规模Hadoop集群实践 转自:http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面,介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和Nam...

    2019-10-19 7热度
  • mysql管理工具Maatkit介绍

    mysql管理工具Maatkit介绍

    Maatkit是不错的mysql管理工具,已经成为Percona的一部分。包含以下主要工具: 1、mk-table-checksum 检查主从表是否一致的有效工具 2、mk-table-sync 有效保证表一致的工具,不必重载从表而能够保证一致。 3、mk-visual-explain exlpain解释工具 4、mk-heartbeat 主从同步的监视工具...

    2019-10-19 6热度
  • Spark 大规模机器学习官方文档 - 中文翻译

    Spark 大规模机器学习官方文档 - 中文翻译

    Spark官方文档 - 中文翻译 Spark版本:1.6.0 转载请注明出处:http://www.cnblogs.com/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell)...

    2019-10-19 6热度
« 上页 84/5137 下页 »