低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • 大数据实战之spark安装部署

    大数据实战之spark安装部署

    楔子 我是在2013年底第一次听说Spark,当时我对Scala很感兴趣,而Spark就是使用Scala编写的。一段时间之后,我做了一个有趣的数据科学项目,它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说,这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员,我都非常推荐这个项目。 今天,Spark已经被很多巨头...

    2019-10-19 78热度
  • CDH: unable to create new native thread

    CDH: unable to create new native thread

    发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下,无法创建新的线程,可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...

    2019-10-19 57热度
  • spark 运维实战 简介

    spark 运维实战 简介

    Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目,本章只进行简要介绍,后续章节再详细阐述。 1.1Spa...

    2019-10-19 55热度
  • CDH:cloudera-scm-server dead but pid file exists

    CDH:cloudera-scm-server dead but pid file exists

    报错 CM HDFS管理界面的报错(由于CM down这个信息是无法通过管理界面查看的,这里是从日志中获得的): The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...

    2019-10-19 116热度
  • 一键部署 spark

    一键部署 spark

    前言 Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC...

    2019-10-19 278热度
  • Hive 基本环境部署

    Hive 基本环境部署

    一、Hive 运行模式 与Hadoop类似,Hive也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby数据库中,这是使用hive最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中(一般是My...

    2019-10-19 32热度
  • Hive 工作原理详解

    Hive 工作原理详解

    什么是Hive? Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的...

    2019-10-19 36热度
  • Hive安装和配置

    Hive安装和配置

    Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上,前提是这个机器必须要有hadoop软件(可以不启动hdfs,yarn等进程),因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...

    2019-10-19 24热度
  • Spark 安装与实战

    Spark 安装与实战

    折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...

    2019-10-19 27热度
  • 搭建Spark集群服务器

    搭建Spark集群服务器

    tidb1.0开始支持spark,有个组件tiSpark,不过目前只支持spark2.1版本。所以为了启用tiSpark,还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上,我找到了with hadoop的版本。如下图: 下载地址:https://d3kbcqa49mib13.cloudfr...

    2019-10-19 45热度
  • 安装hadoop伪分布式模式(Single Node Cluster)

    安装hadoop伪分布式模式(Single Node Cluster)

    目的 本文档介绍如何去安装单节点hadoop集群,以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境: os: CentOS release 6.5 (Final) ip: 172.16.101.58 user:root hadoop-2.9.0.tar.gz SSH无密码登录配置 因为本文档使用root用户安装,所以需要配置好root...

    2019-10-19 40热度
  • Flex 4 和 Flash Builder 4 正式版发布 采用全新的Spark组件架构

    Flex 4 和 Flash Builder 4 正式版发布 采用全新的Spark组件架构

    Flex 4 正式版于昨天正式对外发布。Flex 4采用全新的Spark组件架构,支持Flash Catalyst和Flash Builder4的设计开发工作流,以及其他许许多多的新特性。 * 下载 Flex 4 SDK 一起发布的还有Flash Builder 4,有90多个新特性,大大提升了开发者的生产效率。 * 下载Flash Builder 4正式版...

    2019-10-19 27热度
  • 史上最恶毒10大病毒 Conficker排名第八

    史上最恶毒10大病毒 Conficker排名第八

    5月3日消息,据vnunet.com网站报道,美国旧金山的专栏作家伊恩·汤姆森(Iain Thomson)和肖恩·尼古拉斯(Shaun Nichols)发表了他们认为迄今为止最恶毒的10个计算机病毒排行榜。 史上最恶毒10大病毒 1.Creeper Creeper可能是第一个计算机病毒,尽管这种说法还有争议。这个病毒是在1971年由Bob Thomas使用T...

    2019-10-19 23热度
  • 安装hadoop集群(Multi Cluster)

    安装hadoop集群(Multi Cluster)

    配置环境 本文档安装hadoop集群环境,一个master作为namenode节点,一个slave作为datanode节点: (1) master: os: CentOS release 6.5 (Final) ip: 172.16.101.58 user:root hadoop-2.9.0.tar.gz (2) slave: os: CentOS rele...

    2019-10-19 48热度
  • Hive SQL去重a,b和b,a类型

    Hive SQL去重a,b和b,a类型

    昨天开发找到我们DBA,要我们写一条Hive SQL。 需求: 有一个t表,主要有机场名称airport,机场的经纬度distance这两个列组成,想得到所有距离小于100的两个机场名。 其实写这个SQL的逻辑并不是很困难,难点是如何去重复值, 我用MySQL模拟的一个表,其实Hive语法和SQL差不多,插入了三条数据,a, b, c 分别代表三个机场名称,...

    2019-10-19 27热度
  • Hadoop简介

    Hadoop简介

    Hadoop简介 Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。 hadoop2.9.0暂时是个不成熟的版本,建议使用先前的稳定版本hado...

    2019-10-19 20热度
  • 开源框架Mahout配置

    开源框架Mahout配置

    开源框架Mahout配置 机器学习这两年特别火,ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士,作为一个技术控,也得折腾下,就这样来初步折腾下Mahout这个机器学习的主流开源框架。 一、Mahout简介 Mahout的中文意思:驭象的人,再看看Mahout的logo,骑在象头上的那个Mahout。机器学习是人工智能的一个分支,它涉及通过一些技术来...

    2019-10-19 18热度
  • 2017金砖会议之spark

    2017金砖会议之spark

    前言 2017年金砖国家工商论坛组委会2日召开新闻发布会,介绍有关情况。论坛预期取得四方面成果:一是增强工商界加强互利合作的信心,二是增进工商界之间的交流合作,三是提出有价值的政策建议,四是拓展工商界参与全球经济治理的深度和广度。 spark简介 Spark(注意不要同Apache Spark混淆)的设计初衷是,可以简单容易地创建REST API或Web应用...

    2019-10-19 35热度
  • 僵尸网络的最新消息与发展趋势

    僵尸网络的最新消息与发展趋势

    对于当前的形势我一直有一个疑问,为何世界经济持续低迷,但网络犯罪活动却欣欣向荣。难道互联网真的是犯罪分子的天堂么?是否是高昂的投资回报率,使得恶意软件制作者们不断改进如Storm这样的蠕虫?貌似如此。 Storm卷土重来 首先要提到的重大事件是由Storm 蠕虫创建的僵尸网络再度出现。2007年,Storm蠕虫曾经建立起了一个空前庞大的僵尸网络。不过在200...

    2019-10-19 37热度
  • HBase工具之监控Region的可用和读写延时状况

    HBase工具之监控Region的可用和读写延时状况

    1、介绍 HBase集群上region数目由于业务驱动而越来越多,由于服务器本身,网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控,也可以反映出hdfs集群的状况 2、工具 org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况 Us...

    2019-10-19 38热度
« 上页 636/5685 下页 »