低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 低调大师
  • SpringBoot
  • 框架
  • 数据库
  • Linux
  • 大数据
  • 开发工具
  • 大师作品
  • 管理工具
  • 服务器
  • 文章摘抄
  • 面试锦集
  • 消息队列
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯

文章列表

  • 架构设计文档提纲简描

    架构设计文档提纲简描

    提纲很简单的: 一、概述 二、目的 三、项目背景 四、系统建设目标 五、参考资料 六、架构设计 6.1 架构分析 6.2 设计思想 6.3 架构体系 6.4 系统视图 6.5 模块划分 6.5.1 模块描述 6.5.2 模块接口

    2019-10-19 20热度
  • IT职业技能谱十三张

    IT职业技能谱十三张

     1 程序开发语言综述 2 iOS开发工程师必备技能 3 运维工程师必备技能 4 前端工程师必备技能 5 大数据工程师必备技能 6 云计算工程师必备技能 7 安全工程师必备技能 8 移动无线测试工程师必备技能 9 嵌入式开发必备技能 10 微服务架构技能图谱 11 Hadoop家族技能图谱 12 OpenResty技能图谱 13 Co...

    2019-10-19 29热度
  • 云时代的安全解读:云安全≠云计算安全

    云时代的安全解读:云安全≠云计算安全

    什么是云计算? 要说起云计算,至今业界都没有一个非常标准的定义。每个企业都有自己定义的云计算。主要有两类,一个是跑在Map/Reduce框架下的计算平台,以此为代表的有hadoop,还有一些海量存储的,比如google的 bigtable等。另一类就是虚拟机平台,以此为代表是Amazon、VMware。 云计算的另一个特征应该就是有“数据中心”,用土话来说就...

    2019-10-19 17热度
  • 带你玩转 Big Data

    带你玩转 Big Data

    Big Data(大数据)技术简析 Big Data是近来的一个技术热点,但从名字就能判断它并不是什么新词。毕竟,大是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。 然而,Big Data作为一个专有...

    2019-10-19 18热度
  • 世界杯项目案例:HDFS分布式文件系统

    世界杯项目案例:HDFS分布式文件系统

    项目案例:HDFS分布式文件系统 Hadoop的简介:Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作;DataNode...

    2019-10-19 22热度
  • 卸载CDH5.10.0

    卸载CDH5.10.0

    集群中每个节点都要执行: 停止服务 service cloudera-scm-server stop servicecloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者: for f in `rpm -qa | grep cloudera`; do rpm -e ${f}...

    2019-10-19 26热度
  • 13个在企业中持上升势头的开源编程工具

    13个在企业中持上升势头的开源编程工具

    在企业使用的编程工具,开源工具到处可见,常处于统治地位。原因很简单:开源协议被设计来允许用户修改、修复、拓展代码,并且具有社区的持续贡献力,开源力量在企业中蔓延... 来自“开源编程工具越来越受到欢迎”的消息,InfoWorld选出了13个在企业中持上升势头的开源编程工具。 列表如下: 1.Rhomobile Rhodes Rhodes是一个新的开源解决方案...

    2019-10-19 14热度
  • 部署Mahout

    部署Mahout

    一、Mahout简介 Mahout是ApacheSoftwareFoundation(ASF)旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。Mahout包含许多实现,包括集群、分类、推荐过滤、频繁子项挖掘。此...

    2019-10-19 11热度
  • 深入 Facebook 消息应用服务器,互联网营销

    深入 Facebook 消息应用服务器,互联网营销

    要点: Facebook 统一消息系统(邮件、短信、聊天、消息等); 用HBase作为后端存储设施,每个用户数据存储在 HBase 的单独一行里,每个实体(文件夹、主题、消息等等)都存储在自己的HBase列中; 涉及 HayStack 图片处理基础设施; 使用Apache Lucene维护反向索引列表; 镜像了大约 10% 用户的实时聊天和收件箱中的信息到测...

    2019-10-19 15热度
  • Elastic stack--ES/kibana/filebeat/metricbeat

    Elastic stack--ES/kibana/filebeat/metricbeat

    背景: 这篇文章主要是本人结合公司有关监控,详细介绍一下Elastic stack的几个组件:Elasticsearch/kibana/filebeat/metricbeat,通过安装配置部署,以及具体的case来介绍这四个组件,有关一些基本概念,直接从官方网站上copy,毕竟还是一首资料权威,本文英文水平有限,就不误人子弟了, 个人认为最核心的应该是ES;...

    2019-10-19 10热度
  • 大数据实战之spark安装部署

    大数据实战之spark安装部署

    楔子 我是在2013年底第一次听说Spark,当时我对Scala很感兴趣,而Spark就是使用Scala编写的。一段时间之后,我做了一个有趣的数据科学项目,它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说,这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员,我都非常推荐这个项目。 今天,Spark已经被很多巨头...

    2019-10-19 18热度
  • CDH: unable to create new native thread

    CDH: unable to create new native thread

    发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下,无法创建新的线程,可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...

    2019-10-19 20热度
  • spark 运维实战 简介

    spark 运维实战 简介

    Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目,本章只进行简要介绍,后续章节再详细阐述。 1.1Spa...

    2019-10-19 7热度
  • CDH:cloudera-scm-server dead but pid file exists

    CDH:cloudera-scm-server dead but pid file exists

    报错 CM HDFS管理界面的报错(由于CM down这个信息是无法通过管理界面查看的,这里是从日志中获得的): The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...

    2019-10-19 8热度
  • 一键部署 spark

    一键部署 spark

    前言 Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC...

    2019-10-19 16热度
  • Hive 基本环境部署

    Hive 基本环境部署

    一、Hive 运行模式 与Hadoop类似,Hive也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby数据库中,这是使用hive最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中(一般是My...

    2019-10-19 10热度
  • Hive 工作原理详解

    Hive 工作原理详解

    什么是Hive? Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的...

    2019-10-19 6热度
  • Hive安装和配置

    Hive安装和配置

    Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上,前提是这个机器必须要有hadoop软件(可以不启动hdfs,yarn等进程),因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...

    2019-10-19 6热度
  • Spark 安装与实战

    Spark 安装与实战

    折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...

    2019-10-19 5热度
  • 搭建Spark集群服务器

    搭建Spark集群服务器

    tidb1.0开始支持spark,有个组件tiSpark,不过目前只支持spark2.1版本。所以为了启用tiSpark,还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上,我找到了with hadoop的版本。如下图: 下载地址:https://d3kbcqa49mib13.cloudfr...

    2019-10-19 6热度
« 上页 60/5113 下页 »