文章列表
-
架构设计文档提纲简描
![架构设计文档提纲简描]()
提纲很简单的： 一、概述 二、目的 三、项目背景 四、系统建设目标 五、参考资料 六、架构设计 6.1 架构分析 6.2 设计思想 6.3 架构体系 6.4 系统视图 6.5 模块划分 6.5.1 模块描述 6.5.2 模块接口
2019-10-19 20热度 收藏 -
IT职业技能谱十三张
![IT职业技能谱十三张]()
1 程序开发语言综述 2 iOS开发工程师必备技能 3 运维工程师必备技能 4 前端工程师必备技能 5 大数据工程师必备技能 6 云计算工程师必备技能 7 安全工程师必备技能 8 移动无线测试工程师必备技能 9 嵌入式开发必备技能 10 微服务架构技能图谱 11 Hadoop家族技能图谱 12 OpenResty技能图谱 13 Co...
2019-10-19 29热度 收藏 -
云时代的安全解读：云安全≠云计算安全
![云时代的安全解读：云安全≠云计算安全]()
什么是云计算？ 要说起云计算，至今业界都没有一个非常标准的定义。每个企业都有自己定义的云计算。主要有两类，一个是跑在Map/Reduce框架下的计算平台，以此为代表的有hadoop，还有一些海量存储的，比如google的 bigtable等。另一类就是虚拟机平台，以此为代表是Amazon、VMware。 云计算的另一个特征应该就是有“数据中心”，用土话来说就...
2019-10-19 17热度 收藏 -
带你玩转 Big Data
![带你玩转 Big Data]()
Big Data（大数据）技术简析 Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。 然而，Big Data作为一个专有...
2019-10-19 18热度 收藏 -
世界杯项目案例:HDFS分布式文件系统
![世界杯项目案例:HDFS分布式文件系统]()
项目案例：HDFS分布式文件系统 Hadoop的简介：Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode...
2019-10-19 22热度 收藏 -
卸载CDH5.10.0
![卸载CDH5.10.0]()
集群中每个节点都要执行： 停止服务 service cloudera-scm-server stop servicecloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者： for f in `rpm -qa | grep cloudera`; do rpm -e ${f}...
2019-10-19 26热度 收藏 -
13个在企业中持上升势头的开源编程工具
![13个在企业中持上升势头的开源编程工具]()
在企业使用的编程工具，开源工具到处可见，常处于统治地位。原因很简单：开源协议被设计来允许用户修改、修复、拓展代码，并且具有社区的持续贡献力，开源力量在企业中蔓延... 来自“开源编程工具越来越受到欢迎”的消息，InfoWorld选出了13个在企业中持上升势头的开源编程工具。 列表如下： 1.Rhomobile Rhodes Rhodes是一个新的开源解决方案...
2019-10-19 14热度 收藏 -
部署Mahout
![部署Mahout]()
一、Mahout简介 Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。此...
2019-10-19 11热度 收藏 -
深入 Facebook 消息应用服务器，互联网营销
![深入 Facebook 消息应用服务器，互联网营销]()
要点： Facebook 统一消息系统（邮件、短信、聊天、消息等）； 用HBase作为后端存储设施，每个用户数据存储在 HBase 的单独一行里，每个实体（文件夹、主题、消息等等）都存储在自己的HBase列中； 涉及 HayStack 图片处理基础设施； 使用Apache Lucene维护反向索引列表； 镜像了大约 10% 用户的实时聊天和收件箱中的信息到测...
2019-10-19 15热度 收藏 -
Elastic stack--ES/kibana/filebeat/metricbeat
![Elastic stack--ES/kibana/filebeat/metricbeat]()
背景： 这篇文章主要是本人结合公司有关监控，详细介绍一下Elastic stack的几个组件：Elasticsearch/kibana/filebeat/metricbeat，通过安装配置部署，以及具体的case来介绍这四个组件，有关一些基本概念，直接从官方网站上copy,毕竟还是一首资料权威，本文英文水平有限，就不误人子弟了, 个人认为最核心的应该是ES;...
2019-10-19 10热度 收藏 -
大数据实战之spark安装部署
![大数据实战之spark安装部署]()
楔子 我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。 今天，Spark已经被很多巨头...
2019-10-19 18热度 收藏 -
CDH: unable to create new native thread
![CDH: unable to create new native thread]()
发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下，无法创建新的线程，可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...
2019-10-19 20热度 收藏 -
spark 运维实战 简介
![spark 运维实战 简介]()
Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章节再详细阐述。 1.1Spa...
2019-10-19 7热度 收藏 -
CDH:cloudera-scm-server dead but pid file exists
![CDH:cloudera-scm-server dead but pid file exists]()
报错 CM HDFS管理界面的报错（由于CM down这个信息是无法通过管理界面查看的，这里是从日志中获得的）： The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...
2019-10-19 8热度 收藏 -
一键部署 spark
![一键部署 spark]()
前言 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC...
2019-10-19 16热度 收藏 -
Hive 基本环境部署
![Hive 基本环境部署]()
一、Hive 运行模式 与Hadoop类似，Hive也有 3 种运行模式： 1. 内嵌模式 将元数据保存在本地内嵌的 Derby数据库中，这是使用hive最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是My...
2019-10-19 10热度 收藏 -
Hive 工作原理详解
![Hive 工作原理详解]()
什么是Hive？ Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的...
2019-10-19 6热度 收藏 -
Hive安装和配置
![Hive安装和配置]()
Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上，前提是这个机器必须要有hadoop软件（可以不启动hdfs,yarn等进程），因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...
2019-10-19 6热度 收藏 -
Spark 安装与实战
![Spark 安装与实战]()
折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...
2019-10-19 5热度 收藏 -
搭建Spark集群服务器
![搭建Spark集群服务器]()
tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图： 下载地址：https://d3kbcqa49mib13.cloudfr...
2019-10-19 6热度 收藏
微信收款码
支付宝收款码