文章列表-低调大师优秀的个人博客

您现在的位置是：首页>文章列表

文章列表

云时代的安全解读：云安全≠云计算安全

什么是云计算？要说起云计算，至今业界都没有一个非常标准的定义。每个企业都有自己定义的云计算。主要有两类，一个是跑在Map/Reduce框架下的计算平台，以此为代表的有hadoop，还有一些海量存储的，比如google的 bigtable等。另一类就是虚拟机平台，以此为代表是Amazon、VMware。云计算的另一个特征应该就是有“数据中心”，用土话来说就...
2019-10-19 26热度收藏
带你玩转 Big Data

Big Data（大数据）技术简析 Big Data是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常将Big Data挂在嘴边了。然而，Big Data作为一个专有...
2019-10-19 29热度收藏
世界杯项目案例:HDFS分布式文件系统

项目案例：HDFS分布式文件系统 Hadoop的简介：Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode...
2019-10-19 37热度收藏
卸载CDH5.10.0

集群中每个节点都要执行：停止服务 service cloudera-scm-server stop servicecloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者： for f in `rpm -qa | grep cloudera`; do rpm -e ${f}...
2019-10-19 37热度收藏
13个在企业中持上升势头的开源编程工具

在企业使用的编程工具，开源工具到处可见，常处于统治地位。原因很简单：开源协议被设计来允许用户修改、修复、拓展代码，并且具有社区的持续贡献力，开源力量在企业中蔓延... 来自“开源编程工具越来越受到欢迎”的消息，InfoWorld选出了13个在企业中持上升势头的开源编程工具。列表如下： 1.Rhomobile Rhodes Rhodes是一个新的开源解决方案...
2019-10-19 28热度收藏
部署Mahout

一、Mahout简介 Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。此...
2019-10-19 26热度收藏
深入 Facebook 消息应用服务器，互联网营销

要点： Facebook 统一消息系统（邮件、短信、聊天、消息等）；用HBase作为后端存储设施，每个用户数据存储在 HBase 的单独一行里，每个实体（文件夹、主题、消息等等）都存储在自己的HBase列中；涉及 HayStack 图片处理基础设施；使用Apache Lucene维护反向索引列表；镜像了大约 10% 用户的实时聊天和收件箱中的信息到测...
2019-10-19 32热度收藏
Elastic stack--ES/kibana/filebeat/metricbeat

背景：这篇文章主要是本人结合公司有关监控，详细介绍一下Elastic stack的几个组件：Elasticsearch/kibana/filebeat/metricbeat，通过安装配置部署，以及具体的case来介绍这四个组件，有关一些基本概念，直接从官方网站上copy,毕竟还是一首资料权威，本文英文水平有限，就不误人子弟了, 个人认为最核心的应该是ES;...
2019-10-19 72热度收藏
大数据实战之spark安装部署

楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨头...
2019-10-19 48热度收藏
CDH: unable to create new native thread

发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下，无法创建新的线程，可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...
2019-10-19 38热度收藏
spark 运维实战简介

Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章节再详细阐述。 1.1Spa...
2019-10-19 36热度收藏
CDH:cloudera-scm-server dead but pid file exists

报错 CM HDFS管理界面的报错（由于CM down这个信息是无法通过管理界面查看的，这里是从日志中获得的）： The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...
2019-10-19 55热度收藏
一键部署 spark

前言 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC...
2019-10-19 177热度收藏
Hive 基本环境部署

一、Hive 运行模式与Hadoop类似，Hive也有 3 种运行模式： 1. 内嵌模式将元数据保存在本地内嵌的 Derby数据库中，这是使用hive最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式这种模式是将元数据保存在本地独立的数据库中（一般是My...
2019-10-19 17热度收藏
Hive 工作原理详解

什么是Hive？ Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的...
2019-10-19 19热度收藏
Hive安装和配置

Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上，前提是这个机器必须要有hadoop软件（可以不启动hdfs,yarn等进程），因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...
2019-10-19 10热度收藏
Spark 安装与实战

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...
2019-10-19 16热度收藏
搭建Spark集群服务器

tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图：下载地址：https://d3kbcqa49mib13.cloudfr...
2019-10-19 30热度收藏
安装hadoop伪分布式模式(Single Node Cluster)

目的本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz SSH无密码登录配置因为本文档使用root用户安装，所以需要配置好root...
2019-10-19 28热度收藏
Flex 4 和 Flash Builder 4 正式版发布采用全新的Spark组件架构

Flex 4 正式版于昨天正式对外发布。Flex 4采用全新的Spark组件架构，支持Flash Catalyst和Flash Builder4的设计开发工作流，以及其他许许多多的新特性。 * 下载 Flex 4 SDK 一起发布的还有Flash Builder 4，有90多个新特性，大大提升了开发者的生产效率。 * 下载Flash Builder 4正式版...
2019-10-19 16热度收藏

« 上页 284/5337 下页 »

文章筛选

文章列表