笔记列表-低调大师优秀个人博客

文章列表

共 97898 篇

2019-10-19

世界杯项目案例:HDFS分布式文件系统

项目案例：HDFS分布式文件系统 Hadoop的简介：Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作；DataNode...

905

阅读约5分钟

2019-10-19

卸载CDH5.10.0

集群中每个节点都要执行：停止服务 service cloudera-scm-server stop servicecloudera-scm-agent stop 卸载安装包 yum remove -y cloudera* yum clean all 或者： for f in `rpm -qa | grep cloudera`; do rpm -e ${f}...

731

阅读约6分钟

2019-10-19

13个在企业中持上升势头的开源编程工具

在企业使用的编程工具，开源工具到处可见，常处于统治地位。原因很简单：开源协议被设计来允许用户修改、修复、拓展代码，并且具有社区的持续贡献力，开源力量在企业中蔓延... 来自“开源编程工具越来越受到欢迎”的消息，InfoWorld选出了13个在企业中持上升势头的开源编程工具。列表如下： 1.Rhomobile Rhodes Rhodes是一个新的开源解决方案...

897

阅读约8分钟

2019-10-19

深入 Facebook 消息应用服务器，互联网营销

要点： Facebook 统一消息系统（邮件、短信、聊天、消息等）；用HBase作为后端存储设施，每个用户数据存储在 HBase 的单独一行里，每个实体（文件夹、主题、消息等等）都存储在自己的HBase列中；涉及 HayStack 图片处理基础设施；使用Apache Lucene维护反向索引列表；镜像了大约 10% 用户的实时聊天和收件箱中的信息到测...

860

阅读约10分钟

2019-10-19

部署Mahout

一、Mahout简介 Mahout是ApacheSoftwareFoundation（ASF）旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。ApacheMahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。此...

887

阅读约12分钟

2019-10-19

大数据实战之spark安装部署

楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨头...

1057

阅读约19分钟

2019-10-19

Elastic stack--ES/kibana/filebeat/metricbeat

背景：这篇文章主要是本人结合公司有关监控，详细介绍一下Elastic stack的几个组件：Elasticsearch/kibana/filebeat/metricbeat，通过安装配置部署，以及具体的case来介绍这四个组件，有关一些基本概念，直接从官方网站上copy,毕竟还是一首资料权威，本文英文水平有限，就不误人子弟了, 个人认为最核心的应该是ES;...

915

阅读约48分钟

2019-10-19

CDH: unable to create new native thread

发现问题 CDH-4.7.1 NameNode is down 启动NameNode报错如下，无法创建新的线程，可能是使用的线程数超过max user processes设定的阈值 2018-08-2608:44:00,532INFOorg.apache.hadoop.http.HttpServer:Jettyboundtoport50070 2018-08...

760

阅读约14分钟

2019-10-19

spark 运维实战简介

Spark大数据计算框架、架构、计算模型和数据管理策略及 Spark在工业界的应用。围绕 Spark的 BDAS项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章节再详细阐述。 1.1Spa...

790

阅读约9分钟

2019-10-19

CDH:cloudera-scm-server dead but pid file exists

报错 CM HDFS管理界面的报错（由于CM down这个信息是无法通过管理界面查看的，这里是从日志中获得的）： The health test result for HDFS_CANARY_HEALTH has become bad: Canary test failed to create parent directory for /opt/tmp/.c...

898

阅读约32分钟

2019-10-19

一键部署 spark

前言 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC...

1461

阅读约3分钟

2019-10-19

Hive 基本环境部署

一、Hive 运行模式与Hadoop类似，Hive也有 3 种运行模式： 1. 内嵌模式将元数据保存在本地内嵌的 Derby数据库中，这是使用hive最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式这种模式是将元数据保存在本地独立的数据库中（一般是My...

788

阅读约33分钟

2019-10-19

Hive 工作原理详解

什么是Hive？ Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的...

745

阅读约8分钟

2019-10-19

Hive安装和配置

Hive简介 (1) hive不支持OLTP处理 (2)Hive 1.2 及之后需要java1.7或更新版本 Hive安装 (1)hive可以安装在任何一个机器上，前提是这个机器必须要有hadoop软件（可以不启动hdfs,yarn等进程），因为Hive需要用到hadoop软件下的一些jar包 (2)hive1.x默认在哪个目录下启动就会在该目录下创建一个目...

824

阅读约12分钟

2019-10-19

Spark 安装与实战

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。 1. 安装 JDK 1.7 yumsearchopenjdk-devel sudoyuminstalljava-1.7.0-openjdk-devel.x86_64 /usr/sbin/alternativ...

772

阅读约12分钟

2019-10-19

搭建Spark集群服务器

tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图：下载地址：https://d3kbcqa49mib13.cloudfr...

824

阅读约14分钟

2019-10-19

安装hadoop伪分布式模式(Single Node Cluster)

目的本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz SSH无密码登录配置因为本文档使用root用户安装，所以需要配置好root...

739

阅读约26分钟

2019-10-19

Flex 4 和 Flash Builder 4 正式版发布采用全新的Spark组件架构

Flex 4 正式版于昨天正式对外发布。Flex 4采用全新的Spark组件架构，支持Flash Catalyst和Flash Builder4的设计开发工作流，以及其他许许多多的新特性。 * 下载 Flex 4 SDK 一起发布的还有Flash Builder 4，有90多个新特性，大大提升了开发者的生产效率。 * 下载Flash Builder 4正式版...

611

阅读约1分钟

2019-10-19

史上最恶毒10大病毒 Conficker排名第八

5月3日消息，据vnunet.com网站报道，美国旧金山的专栏作家伊恩·汤姆森（Iain Thomson）和肖恩·尼古拉斯(Shaun Nichols)发表了他们认为迄今为止最恶毒的10个计算机病毒排行榜。史上最恶毒10大病毒 1.Creeper Creeper可能是第一个计算机病毒，尽管这种说法还有争议。这个病毒是在1971年由Bob Thomas使用T...

629

阅读约3分钟

2019-10-19

安装hadoop集群(Multi Cluster)

配置环境本文档安装hadoop集群环境，一个master作为namenode节点，一个slave作为datanode节点： (1) master： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz (2) slave： os: CentOS rele...

738

阅读约22分钟

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

文章列表

世界杯项目案例:HDFS分布式文件系统

卸载CDH5.10.0

13个在企业中持上升势头的开源编程工具

深入 Facebook 消息应用服务器，互联网营销

部署Mahout

大数据实战之spark安装部署

Elastic stack--ES/kibana/filebeat/metricbeat

CDH: unable to create new native thread

spark 运维实战 简介

CDH:cloudera-scm-server dead but pid file exists

一键部署 spark

Hive 基本环境部署

Hive 工作原理详解

Hive安装和配置

Spark 安装与实战

搭建Spark集群服务器

安装hadoop伪分布式模式(Single Node Cluster)

Flex 4 和 Flash Builder 4 正式版发布 采用全新的Spark组件架构

史上最恶毒10大病毒 Conficker排名第八

安装hadoop集群(Multi Cluster)

资源下载

Mario

腾讯云软件源

Rocky Linux

WebStorm

欢迎您来访！

spark 运维实战简介

Flex 4 和 Flash Builder 4 正式版发布采用全新的Spark组件架构