搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）

HDFS升级和回滚机制作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现

2017-11-02

Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）

想说的是，hive只是个工具，包括它的数据分析，依赖于mapreduce，它的数据管理，依赖于外部系统。 metastore_db，是在哪目录下运行，在哪里产生数据。由此可见，你在哪路径下，执行hive指令，就在哪路径下生成metastore_db。建一套数据库文件，这样是极其不合适的，公司里每个人若不一样，则会显得非常混杂。导致员工之间无法公用交流。为此，需公用的，mysql。这也是为什么，在安装hive时，也需要配置mysql了。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5728406.html，如需转载请自行联系原作者

2017-09-09

思科“打包”Hadoop 与多家经销商建立合作伙伴关系

另外，欲将Hadoop，无论是Cloudera版的、Hortonworks版的或MapR版的，安装到思科的统一计算系统（Unified Computing System，简称UCS）的机架和刀片服务器上

2017-09-03

Hadoop的namenode的管理机制，工作机制和datanode的工作原理

（4）#hadoop fs -put .

2017-09-02

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode

2017-08-31

《Spark与Hadoop大数据分析》——1.4 实际环境中的用例

1.4 实际环境中的用例让我们来看看大数据分析用例的不同类型。总体而言，大数据分析用例可以分为以下 5 类：下表显示了大数据分析的典型用例：

2017-08-31

《Spark与Hadoop大数据分析》——3.3 Spark 程序的生命周期

3.3 Spark 程序的生命周期以下步骤讲解了配备 Standalone 资源管理器的 Spark 应用程序的生命周期，图3-8 显示了Spark程序的调度过程：（1）用户使用 spark-submit 命令提交一个 Spark 应用程序。（2）spark-submit 在同一节点（客户端模式）或集群（集群模式）上启动驱动进程，并调用由用户指定的 main 方法。（3）驱动进程联系集群管理器，根据提供的配置参数来请求启动执行进程 JVM 所需的资源。（4）集群管理器在工作机节点上启动执行进程 JVM。（5）驱动进程扫描用户应用程序。根据程序中的 RDD 动作和变换，Spark 会创建一个运算图。（6）当调用一个动作（如 collect）时，图会被提交到一个有向无环图（DAG）调度程序。DAG 调度程序将运算图划分成一些阶段。（7

2017-08-31

《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark

第3章深入剖析Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API：DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念，包括运行时的架构和它在 Spark 各种资源管理器上的表现。本章分为以下子主题：

2017-08-31

红帽与Cloudera结成大数据联盟释放企业级Hadoop潜能

ZDNet至顶网软件频道消息：红帽公司近日宣布和基于ApacheTM Hadoop提供企业级分析数据管理的领导者Cloudera结成联盟，携手为企业带来包括数据集成和应用开发工具，以及数据平台在内的软件解决方案

2017-08-21

英特尔马子雅：Spark与Hadoop合体变大生态系统

在几年之前Hadoop是特别热的，慢慢的Hadoop加入了Spark的成份，她称，因为Hadoop的数据处理的模块叫MapReduce，它的运行速度不是特别令人满意。

2017-08-08

打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗？

大数据应用一般采用Hadoop数据库，主要得益于其在数据提取、转换和加载(ETL)方面上的天然优势。

2017-08-01

华为服务器助力全球最大私有Hadoop集群发力大数据

Criteo网络的运营核心，是世界上最大的私有Hadoop平台。

2017-08-01

WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark

现在，业界在处理海量日志采用比较流行的Hadoop或Spark等分布式计算系统，这样的开源技术无需考虑系统架构。

2017-08-01

解析IBM Power8与Hadoop的不解之缘

Power8让Hadoop应用性能提升3.65倍 Hadoop是一个能够对大数据进行分布式存储和处理的软件框架，它具有高可靠性、高扩展、容错、高效、低成本的特点，一度广受互联网公司青睐，企业级用户也越来越多的接受

2017-08-01

Hadoop创始人寄语2017：五种让开源项目成功的方法

谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业，从制造到电信，再到金融等等。

2017-07-31

Hadoop让大数据在零售业变得更有价值

Hadoop：跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的。核心代码主要是用Java编写的，但有一些是用C编写的。

2017-07-31

Hadoop工具引发的改变和提升：让数据仓库迁移更轻松

一款来自Cloudera公司的Hadoop工具Navigator Optimizer可能是个不错的选择。

2017-07-31

《Hadoop实战第2版》——2.5节日志分析及几个小技巧

2.5 日志分析及几个小技巧如果大家在安装的时候遇到问题，或者按步骤安装完成却不能运行Hadoop，那么建议仔细查看日志信息。Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

2017-07-31

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

对于寻找方法快速吸收数据到Hadoop数据池的企业， Kafka是一个伟大的选择。Kafka是什么? 它是一个分布式，可扩展的可靠消息系统，把采取发布-订阅模型的应用程序/数据流融为一体。

2017-07-31

《Spark与Hadoop大数据分析》一一3.2 学习Spark的核心概念

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章，第3.2节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-02

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）

Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）

思科“打包”Hadoop 与多家经销商建立合作伙伴关系

Hadoop的namenode的管理机制，工作机制和datanode的工作原理

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

《Spark与Hadoop大数据分析》——1.4 实际环境中的用例

《Spark与Hadoop大数据分析》——3.3 Spark 程序的生命周期

《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark

红帽与Cloudera结成大数据联盟 释放企业级Hadoop潜能

英特尔马子雅：Spark与Hadoop合体变大生态系统

打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗？

华为服务器助力全球最大私有Hadoop集群发力大数据

WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark

解析IBM Power8与Hadoop的不解之缘

Hadoop创始人寄语2017：五种让开源项目成功的方法

Hadoop让大数据在零售业变得更有价值

Hadoop工具引发的改变和提升：让数据仓库迁移更轻松

《Hadoop实战第2版》——2.5节日志分析及几个小技巧

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

《Spark与Hadoop大数据分析》一一3.2 学习Spark的核心概念

资源下载

腾讯云软件源

Nacos

Rocky Linux

WebStorm

欢迎您来访！

《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark

红帽与Cloudera结成大数据联盟释放企业级Hadoop潜能