搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）

HDFS升级和回滚机制作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现

2017-11-03

Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）

想说的是，hive只是个工具，包括它的数据分析，依赖于mapreduce，它的数据管理，依赖于外部系统。 metastore_db，是在哪目录下运行，在哪里产生数据。由此可见，你在哪路径下，执行hive指令，就在哪路径下生成metastore_db。建一套数据库文件，这样是极其不合适的，公司里每个人若不一样，则会显得非常混杂。导致员工之间无法公用交流。为此，需公用的，mysql。这也是为什么，在安装hive时，也需要配置mysql了。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5728406.html，如需转载请自行联系原作者

2017-09-10

思科“打包”Hadoop 与多家经销商建立合作伙伴关系

另外，欲将Hadoop，无论是Cloudera版的、Hortonworks版的或MapR版的，安装到思科的统一计算系统（Unified Computing System，简称UCS）的机架和刀片服务器上

2017-09-04

Hadoop的namenode的管理机制，工作机制和datanode的工作原理

（4）#hadoop fs -put .

2017-09-03

《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark

第3章深入剖析Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API：DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念，包括运行时的架构和它在 Spark 各种资源管理器上的表现。本章分为以下子主题：

2017-09-01

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode

2017-09-01

《Spark与Hadoop大数据分析》——1.4 实际环境中的用例

1.4 实际环境中的用例让我们来看看大数据分析用例的不同类型。总体而言，大数据分析用例可以分为以下 5 类：下表显示了大数据分析的典型用例：

2017-09-01

《Spark与Hadoop大数据分析》——3.3 Spark 程序的生命周期

3.3 Spark 程序的生命周期以下步骤讲解了配备 Standalone 资源管理器的 Spark 应用程序的生命周期，图3-8 显示了Spark程序的调度过程：（1）用户使用 spark-submit 命令提交一个 Spark 应用程序。（2）spark-submit 在同一节点（客户端模式）或集群（集群模式）上启动驱动进程，并调用由用户指定的 main 方法。（3）驱动进程联系集群管理器，根据提供的配置参数来请求启动执行进程 JVM 所需的资源。（4）集群管理器在工作机节点上启动执行进程 JVM。（5）驱动进程扫描用户应用程序。根据程序中的 RDD 动作和变换，Spark 会创建一个运算图。（6）当调用一个动作（如 collect）时，图会被提交到一个有向无环图（DAG）调度程序。DAG 调度程序将运算图划分成一些阶段。（7

2017-09-01

红帽与Cloudera结成大数据联盟释放企业级Hadoop潜能

ZDNet至顶网软件频道消息：红帽公司近日宣布和基于ApacheTM Hadoop提供企业级分析数据管理的领导者Cloudera结成联盟，携手为企业带来包括数据集成和应用开发工具，以及数据平台在内的软件解决方案

2017-08-22

英特尔马子雅：Spark与Hadoop合体变大生态系统

在几年之前Hadoop是特别热的，慢慢的Hadoop加入了Spark的成份，她称，因为Hadoop的数据处理的模块叫MapReduce，它的运行速度不是特别令人满意。

2017-08-09

解析IBM Power8与Hadoop的不解之缘

Power8让Hadoop应用性能提升3.65倍 Hadoop是一个能够对大数据进行分布式存储和处理的软件框架，它具有高可靠性、高扩展、容错、高效、低成本的特点，一度广受互联网公司青睐，企业级用户也越来越多的接受

2017-08-02

WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark

现在，业界在处理海量日志采用比较流行的Hadoop或Spark等分布式计算系统，这样的开源技术无需考虑系统架构。

2017-08-02

打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗？

大数据应用一般采用Hadoop数据库，主要得益于其在数据提取、转换和加载(ETL)方面上的天然优势。

2017-08-02

华为服务器助力全球最大私有Hadoop集群发力大数据

Criteo网络的运营核心，是世界上最大的私有Hadoop平台。

2017-08-02

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

对于寻找方法快速吸收数据到Hadoop数据池的企业， Kafka是一个伟大的选择。Kafka是什么? 它是一个分布式，可扩展的可靠消息系统，把采取发布-订阅模型的应用程序/数据流融为一体。

2017-08-01

Hadoop工具引发的改变和提升：让数据仓库迁移更轻松

一款来自Cloudera公司的Hadoop工具Navigator Optimizer可能是个不错的选择。

2017-08-01

Hadoop创始人寄语2017：五种让开源项目成功的方法

谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业，从制造到电信，再到金融等等。

2017-08-01

Hadoop让大数据在零售业变得更有价值

Hadoop：跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的。核心代码主要是用Java编写的，但有一些是用C编写的。

2017-08-01

《Hadoop实战第2版》——2.5节日志分析及几个小技巧

2.5 日志分析及几个小技巧如果大家在安装的时候遇到问题，或者按步骤安装完成却不能运行Hadoop，那么建议仔细查看日志信息。Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

2017-08-01

《R与Hadoop大数据分析实战》一1.6 HDFS和MapReduce架构

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章，第1.6节，作者（印）Vignesh Prajapati，更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.6 HDFS

2017-07-03

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）

Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）

思科“打包”Hadoop 与多家经销商建立合作伙伴关系

Hadoop的namenode的管理机制，工作机制和datanode的工作原理

《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

《Spark与Hadoop大数据分析》——1.4 实际环境中的用例

《Spark与Hadoop大数据分析》——3.3 Spark 程序的生命周期

红帽与Cloudera结成大数据联盟 释放企业级Hadoop潜能

英特尔马子雅：Spark与Hadoop合体变大生态系统

解析IBM Power8与Hadoop的不解之缘

WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark

打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗？

华为服务器助力全球最大私有Hadoop集群发力大数据

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

Hadoop工具引发的改变和提升：让数据仓库迁移更轻松

Hadoop创始人寄语2017：五种让开源项目成功的方法

Hadoop让大数据在零售业变得更有价值

《Hadoop实战第2版》——2.5节日志分析及几个小技巧

《R与Hadoop大数据分析实战》一1.6 HDFS和MapReduce架构

资源下载

Mario

Nacos

Spring

Sublime Text

欢迎您来访！

《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark

红帽与Cloudera结成大数据联盟释放企业级Hadoop潜能