搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

Hadoop HDFS概念学习系列之HDFS的特性和目标（九）

HDFS的目标 HDFS作为Hadoop的分布式文件存储系统和传统的分布式文件系统有很多相同的设计目标。例如，在可伸缩性及可用性上。但是HDFS的设计前提是假设和较早的文件系统有着明显的不同之处。

2017-11-13

Hadoop HDFS编程 API入门系列之合并小文件到HDFS（三）

; 7 import org.apache.hadoop.fs.FSDataInputStream; 8 import org.apache.hadoop.fs.FSDataOutputStream;

2017-11-12

Hadoop MapReduce编程 API入门系列之小文件合并（二十九）

Hadoop 自身提供的几种小文件合并机制 Hadoop HAR 将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map-reduce进行操作，打包后的文件由索引和存储两大部分组成

2017-11-12

解决伪分布式hadoop部署hive后，无法通过beeline连接

应用场景当在伪分布式hadoop2.6.0集群中，部署添加了hive2.1.1后，发现输入hive命令，可以进行连接hive，但是用beeline连接连不上。

2017-11-12

hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境

useradd -g4000-u4001hadoop # 所有的主机 hbase,zookeeper 安装目录都在此处 1 2 mkdir /opt/hadoop chown hadoop.hadoop

2017-11-07

基于Hadoop架构的分布式计算和存储技术及其应用

Hadoop架构的引入使建立大型商业集群、解决超大数据量处理的瓶颈难题成为可能，改善了传统海量数据访问带来的访问效率低下的状况，本文基于Hadoop架构设计了职工工资统计实例，并对该实例在单节点模式、伪分布模式和完全分布模式应用中的运行效率进行了分析和比较

2017-11-07

Hadoop MapReduce编程 API入门系列之计数器（二十七）

; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path

2017-11-06

Hadoop Hive概念学习系列之hive的数据压缩（七）

; Hive> set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec; Hive> insert overwrite

2017-11-06

Hadoop概念学习系列之pagerank的友情链接（三十八）

博主我带大家，弄清楚一个事实。比如，搜狐主页下方，有很多友情链接，这些友情链接，那可是一个位置就是多少钱。有人说，一个位置多少钱，这又没有给我带来点击量，那我干嘛还每年花上几十万，给搜狐，就那么放在友情链接里呢？不懂行情的人，说好傻啊。其实啊，虽然，搜狐，没给它们带来流量和点击量，但是，带来了pr值，即pagerank值啊！亲你的搜索引擎里的pr值或百度引擎值升高，就会造成你在自然排名中，你的排名放在前面。这就是自然排名啊。放在前面越前。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6056475.html，如需转载请自行联系原作者

2017-11-04

Spark 概念学习系列之Spark相比Hadoop MapReduce的特点（二）

Spark相比Hadoop MapReduce的特点（1）中间结果输出基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。

2017-11-02

Hadoop HDFS概念学习系列之HDFS的体系结构（十七）

下面简单介绍Hadoop是采用哪种机制来确保NameNode的安全的。第一种方法是，备份NameNade上持久化存储的元数据文件，然后将其转储到其他文件系统中，这种转储是同步的、原子的操作。

2017-10-15

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

2017-09-20

星环科技孙元浩：Hadoop应用的三个阶段

文章讲的是星环科技孙元浩：Hadoop应用的三个阶段， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop

2017-08-31

《Spark与Hadoop大数据分析》——3.2 学习Spark的核心概念

3.2 学习Spark的核心概念在本节，我们要了解 Spark 的核心概念。Spark 提供的主要抽象是弹性分布式数据集（Resilient Distributed Dataset，RDD）。因此，我们要了解 RDD 是什么，以及提供内存级性能和容错的 RDD 中包含的运算。但是，首先我们要学习使用 Spark 的方法。 3.2.1 使用 Spark 的方法使用 Spark 有两种方法，即 Spark Shell 和 Spark 应用程序。 1. Spark Shell 这是可以利用 Scala、Python 或 R 进行数据探索的交互式命令行（read-eval-print loop，REPL）功能：要获取 spark-shell 选项的完整列表，请使用以下命令：探索 Spark Scala shell Scala shell 提供了许

2017-08-31

优酷数据架构师：搭建Hadoop平台三步走

文章讲的是优酷数据架构师：搭建Hadoop平台三步走， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop

2017-08-31

关于Hadoop你不得不知道的12个事实

本文讲的是关于Hadoop你不得不知道的12个事实, 现如今，Apache Hadoop已经无人不知无人不晓。

2017-08-31

Hortonworks Q1财报：超出华尔街预期，但Hadoop前路漫漫

ZDNet至顶网软件频道消息：Hortonworks 是一家从雅虎剥离出来的，基于 Hadoop 提供大数据服务的公司，开发、经销并支持完全开源的面向企业的Apache Hadoop 发行版，并提供培训

2017-08-22

前雅虎CTO：Hadoop扩展过程中的7个危险信号

ZDNet至顶网软件频道消息：本文作者Raymie Stata是Hadoop即服务公司Altiscale的创始人兼CEO，也是雅虎前任CTO，协助雅虎完成开源策略，并参与Apache Hadoop项目的发起

2017-08-08

hadoop-0.20.1+120 hive-0.3.99.1+0 试用hwi（hive web interface

id=3274&cid=12 [日期：2010-07-04] 来源：淘宝数据平台团队作者： [字体：大中小] hive迟迟不能支持hadoop 0.20的局面解决了，小试一把。

2017-08-01

在大数据里：Hadoop可能是你的救命稻草

用于数据分析的开源Hadoop架构的巨大增长是由其结构化和非结构化数据量的增长所驱动的，并且很多权威组织也预测，未来Hadoop架构还将继续增长，并需要复杂的可访问工具来从数据中提取业务和市场信息。

2017-08-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

精选列表

Hadoop HDFS概念学习系列之HDFS的特性和目标（九）

Hadoop HDFS编程 API入门系列之合并小文件到HDFS（三）

Hadoop MapReduce编程 API入门系列之小文件合并（二十九）

解决伪分布式hadoop部署hive后，无法通过beeline连接

hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境

基于Hadoop架构的分布式计算和存储技术及其应用

Hadoop MapReduce编程 API入门系列之计数器（二十七）

Hadoop Hive概念学习系列之hive的数据压缩（七）

Hadoop概念学习系列之pagerank的友情链接（三十八）

Spark 概念学习系列之Spark相比Hadoop MapReduce的特点（二）

Hadoop HDFS概念学习系列之HDFS的体系结构（十七）

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

星环科技孙元浩：Hadoop应用的三个阶段

《Spark与Hadoop大数据分析》——3.2 学习Spark的核心概念

优酷数据架构师：搭建Hadoop平台三步走

关于Hadoop你不得不知道的12个事实

Hortonworks Q1财报：超出华尔街预期，但Hadoop前路漫漫

前雅虎CTO：Hadoop扩展过程中的7个危险信号

hadoop-0.20.1+120 hive-0.3.99.1+0 试用hwi（hive web interface

在大数据里：Hadoop可能是你的救命稻草

资源下载

Mario

腾讯云软件源

Nacos

Rocky Linux

欢迎您来访！