Hadoop大数据开发框架学习
一.Hadoop框架介绍 hadoop是Apache发布的开源分布式基础架构他的两个核心是 HDFSHDFS是Hadoop的文件管理系统，负责了海量数据的存储，是做大数据的基础 MapReduceMapReduce则是为了海量数据提供了计算 两部分就组成了Hadoop的分布式基础架构 二.HDFS介绍 HDFS作为Hadoop为存储海量数据，自然有着与传统文件系统有着不同的结构，它是以Linux文件系统的基础的架构，构建里一套分布式文件系统，它是由一个NameNode和多台DataNode组成的。他通过将文件进行划分，分成多个数据块进行存储。（默认64MB，一般设置为128MB，备份X3）NameNode 管理文件系统的命名空间，存放文件元数据 维护文件系统的所有文件和目录，文件与数据块的映射 记录每个文件中各个块所在数据节点的信息 DataNode 存储并检索数据块 香NameNode更新所存储块的列表 优点 适合大文件存储，有副本策略 可以构建在廉价机器上，有一定容错和恢复机制 支持流式数据访问，一次写入多次读取 缺点 不适合大量小文件存储 不适合并发写入，不支持文件随机修改 不支...
