首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/621752

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据学习笔记(二):Hadoop2.x概述

什么是Hadoop 开源的 可靠的:可以通过备份的数据恢复 可扩展:机器动态的增加或减少不会影响数据的存储和计算 分布式计算:多台机器并行的处理 Hadoop能做什么 海量数据的存储——HDFS 存储海量数据 动态的添加机器 备份 当数据收到损坏时,快速自动恢复 海量数据分析——mapreduce 核心理念:分而治之 处理海量的数据获得有价值的信息 mapreduce原理: 假设有海量的数据要我们来数其中各个图形的数目,我们可以简化一下,如上图,要数左边的个数,可以分给两个计算机去处理,最后何总得到结果。同样的,如果有大量数据,就可以分给百台计算机去处理。 任务调度和集群资源管理——YARN 资源管理(cpu,内存) 通过资源管理来合理安排任务,进行任务调度 Hadoop特点 扩容能力:动态增加或减少,并不会影响集群计算 成本低:普通的机器也能作为集群的结点 高效率:分布式计算 可靠性:默认备份三份,也可以指定备份多少 应用场景 日志分析:公司的每天产生的日志分析 推荐系统:淘宝购买物品之后,分析你的购物,推荐物品 来看一下课程中给的一张图:

HBase学习&实践笔记之HBase初探(to be continued...)

HBase初探 To be continued... HBase架构 HBASE的逻辑&物理存储结构 启动HBase HBase version: 1.2.6 Hadoop version: 3.0.0 伪分布式启动 hbasedir/conf/hbase-env.xml配好JAVA_HOME。 export JAVA_HOME=$(/usr/libexec/java_home) 我做了几个系统宏,方便命令执行。 alias starthbase='sudo /Users/fujianbo/Applications/hbase-1.2.6/bin/start-hbase.sh' alias stophbase='sudo /Users/fujianbo/Applications/hbase-1.2.6/bin/stop-hbase.sh' alias startresthbase='sudo /Users/fujianbo/Applications/hbase-1.2.6/bin/hbase rest start' alias hbaseshell='sudo /Users/f...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。