从事大数据相关的工作 如何自学打基础?
海量数据分成两块,一是系统建设技术,二,海量数据应用。
先说系统建设,现在主流的技术是HADOOP,主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点,在分布式系统出来之前,主要是集中式架构,如DB2,oracle。为什么现在用分布式架构,那是因为现在集中式架构受限于IO性能,出来速度慢,如果又一种硬件技术,可以很快地处理海量数据,性能上能满足需求,那么集中式架构优于分布式架构,因为集中式架构稳定,运维压力小。现在的集中式架构要么性能达不到要求,要么就是过于昂贵。我期待一种技术出现,可以非常快地传输和处理数据,那么集中式架构将再次进入人们眼球。再说海量数据应用。海量数据应用主要是数据挖掘和机器算法。具体有不同的应用场景,如个性化搜索和推荐,社交网络发现,精准营销,精准广告,实时最优路径,人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。
如果现在学系统建设技术,可以读下如下书籍:
如果学数据挖掘和机器算法,推荐先看数据挖掘导论,统计分析原理,Mahout,R,MATLAB
本文作者:佚名
来源:51CTO

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
大数据的下一个五年:Hadoop将推动数据平民化
美国联合市场研究(Allied Market Research)机构近日预测,到2020年,Hadoop的市场价值会超过500亿。Hadoop技术发展至今,走过了近九个年头,乘着大数据的东风,它以低廉的存储和快速的处理能力迅速在中小企业蔓延开来。而据联合市场研究预测,五年后,Hadoop会得到更广泛的部署,不止局限在中小企业。 几年前,还有评论人士称,Hadoop只能应用于企业10%的数据。但今日一份名为《2014年数据库技术现状调查》的数据显示,13%的受访者已经将Hadoop应用于产品生产和测试。未来,Hadoop有望在企业各个角落得到应用。而在性能和用途都有显著增长的同时,Hadoop的部署成本仍然会保持相对低廉。 数据平民化 随着大数据的快速发展,未来五年内,数据量和数据类型都会快速增长,那时,PB级的数据量已经不能被称为大数据了。随着数据的猛增,企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术,Hadoop的优势在于将数据分析和存储平民化。不懂技术的业务人员访问和分析数据将成为趋势。 照目前的创新速度和较低的准入门槛来看,未来五年会有更多的中小型企业...
-
下一篇
【博文推荐】如何做好大型数据中心的运维
什么叫数据中心?维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。在云大行其道的今天,随着数据中心建设规模的不断扩大,新技术的层出不穷,数据中心变得越来越复杂。大型数据中心往往是由很多功能不一的单元系统组成,其运维工作需要具备方方面面的知识,包括硬件、网络、服务器、存储、安全以及业务上的东西,需要一体化联动地去做好运维工作。 当一个数据中心的规模非常大,其面临的技术挑战和问题也会比较多,很多在小环境小体系下不是问题的问题在这样的规模下也就凸显出来了,所以要做好大型数据中心的运维工作,对整个数据中心方方面面涉及到的技术体系都要花费较长时间来进行系统学习,只有对这个数据中心整体非常了解,才能有针对性地制定一些运维方案,自己结合特定需求进行开发一些监控运维软件,对整个数据中心进行高效管理与监控,提升整个数据中心的运行效率、减少故障的发生,从而将运维工作不断推向新的高度。 一个大型的数据中心内部往往都包含了很多小系统,运维工作都是围绕着这些具体的应用系统展开的,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7,8上快速安装Gitea,搭建Git服务器
- MySQL数据库在高并发下的优化方案
- Linux系统CentOS6、CentOS7手动修改IP地址
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Hadoop3单机部署,实现最简伪集群
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池