从事大数据相关的工作 如何自学打基础?
海量数据分成两块,一是系统建设技术,二,海量数据应用。
先说系统建设,现在主流的技术是HADOOP,主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点,在分布式系统出来之前,主要是集中式架构,如DB2,oracle。为什么现在用分布式架构,那是因为现在集中式架构受限于IO性能,出来速度慢,如果又一种硬件技术,可以很快地处理海量数据,性能上能满足需求,那么集中式架构优于分布式架构,因为集中式架构稳定,运维压力小。现在的集中式架构要么性能达不到要求,要么就是过于昂贵。我期待一种技术出现,可以非常快地传输和处理数据,那么集中式架构将再次进入人们眼球。再说海量数据应用。海量数据应用主要是数据挖掘和机器算法。具体有不同的应用场景,如个性化搜索和推荐,社交网络发现,精准营销,精准广告,实时最优路径,人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。
如果现在学系统建设技术,可以读下如下书籍:
如果学数据挖掘和机器算法,推荐先看数据挖掘导论,统计分析原理,Mahout,R,MATLAB
本文作者:佚名
来源:51CTO

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
大数据的下一个五年:Hadoop将推动数据平民化
美国联合市场研究(Allied Market Research)机构近日预测,到2020年,Hadoop的市场价值会超过500亿。Hadoop技术发展至今,走过了近九个年头,乘着大数据的东风,它以低廉的存储和快速的处理能力迅速在中小企业蔓延开来。而据联合市场研究预测,五年后,Hadoop会得到更广泛的部署,不止局限在中小企业。 几年前,还有评论人士称,Hadoop只能应用于企业10%的数据。但今日一份名为《2014年数据库技术现状调查》的数据显示,13%的受访者已经将Hadoop应用于产品生产和测试。未来,Hadoop有望在企业各个角落得到应用。而在性能和用途都有显著增长的同时,Hadoop的部署成本仍然会保持相对低廉。 数据平民化 随着大数据的快速发展,未来五年内,数据量和数据类型都会快速增长,那时,PB级的数据量已经不能被称为大数据了。随着数据的猛增,企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术,Hadoop的优势在于将数据分析和存储平民化。不懂技术的业务人员访问和分析数据将成为趋势。 照目前的创新速度和较低的准入门槛来看,未来五年会有更多的中小型企业...
- 下一篇
从块数据到大数据,解读紫光西部数据的存储解决方案
在互联网+时代背景下,数据正在以超出人们想象的速度爆炸式增长,数据价值成为影响企业发展的重要因素。面对随时增长的海量数据,企业如何摆脱存储困境,并实时挖掘数据价值,成为摆在企业面前的重要难题。紫光西部数据在中国市场推出的“从快数据到大数据”全方位数据存储解决方案,很好的解决了企业面临的数据存储难题。 2017年3月22日,紫光西部数据在京召开了主题为“极智创想,数据未来”为主题的紫光西部数据高峰论坛暨新品发布盛典,正式推出了包括UniverFlash全供应闪存系统、UniverScale分布式云存储系统、UniverStor动态海量存储系统、UniverPlat软件定义存储平台在内的全线新产品,并正式发布了“从快数据到大数据”全方位的存储解决方案。 数据极化,30%的快数据与70%的大数据 紫光西部数据首席执行官缪刚先生在演讲中提到,为快速分析用户需求,洞察市场变化,指导决策并抓住商机,企业需要制定最佳的数据策略。传统的数据处理架构和数据存储方法具有很大的局限性,无法满足不同场景的数据需求,必须提出全方位数据存储新思路。他认为,通过从快数据到大数据的“数据极化”视角,企业能够快速实现数...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- MySQL8.0.19开启GTID主从同步CentOS8