从事大数据相关的工作如何自学打基础?-低调大师

从事大数据相关的工作如何自学打基础?

2017-07-31 574

海量数据分成两块，一是系统建设技术，二，海量数据应用。

先说系统建设，现在主流的技术是HADOOP，主要基于mapreduce的分布式框架。目前可以先学习这个。但是我的观点，在分布式系统出来之前，主要是集中式架构，如DB2，oracle。为什么现在用分布式架构，那是因为现在集中式架构受限于IO性能，出来速度慢，如果又一种硬件技术，可以很快地处理海量数据，性能上能满足需求，那么集中式架构优于分布式架构，因为集中式架构稳定，运维压力小。现在的集中式架构要么性能达不到要求，要么就是过于昂贵。我期待一种技术出现，可以非常快地传输和处理数据，那么集中式架构将再次进入人们眼球。再说海量数据应用。海量数据应用主要是数据挖掘和机器算法。具体有不同的应用场景，如个性化搜索和推荐，社交网络发现，精准营销，精准广告，实时最优路径，人工智能等等。看你想做系统支撑技术还是与业务结合的应用技术。

如果现在学系统建设技术，可以读下如下书籍：

如果学数据挖掘和机器算法，推荐先看数据挖掘导论，统计分析原理，Mahout，R,MATLAB

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/199714

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据的下一个五年：Hadoop将推动数据平民化

美国联合市场研究(Allied Market Research)机构近日预测，到2020年，Hadoop的市场价值会超过500亿。Hadoop技术发展至今，走过了近九个年头，乘着大数据的东风，它以低廉的存储和快速的处理能力迅速在中小企业蔓延开来。而据联合市场研究预测，五年后，Hadoop会得到更广泛的部署，不止局限在中小企业。几年前，还有评论人士称，Hadoop只能应用于企业10%的数据。但今日一份名为《2014年数据库技术现状调查》的数据显示，13%的受访者已经将Hadoop应用于产品生产和测试。未来，Hadoop有望在企业各个角落得到应用。而在性能和用途都有显著增长的同时，Hadoop的部署成本仍然会保持相对低廉。数据平民化随着大数据的快速发展，未来五年内，数据量和数据类型都会快速增长，那时，PB级的数据量已经不能被称为大数据了。随着数据的猛增，企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。不懂技术的业务人员访问和分析数据将成为趋势。照目前的创新速度和较低的准入门槛来看，未来五年会有更多的中小型企业...

2017-08-01

512

什么叫数据中心?维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统)，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。在云大行其道的今天，随着数据中心建设规模的不断扩大，新技术的层出不穷，数据中心变得越来越复杂。大型数据中心往往是由很多功能不一的单元系统组成，其运维工作需要具备方方面面的知识，包括硬件、网络、服务器、存储、安全以及业务上的东西，需要一体化联动地去做好运维工作。当一个数据中心的规模非常大，其面临的技术挑战和问题也会比较多，很多在小环境小体系下不是问题的问题在这样的规模下也就凸显出来了，所以要做好大型数据中心的运维工作，对整个数据中心方方面面涉及到的技术体系都要花费较长时间来进行系统学习，只有对这个数据中心整体非常了解，才能有针对性地制定一些运维方案，自己结合特定需求进行开发一些监控运维软件，对整个数据中心进行高效管理与监控，提升整个数据中心的运行效率、减少故障的发生，从而将运维工作不断推向新的高度。一个大型的数据中心内部往往都包含了很多小系统，运维工作都是围绕着这些具体的应用系统展开的，...

2017-08-01

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。