IT系统分析师如何学习大数据-低调大师

IT系统分析师如何学习大数据

2017-07-31 476

我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢?

学习大数据的最佳方法就是先从了解信息系统是如何工作着手，尤其是数据库和基础设施。同样在开始前还需要了解大数据工具，如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。

系统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能包含了各种来源的结构化数据和非结构化数据——数据仓库、Hadoop、NoSQL、内存数据、文件以及应用程序——所以你必须学会组织数据，以便系统有效的处理他们。确保你的主数据一致性，以避免出现多个版本的数据——多个不同步的数据库。

数据保护同样重要;要熟悉组织的数据安全处理过程，同样还需要了解安全、合规性以及治理流程。根据数据敏感程度的不同、考虑屏蔽、编校或加密保护。

大数据源的定义

数据仓库HadoopNoSQL内存数据文件数据应用程序数据

在接触这个项目之前的最后一步，考察客户对服务质量的要求。他们需要分析多大的数据，以及这些数据的响应速度。例如，对于大型数据库，近乎实时响应的需求会需要将其放置在内存或者闪存缓存中。IBM的BLU Accelerator 和SAP HANA都十分适合在内存中快速读取的应用场景。此外，理解你用户的预期结果——他们正试图得到的答案。如果你知道他们需要的结果，就可以组织数据与系统，以更有效的达到目标。

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/199886

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里5位嘉宾3个分享：HBaseCon Asia 2017干货满满

HBaseCon是Apache HBase官方举办的技术会议，主要目的是分享，交流HBase这个开源分布式大数据存储的使用和开发以及发展。HBaseCon发起于2012年。通常HBaseCon的举办地是在美国，这是HBaseCon第一次在亚洲举行，命名为Apache HBaseCon 2017 Asia。而且这次会议举办地选择在中国深圳，也足以见得HBase在中国的火爆程度和中国开发者们对HBase社区所做的卓越贡献。 Apache HBase是基于Apache Hadoop构建的一个分布式、可伸缩的Key-Value数据库，它提供了大数据背景下的高性能的随机读写能力。做为最早研究、使用和二次开发HBase技术的中国公司，阿里巴巴从2010年就开始使用HBase，经过近7年的发展，现在采用HBase存储的业务已经超过1000+，拥有了上万台的HBase集群规模，在HBase上存储的数据已达PB级。秉承开源和分享的精神，阿里把HBase的实践经验和改进不断回馈HBase社区，比如说Bucket Cache和Reverse Scan等功能，给HBase技术发展带来了非常深远的影响。同时，也...

2017-08-01

517

随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。HBase是一个庞大的体系，涉及到很多方面，很多因素都会影响到系统性能和系统资源使用率，根据场景对这些配置进行优化会很大程度上提升系统的性能。笔者总结至少有如下几个方面：HDFS相关配置优化，HBase服务器端优化（GC优化、Compaction优化、硬件配置优化），列族设计优化，客户端优化等，其中客户端优化在前面已经通过超时机制、重试机制讲过，后面笔者会继续分别介绍其他三个优化重点。本节重点介绍列族设计优化，HBase中基本属性都是以列族为单位进行设置的，如下示例，用户创建了一张称为‘ NewsClickFeedback’的表，表中只有一个列族’Toutiao’，紧接着的属性都是对此列族进行的设置。这些属性基本都会或多或少地影响该表的读写性能，但有些属性用户只需要理解其意义就知道如何设置，而有些属性却需要根据场景...

2017-08-01

470

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。