《Hadoop金融大数据分析》读书笔记-低调大师

《Hadoop金融大数据分析》读书笔记

2017-06-06 538

《Hadoop金融大数据分析》 Hadoop for Finance Essentials

使用Hadoop，是因为数据量大
数据量如此之多，以至于无法用传统的数据处理工具和应用来处理的数据称主大数据

3V定义：即“大量Volume,多样Variety,高速Velocity是与大数据相关的三个属性或维度。
大量指的是数据的量很大，
多样指的是数据的类型很多，
高速指的是数据处理的速度很快

对于一家处理GB级数据的小公司来说，TB级的数据可能被认为是大数据，
对于处理TB级数据的大公司来说，PB级的数据，则被认为是大数据

就常规而言，大数据至少是TB级的

除了想要存储无尽的数据，企业也需要分析它们

数据以不同的形式存储，其中大量的交易数据被称为结构化数据，图像和音频等数据被称为非结构化数据

ETL：提取Extract，转换Transform，加载Load

现在的企业需要处理异构型数据，从Excel表格，数据库到纯文本、图片、视频、网络数据、GPS数据、传感器数据、文本数据、移动信息数据、甚至包括可以扫描和转换成电子格式的文件

微信关注我们

原文链接：https://yq.aliyun.com/articles/268972

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用hadoop restful api实现对集群信息的统计

（适用于hadoop 2.7及以上版本）涉及到RESTful API ResourceManager REST API’s：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html WebHDFS REST API：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html MapReduce History Server REST API’s：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-clie

2017-06-05

654

在今天的文章中，我们将共同了解十三款机器学习框架，这些框架中最值得关注的特性，在于它们正致力于通过简单而新颖的方式应对与机器学习相关的种种挑战。过去几年以来，机器学习已经开始以前所未有的方式步入主流层面。这种趋势并非单纯由低成本云环境乃至极为强大的GPU硬件所推动; 除此之外，面向机器学习的可用框架也迎来了爆发式增长。此类框架全部为开源成果，但更重要的是它们在设计方面将最为复杂的部分从机器学习中抽象了出来，从而保证相关技术方案能够为更多开发人员服务。在今天的文章中，我们将共同了解十三款机器学习框架，一部分去年刚刚发布、另一部分则在不久前进行了全部升级。而这些框架中最值得关注的特性，在于它们正致力于通过简单而新颖的方式应对与机器学习相关的种种挑战。 Apache SparkMLlib ApacheSpark可能算得上当前Hadoop家族当中最为耀眼的成员，但这套内存内数据处理框架在诞生之初实际与Hadoop并无关系，且凭借着自身出色的特性在Hadoop生态系统之外闯出一片天地。Spark目前已经成为一款即时可用的机器学习工具，这主要归功于其能够以高速将算法库应用至内存内数据当中。 S...

2017-06-06

591

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。