《深入理解大数据：大数据处理与编程实践》一一导读-低调大师

《深入理解大数据：大数据处理与编程实践》一一导读

2017-07-03 622

前　言

2012年以来，大数据（Big Data）技术在全世界范围内迅猛发展，在全球学术界、工业界和各国政府得到了高度关注和重视，掀起了一场可与20世纪90年代的信息高速公路相提并论的发展热潮。
大数据技术如此重要，已经被我国政府提升到国家重大发展战略的高度。2014年我国政府工作报告中指出：“设立新兴产业创业创新平台，在新一代移动通信、集成电路、大数据、先进制造、新能源、新材料等方面赶超先进，引领未来产业发展”。由此可见，大数据已经被我国政府列为推动国家科技创新和引领经济结构优化升级、赶超国际先进水平、引领国家未来产业发展的战略性计划。两会期间，CCTV中央电视台的新闻报道开创性地引入了大数据新闻报道手段，以大数据说话，高频率使用大数据报道两会重大新闻，引起了全国民众的普遍关注和兴趣。
大数据也同样成为各发达国家政府高度关注的战略

微信关注我们

原文链接：https://yq.aliyun.com/articles/120780

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《深入理解大数据：大数据处理与编程实践》一一3.5　HDFS基本编程接口与示例

本节书摘来自华章计算机《深入理解大数据：大数据处理与编程实践》一书中的第3章，第3.5节,作者主　编：黄宜华（南京大学）副主编：苗凯翔（英特尔公司），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.5　HDFS基本编程接口与示例除了上一节提到的命令之外，Hadoop提供了可用于读写、操作文件的API，这样可以让程序员通过编程实现自己的HDFS文件操作。Hadoop提供的大部分文件操作API都位于org.apache.hadoop.fs这个包中。基本的文件操作包括打开、读取、写入、关闭等。为了保证能跨文件系统交换数据，Hadoop的API也可以对部分非HDFS的文件系统提供支持；也就是说，用这些API来操作本地文件系统的文件也是可行的。3.5.1　HDFS编程基础知识在Hadoop中，基本上所有的文件API都来自File

2017-07-03

869

英媒称，阿里巴巴旗下的云计算部门阿里云将于2017年下半年将其“MaxCompute”大数据服务带入欧洲。MaxCompute是阿里云大数据平台数加平台的组成部分，已在2016年1月云栖大会·上海站与数加平台一起在中国正式发布，类似于谷歌的BigQuery。英媒称，阿里巴巴旗下的云计算部门阿里云将于2017年下半年将其“MaxCompute”大数据服务带入欧洲。中国IDC圈注意到，MaxCompute是阿里云大数据平台数加平台的组成部分，已在2016年1月云栖大会·上海站与数加平台一起在中国正式发布。 MaxCompute是基于原来ODPS开放数据处理服务（Open Data Processing Service，简称ODPS）升级而成，ODPS发布于2014年7月，是基于飞天分布式平台，由阿里云自主研发的海量数据离线处理服务，当时即可6小时内处理100PB数据，在商用之前该服务由阿里巴巴内部秘密使用。中国IDC圈根据阿里云此前披露的数据发现，ODPS发布时已突破单集群5000台的限制，而2016年1月MaxCompute发布时，单集群规模已突破万台。（2016年1月云栖大会·上...

2017-07-03

965

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。