首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/120780

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《深入理解大数据:大数据处理与编程实践》一一3.5 HDFS基本编程接口与示例

本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第3章,第3.5节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.5 HDFS基本编程接口与示例 除了上一节提到的命令之外,Hadoop提供了可用于读写、操作文件的API,这样可以让程序员通过编程实现自己的HDFS文件操作。Hadoop提供的大部分文件操作API都位于org.apache.hadoop.fs这个包中。基本的文件操作包括打开、读取、写入、关闭等。为了保证能跨文件系统交换数据,Hadoop的API也可以对部分非HDFS的文件系统提供支持;也就是说,用这些API来操作本地文件系统的文件也是可行的。3.5.1 HDFS编程基础知识在Hadoop中,基本上所有的文件API都来自File

对标谷歌BigQuery 阿里云MaxCompute下半年入欧

英媒称,阿里巴巴旗下的云计算部门阿里云将于2017年下半年将其“MaxCompute”大数据服务带入欧洲。MaxCompute是阿里云大数据平台数加平台的组成部分,已在2016年1月云栖大会·上海站与数加平台一起在中国正式发布,类似于谷歌的BigQuery。 英媒称,阿里巴巴旗下的云计算部门阿里云将于2017年下半年将其“MaxCompute”大数据服务带入欧洲。中国IDC圈注意到,MaxCompute是阿里云大数据平台数加平台的组成部分,已在2016年1月云栖大会·上海站与数加平台一起在中国正式发布。 MaxCompute是基于原来ODPS开放数据处理服务(Open Data Processing Service,简称ODPS)升级而成,ODPS发布于2014年7月,是基于飞天分布式平台,由阿里云自主研发的海量数据离线处理服务,当时即可6小时内处理100PB数据,在商用之前该服务由阿里巴巴内部秘密使用。 中国IDC圈根据阿里云此前披露的数据发现,ODPS发布时已突破单集群5000台的限制,而2016年1月MaxCompute发布时,单集群规模已突破万台。 (2016年1月云栖大会·上...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。