基于Hadoop的云盘系统客户端技术选型说明-低调大师

基于Hadoop的云盘系统客户端技术选型说明

2013-03-05 896

　　伴随云计算技术的发展，云盘系统不断涌现，百度、360、金山等都推出了各自的云盘产品，而云盘存储的模式也越来越被用户所接受，也有越来越多的公司跃跃欲试，想在云存储领域大展拳脚，有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制，Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。

　　传统桌面软件开发最适合的语言是C/C++体系（不排斥非主流VB、Delphi、C#，有兴趣的可自行研究），云盘系统的客户端也是针对最广大的Windows桌面用户设计，最基本的要求是没要求，傻瓜式。所以如何基于开源的Hadoop云计算平台，开发云盘系统客户端的问题就转化为如何使用C/C++（或其相类语言）开发云盘客户端的问题。

　　Hadoop提供的客户端开发接口包括Fuse、libhdfs、Java、thrift、webhdfs等。这几种接口中，Fuse是挂载式，适合在Linux/Unix类本地管理hadoop文件，从HDFS提供的Shell管理脚本对比的角度来看，使用意义不大；libhdfs适用于Linux/Unix服务端访问HDFS存储空间，不能应用于Windows桌面终端软件的开发；Java接口，由于Java虚拟机的限制，制作的桌面软件以来域Java的JDK，需要安装配置JDK相关环境变量，不符合Windows桌面程序常用习惯；Thrift是一个不错选择，其原理是代理模式，在Hadoop服务器端启动ThriftServer支持，在客户端通过客户端库访问ThrfitServer从而实现对hdfs分布式文件存储系统的访问，这是一个不错的选择，作为开发者也可以自行扩展ThriftServer的功能；最后还有一种选择就是自行开发服务端代理，在服务器端通过libhdfs或者Java API进行开发，条件是你必须十分熟悉HDFS系统接口和技术框架体系。

　　本文作者在开源社区上传了一套针对Windows用户、基于thrift的开发库，有兴趣的可自行下载：

https://sourceforge.net/projects/libhdfs4win/

作者：张子良
出处：http://www.cnblogs.com/hadoopdev
本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

微信关注我们

原文链接：https://yq.aliyun.com/articles/438656

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用Sheepdog体验Openstack的弹性块服务

Sheepdog[1]是开源的分布式块存储项目，具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等，可扩展到上千级别的物理节点。 Openstack[2]是亚马逊的S3(Simple Storage Service)，弹性计算EC2(Elastic Computing)，弹性块服务EBS(Elastic Block Service)等服务平台的开源实现。目前Openstack的弹性块服务由iSCSI设备、Ceph中的Rados Block Device以及Sheepdog提供。本文尝试在单机上运行Sheepdog和Openstack，并且假设读者没有Sheepdog和Openstack的部署经验。推荐的操作系统平台为Ubuntu 12.04和Fedora 16。本文的操作系统为12.04，假设GIT、GCC、Autoconf以及Make等常见的编译环境已经配置好了。首先建立一个3节点的Sheepdog集群[3]： # 编译一个最新的Sheepdog执行文件 $ sudo apt-...

2013-02-06

737

引言: StackMob 是一个轻量级的 Baas 移动后端云存储平台. 为移动App提供了强大的后台云存储能力,其SDK架接在Core Data身上,在不改变Core Data API 使用方式的前提下为Core Data 提供云端存储的能力,此篇专门介绍了StackMob在 iOS环境的使用方式. 参考资料: 1:StackMob 的主页 https://www.stackmob.com/ 2:StackMob iOS开发文档 http://stackmob.github.io/stackmob-ios-sdk/ 3:如何为iOS应用及游戏添加后台网络服务系列1 前言 http://blog.sina.com.cn/s/blog_4b55f6860101b991.html 4:StackMob SDK 官方使用教程 https://developer.stackmob.com/tutorials/ios 5:16小时的诱惑大致的介绍了StackMob从注册到使用的整个过程: http://www.csdn.net/article/2013-03-19/2814542-build-a...

2013-03-07

874

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。