推荐:一款分布式的对象存储服务
最近公司在准备内部数据上云,并且内部数据库每天的数据量很大,需要采用大数据存储的方案。 方案调研每个程序技术在实现之前,需要进行开源产品的调研,适合自己产品的技术方案才是最好的。 需求我们需要处理是图像信息,大小在1M左右。 供以后各个项目组用来拉取图像。 自定义了一个按照标准存储的一批图像,这批图像大小可能在几百兆或者小到几兆大小 技术选型我们选取了两种技术方案 采用hdfs的集群存储的方案,将数据进行流读取,存储二进制文;将相关的文件内容进行整合成一个大文件存储到hdfs上。 另外一个技术方案采用的是minio,分布式存储方案。 今天要给大家介绍的是minio技术方案。 Minio什么是Miniominio 是一款开源的对象存储服务。可以兼容亚马逊的S3存储服务接口,非常适合存储大容量的非结构化数据。 这些非结构化数据包含 图片,视频,日志文件,备份数据和容器、虚拟机镜像。 对象文件大小可以从几kb到最大5T. 我们可以用来做什么企业上我们可以利用其分布式的功能,内部搭建图片处理服务器,文件存储服务器,公司内部的文件存储服务器,这样就不用限制存储的大小,也不限制存储位置。 我们个人...