go-fastdfs v1.3.6 ,修复并发备份 BUG
go-fastdfs是一个基于http协议的分布式文件系统,它基于大道至简的设计理念,一切从简设计,使得它的运维及扩展变得更加简单,它具有高性能、高可靠、无中心、免维护等优点。
注意:使用前请认真阅读使用文档
https://sjqzhang.github.io/go-fastdfs
优点
- 支持curl命令上传
- 支持浏览器上传
- 支持HTTP下载
- 支持多机自动同步
- 支持断点下载
- 支持配置自动生成
- 支持小文件自动合并(减少inode占用)
- 支持秒传
- 支持一键迁移
- 支持并行体验
- 支持断点续传(tus)
- 支持docker部署
- 支持自监控告警
- 支持集群文件信息查看
- 使用通用HTTP协议
- 无需专用客户端(支持wget,curl等工具)
- 类fastdfs
- 高性能
- 高可靠
- 无中心设计(所有节点都可以同时读写)
v1.3.6 修复并发备份BUG,增加备份队列参数与延迟备份参数
更新历史
- v1.3.5支持断点续传自定义认证,路径自定义认证
- v1.3.4 优化并发上传内存占用
- v1.3.3 优化集群管理,支持下载域名自定定义协议(http,https)
- v1.3.2 修正跨域options方法,断点续传无法访问
- v1.3.1发布,修复同步超时文件异常情况
- v1.3.0 增加nginx集群配置样例,支持文件类型上传白名单
- v1.2.9 支持断点续传认证(具体参阅浏览器上传)优化内存占用
- v1.2.8 增加文件列表接口,优化文件快速迁移功能(实测性能可以跑到机器上限,如:磁盘或网络)
- v1.2.7 增加nginx配置模版,完善README文档
- v1.2.6 支持通用文件认证接口
- v1.2.5 支持图片缩放
- v1.2.4支持google认证,实现文件安全访问
- v1.2.3 增加跨域访问支持
- v1.2.2增加节点只读选项,保证磁盘满的情况下还能迁移集群
- v1.2.1 优化下载体验,不再重定向,简化nginx配置,可重复文件同步bug修复
- v1.2.0 增加后台启动脚本,支持后台运行
- v1.1.9增加文件自动迁移功能,增加文件可重复选项
- v1.1.8 统一删除接口,优化内存占用,优化文件同步
- v1.1.7 增加单元测试,为go-fastdfs稳定运行保驾护行
- v1.1.6 支持web断点续传
- v1.1.5 支持断点上传功能(tus)
- v1.1.4 增加docker部署功能
- v1.1.3增加小文件合并功能
- v1.1.2 修证同时传输大文件时同步失败问题
- v1.1.1支持按组(集群)上传文件
- v1.1.0增加peer_id防止文件被覆盖
- v1.0.9 重构代码,优化同步逻辑,减少内存占用
- v1.0.8增加sha1文件去重算法
- v1.0.7增加动态加载配置功能
- v1.0.6修改文件同步的方式,由原来的推改为拉,提升大文件同步性能
- v1.0.5 优化文件统计记录方式
- v1.0.4 增加压力测试
- v1.0.3增加自动修复统计信息
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Spark 数据倾斜及其解决方案
本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/lqMu6lfk-Ny1ZHYruEeBdA 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 本文从数据倾斜的危害、现象、原因等方面,由浅入深阐述Spark数据倾斜及其解决方案。 一、什么是数据倾斜 对 Spark/Hadoop 这样的分布式大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜。 对于分布式系统而言,理想情况下,随着系统规模(节点数量)的增加,应用整体耗时线性下降。如果一台机器处理一批大量数据需要120分钟,当机器数量增加到3台时,理想的耗时为120 / 3 = 40分钟。但是,想做到分布式情况下每台机器执行时间是单机时的1 / N,就必须保证每台机器的任务量相等。不幸的是,很多时候,任务的分配是不均匀的,甚至不均匀到大部分任务被分配到个别机器上,其它大部分...
- 下一篇
x-msg-im 0.0.1 发布,X-MSG-IM 去中心化即时通信基础设施
这是X-MSG-IM的首个开发版本, 已基本可用. 功能详述如下: 跨平台客户端sdk 已实现的能力包括: 基于c++11的跨平台sdk, 包含了网络层和持久层的瘦包装. 网络层同时支持tcp和rudp接入, 持久层基于sqlite3. 建立在c++驱动之上的java sdk. 建立在c++驱动和node-ffi之上的javascript sdk, 可用于electron开发环境. 开放源代码地址:https://gitee.com/dev5/x-msg-im-client-sdk 一个基于electron开发的客户端demo:https://gitee.com/dev5/x-msg-im-client-electron 电信级通信协议栈 相比时下流行的json, xmpp, mqtt等协议, 有着非常明显的优势: 高度可扩展, 向前向后兼容, 低冗余, 低延迟, 多QoS. 适用于即时通信, 物联网设备控制, 网络游戏, 微服务间的rpc等场景. 内置分布式信令跟踪distributed signalling tracing能力. c++实现:https://gitee.com/de...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS关闭SELinux安全模块
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 设置Eclipse缩进为4个空格,增强代码规范
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路