Dragonfly 发布 v2.1.0 版本,P2P 文件分发系统
Dragonfly 最新正式版本 v2.1.0 现已发布。Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率,最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。
具体更新内容如下:
Features
-
Console v1.0.0 已经发布,它是一个全新的可视化控制台,方便用户操作 P2P 集群。
-
新增虚拟网络拓扑探索功能,能够在 P2P 运行时探测节点之间的网络延迟,从而构建一个虚拟网络拓扑结构提供调度使用。
-
Manager 提供控制 Scheduler 可以提供的服务,例如在 Manager 中设置 Scheduler 不提供预热功能,那么 Scheduler 实例就会拒绝预热请求。
-
Dfstore
提供GetObjectMetadatas
和CopyObject
接口,支持 Dragonfly 作为 JuiceFS 的后端存储。 -
新增
Personal Access Tokens
功能,用户可以创建自己的Personal Access Tokens
在调用 Open API 的时候鉴权使用。 -
Manager REST 服务提供 TLS 配置。
-
修复当 Dfdaemon 没有可用的 Scheduler 地址时启动失败的现象。
-
新增
Cluster
资源单位,Cluster
代表一个 P2P 集群,其只包含一个Scheduler Cluster
和一个Seed Peer Cluster
,并且二者关联。 -
修复
Dfstore
在 Dfdaemon 并发下载时,可能导致的对象存储下载失败。 -
Scheduler 新增 Database 配置,并且把之前 Redis 的配置信息移入到 Database 配置中,并且兼容老版本。
-
在 Dfdaemon 中使用 gRPC 健康检查代替
net.Dial
。 -
修复调度器过滤以及评估过程中
candidateParentLimit
可能影响到调度结果的问题。 -
修复 Scheduler 中的 Storage 在
bufferSize
为 0 的时候,导致的无法写入下载记录的问题。 -
日志中隐藏敏感信息,例如 Header 中的一些 Token 信息等。
-
Manager 中 Scheduler、Seed Peer 等资源删除过程中,不再使用软删除。
-
Scheduler 数据库表中新增
uk_scheduler
索引,Seed Peer 数据库表中新增uk_seed_peer
索引。 -
由于初期功能设计定位不清晰的原因,删除
Security Domain
和Security
的功能。 -
Manager 和 Scheduler 新增 Advertise Port 配置,方便用户配置不同的 Advertise Port。
-
修复 Task 注册阶段状态机状态变更错误的问题。
Break Change
-
不再提供 Scheduler Cluster 和 Seed Peer Cluster 之间
M:N
的关系。提供了 Cluster 的概念,一个 Cluster 即表示一个 P2P 集群,并且一个 Cluster 只包含一个 Scheduler Cluster 和 Seed Peer Cluster,且二者是1:1
的关联关系。
Console
更多详细可查看 Manager Console。
AI Infrastructure
-
Triton Inference Server 使用 Dragonfly 下载模型文件,可以参考 #2185。
-
TorchServer 使用 Dragonfly 下载模型文件,现正在开发,预计 v2.1.1 版本可以使用,项目仓库在 Dragonfly Endpoint。
-
Fluid 基于 JuiceFS 运行时通过 Dragonfly 下载数据,正在开发,预计 v2.1.1 版本可以使用。
-
Dragonfly 助力火山引擎 AIGC 推理业务 P2P 镜像加速。
-
社区中已经有很多案例,基于 P2P 技术使用 Dragonfly 分发 AI 场景中的文件。在 AI 推理阶段,推理服务并发下载模型可以有效通过 Dragonfly P2P 缓解模型仓库的带宽压力,从而提高整体下载速度。
详情可查看更新说明。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Rust 通用代码生成器莲花发布红莲尝鲜版七,迄今为止最重要的里程碑
Rust通用代码生成器莲花发布红莲尝鲜版七,迄今为止最重要的里程碑 Rust通用代码生成器莲花已发布红莲尝鲜版七,这是迄今为止最重要的里程碑。最重要的更新是数据库访问框架从0.3.5大幅更新至0.7.1最新版。这是一个重大的更新,尝试了几次才顺利完成了这个规划了很久的更新。您能否发现这个更新的具体内容吗?第二个更新是消除了代码生成物上90%的编译警告,大幅改善了代码生成物的代码质量。而后通过更多的测试,修复了一系列缺陷。 红莲尝鲜版七是一个重要的里程碑。他对尝鲜版五以来基本完整的代码生成物进行了广泛的测试和修错,使代码生成器的质量有了显著提高。虽然,代码生成器尚未支持Oracle,尚未支持空值,但是其他的功能特性,基本和java通用代码生成器光电音之王同步,您可以方便的使用。 Rust 通用代码生成器莲花尝鲜版六绍视频,详细介绍了红莲尝鲜版六的使用。视频请见:https://www.bilibili.com/video/BV1Cj41197nY/ Rust 语言现在很热,但是由于 Rust 语言比较难学,学习曲线比较陡峭。上手 Rust 程序还是比较难。Rust 通用代码生成器莲花...
- 下一篇
MybatisPlus 发布 3.5.3.2 版本,你要的功能都更新了
Mybatis-Plus 是一款 MyBatis 的增强工具包,简化 CRUD 操作。启动加载 XML 配置时注入单表 SQL 操作 ,为简化开发工作、提高生产率而生。Mybatis-Plus 启动注入动态 SQL 脚本、性能更优,让你专注业务快速敏捷开发。 演示例子:https://gitee.com/baomidou/mybatis-plus-samples 官方文档:https://baomidou.com/ 回应用户关于同类框架对比说明: MP 不会去做无意义的对比(很多设定一开始就是不公平的,或者说非生产环境的模拟一些简单 SQL 的执行对比毫无意义),也不会片面的夸大自身优势,把自己有的功能别人没有的列出来,别人有的功能自己没有的不列出来(当然也不排斥客观公正的对比,好坏让用户自己去感受)。 MP相关特性是完全支持XML动态 SQL 执行的,理论上性能会低于那些静态硬编码框架的执行速度(但是差距也是ms 毫秒之间的,对于实际生产无任何意义真正的性能瓶颈在 DB IO 上面),因为 MP 存在动态 OGNL 判断以及复杂 SQL 智能优化存在耗时(这部分耗时是值得的,优化后...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Docker使用Oracle官方镜像安装(12C,18C,19C)