全球首发|原生开源大模型托管项目 CSGHub
关于CSGHub
大模型百花齐放的时代,数据和模型已成为企业和个人用户最核心的数字资产。然而,当前面临的挑战是模型文件和数据集的管理工具分散、管理手段单机化碎片化等问题。这些问题不仅带来了安全运营的巨大风险,也成为企业大模型能力更新迭代的阻力。
如果您像我们一样坚信大模型将成为信息革命的最重要推动力,您可能也会思考如何更高效、更安全、更可靠地管理大模型的核心资产:模型、数据以及代码。正是出于对这一挑战的深刻认知,我们推出了CSGHub —— 一个旨在解决大模型相关资产治理难题的开源项目。
CSGHub的使命是为用户提供一个开源开放的、针对大模型原生设计的资产管理平台,支持私有化部署和离线运行。我们的目标是为用户创造一个安全、高效且可信赖的环境,使其能够更好地管理和运用大模型核心资产数据。
CSGHub实现了类似私有化Huggingface的功能,以类比OpenStack Glance管理虚拟机镜像、Harbor管理容器镜像以及Sonatype Nexus管理制品的方式,以开源软件的方式实现对LLM资产的安全、高效管理。
CSGHub 官网:https://portal.opencsg.com/
CSGHub 源码:https://github.com/OpenCSGs/csghub (欢迎Star🌟)
CSGHub 帮助用户治理LLM及LLM应用生命周期
CSGHub是一个开源、可信的大模型资产管理平台,帮助用户治理LLM和LLM应用生命周期中涉及到的资产(数据集、模型文件、代码等)。
- 基于CSGHub,用户可以通过Web界面、Git命令行或者自然语言Chatbot等方式,实现对模型文件、数据集、代码等资产的操作,包括上传、下载、存储、校验和分发;
2.同时平台提供微服务子模块和标准化API,便于用户与自有系统集成。
CSGHub具有以下功能特性:
- 资产统一管理: 一站式Hub统一管理模型文件、数据集、大模型应用代码。
- 研发生态兼容: 同时支持HTTPS和SSH协议的Git命令和Web界面操作, 确保不同用户均可方便使用。
- 大模型能力扩展:原生支持版本化管理、模型格式转化、数据自动预处理、数据集预览等功能。
- 权限与安全: 支持与企业用户系统集成、支持资产可见范围设置、外部内部零信任的鉴权接口设计, 最大化满足企业安全。
- 私有化部署支持: 无互联网依赖、无云厂商依赖等外部依赖,可一键启动私有化部署。
- 大模型原生设计: 支持自然语言交互、支持模型一键微调与部署、支持Agent与Copilot应用。
关于CSGHub技术架构
在技术架构上,CSGHub是一个综合了先进技术的资产管理平台,具有以下技术特点:
- CSGHub整合了开源Git Server、Git LFS大文件存储协议和对象存储OSS等技术,提供可靠的数据存储层、灵活的基础设施接入层和高兼容的研发工具支持。
- 通过服务化的架构, CSGHub提供CSGHub Server后台服务和CSGHub Web Service的管理界面,普通用户可以快速使用Docker compose或Kubernetes Helm Chart启动服务,实现生产级的资产管理。具备自研能力的用户可利用CSGHub Server进行二次开发,将核心管理功能集成到外部系统或自定义高级功能。
- CSGHub借助Apache Arrow和DuckDB等优秀开源项目,支持Parquet数据文件格式的预览,便于算法研究人员和爱好者进行本地化数据集管理。
- CSGHub提供直观的Web界面和面向企业组织架构的权限设计,用户可通过Web UI实现版本控制管理、在线浏览和下载,也可以设置数据集和模型文件的可见范围,实现数据安全隔离,还可以对模型和数据集发起用户讨论话题。
我们持续更新
我们致力于将CSGHub打造为一个高效、易用的大模型资产管理平台,未来我们将继续实现以下技术/功能点:
- 资产管理
- 多源同步: 支持配置并启用远端仓库, 自动数据同步,支持OpenCSG传神社区、Huggingface等远端源。
- 代码仓库:内置代码Repo管理功能,可关联模型、数据集、Space空间应用的代码。
- AI能力增强
- 一键微调: 支持与OpenCSG llm-finetune集成,一键启动模型微调训练。
- 一键推理: 支持与OpenCSG llm-inference集成,一键启动模型推理服务。
- 应用与企业功能
- 应用空间: 支持托管Gradio/Streamlit应用并发布到Space应用空间
- 细粒度权限:面向企业架构的细粒度权限和访问控制设置
- 安全合规
- 资产元数据: 资产的元数据管理机制,支持自定义元数据类型和对应的AutoTag规则。
- 合规验证: 模型和License的合规性校验与溯源验证
选择 CSGHub 开源项目
- 开源许可证友好、可商用,Apache2。
- 开放式合作:我们欢迎大家加入我们开源项目的建设,贡献自己的想法、建议或代码。
- 持续更新与改进:我们承诺不断更新CSGHub,并积极采纳社区反馈,不断改进项目。
- 传统DevOps快速适配最佳选择,通过原生大模型项目与传统DevOps工具结合和集成。
- 无论您是开发者、数据科学家,还是热衷于这个领域的爱好者,您都可以参与其中:
- 贡献代码:浏览我们的GitHub仓库,提交您的代码或修复bug。
- 提供反馈:提交问题或建议,帮助我们改进和发展项目。
- 分享经验:在社交媒体上分享您使用CSGHub的经验和见解。
共建 共享 开源
在 CSGHub 中, C 代表Converged,我们将利用混合云的优势,算力降本增效,充分释放混合云的算力及存储资源;S 代表Software refined,我们将利用自然语言技术,发掘LLM的潜力,重新定义软件的交付方式。通过大模型编程,人力降本增效;G 代表Generative,我们将致力于大模型的民主化和大众化,让大模型更易于访问、更廉价、更容易定制,更适合垂直行业使用。
CSGHub 是一个刚刚起步的项目,我们相信它将在解决大模型资产管理方面能够发挥积极作用。OpenCSG 旨在成为中国开源领域和软件开发领域的新变革者,推出的首个大模型原生托管平台,这一举措标志着中国大模型开源社区发展已经迈入新的里程碑。加入我们的社区,共同创造更美好的未来!
CSGHub 官网:https://portal.opencsg.com/
CSGHub 源码:https://github.com/OpenCSGs/csghub

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
IDEA 插件 Fast Request 2024.1.1 强势来袭
简介 Restful Fast Request是一个类似于 Postman 的 IDEA 插件。它是一个强大的 restful api 工具包插件,可以根据已有的方法帮助您快速、自动生成 url 和 params。 Restful Fast Request = API 调试工具 + API 管理工具 + API 搜索工具。 它有一个漂亮的界面来完成请求、检查服务器响应、存储你的 api 请求和导出 api 请求。插件帮助你在 IDEA 界面内更快更高效得调试你的 API。 最新域名:api-buddy.cn Restful Fast Request 为简化 API 调试而生,3 秒调完 Spring 接口不是梦,所以少年,赶紧上号吧 倾听用户的声音,不断提升自我,本次Restful Fast Request更新主要内容如下: 重要功能、新功能、优化项、修复项 SearchEveryWhere 支持类名搜索 .fastRequest目录生成策略 忽略字段名解析支持 Apis,Navigate弹框打开支持 Content-Disposition支持优化 SearchEveryWhere性...
- 下一篇
《灯灯》多租户快速开发平台 4.16.0-java17 发布,多租户解决方案
4.16.0-java17 增强版更新简介: 代码位于分支: 4.x_java17 feat: 4.x非租户模式首次开源 refactor: 删除无用代码 refactor: database.yml 文件拆分为mysql.yml、oracle.yml、sqlserver.ymlo feat: 新增"查询用户所有应用的可用路由树"接口 refactor: 资源类型删除“视图”,使用“是否隐藏”来实现原来的“视图”功能 feat: 应用管理页面,支持维护应用的默认地址 feat: 顶部混合菜单模式下,首页点击应用时,支持切换到该应用的默认地址 fix: 当固定住2级菜单时,切换应用2级菜单没有清空问题 《灯灯》中后台快速开发平台 lamp 项目组成 1) 工具集 ( lamp-util 项目必备,其他 2 个可选) 项目 gitee github 备注 工具集 lamp-util lamp-util 业务无关的工具集,cloud 和 boot 项目都依赖它 定时调度器 lamp-job lamp-job 2) 后端 (下面 2 个项目功能一致,任选其一即可) 项目 gitee gith...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 2048小游戏-低调大师作品
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,CentOS7官方镜像安装Oracle11G