AIGES —— AI 算法模型 / 引擎通用封装工具
AIGES 是 Athena Serving Framework 中的核心组件,它是一个专为 AI 能力开发者打造的 AI 算法模型、引擎的通用封装工具。你可以通过集成 AIGES,快速部署 AI 算法模型、引擎,并托管于 Athena Serving Framework,即可使用网络、分发策略、数据处理等配套辅助系统。
Athena Serving Framework 致力于加速 AI 算法模型、引擎云服务化,并借助云原生架构,为云服务的稳定提供多重保障。你无需关注底层基础设施及服务化相关的开发、治理和运维,即可高效、安全地对模型、引擎进行部署、升级、扩缩、运营和监控。
整体架构
特性:
- 支持模型推理成RPC服务(Serving框架会转成HTTP服务)
- 支持C代码推理
- 支持Python代码推理
- 支持once(非流式)推理、流式推理
- 支持配置中心,服务发现
- 支持负载均衡配置
- 支持HTTP/GRPC服务
