文档
快速开始
项目介绍

项目介绍

项目介绍

ModelGate 是一个企业级大模型 API 网关和管理服务，提供统一的接口来管理和转发到多个大模型服务。

什么是 ModelGate？

ModelGate 解决了企业在使用多个大模型服务时面临的问题：

  • 接口不统一：不同模型提供商的 API 接口各不相同
  • 密钥管理困难：多个服务的 API 密钥分散管理，安全性差
  • 成本控制：难以追踪和控制各个服务的使用成本
  • 权限管理：无法精细控制不同用户对不同模型的访问权限

ModelGate 通过统一的 API 网关解决了这些问题。

系统架构

ModelGate 采用前后端分离架构：

┌─────────────────────────────────────────────────────────────┐
│                         客户端应用                            │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                   ModelGate API 网关                         │
│                    (端口 8888)                               │
│  ┌─────────────────────────────────────────────────────┐    │
│  │              请求转发 & 路由                          │    │
│  └─────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────┘
                              │
        ┌─────────────────────┼─────────────────────┐
        ▼                     ▼                     ▼
┌──────────────┐    ┌──────────────┐    ┌──────────────┐
│   OpenAI     │    │  Anthropic   │    │  DeepSeek    │
└──────────────┘    └──────────────┘    └──────────────┘

┌─────────────────────────────────────────────────────────────┐
│                  ModelGate 管理后台                           │
│                   (端口 8889)                                │
│  ┌─────────────────────────────────────────────────────┐    │
│  │  用户管理 | 密钥管理 | 模型管理 | 计费系统                │    │
│  └─────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                      前端管理界面                             │
│                   (Vue3 + NaiveUI)                          │
└─────────────────────────────────────────────────────────────┘

服务说明

API 转发服务 (端口 8888)

提供统一的 API 接口，客户端只需调用一个接口即可使用不同的大模型服务。

管理后台服务 (端口 8889)

提供系统管理功能，包括：

  • 用户和角色管理
  • API 密钥管理
  • 供应商和模型配置
  • 使用记录和统计
  • 账户和计费管理

支持的模型提供商

提供商状态支持的模型
OpenAI✅GPT-4, GPT-3.5, etc.
Anthropic✅Claude 3, etc.
智谱 AI✅GLM-4, etc.

核心概念

用户 (User)

系统的使用者，拥有独立的账户和 API 密钥。

API 密钥 (API Key)

用户调用 API 时需要提供的凭证，用于认证和计费。

供应商 (Provider)

大模型服务的提供商，如 OpenAI、Anthropic 等。

模型 (Model)

具体的 AI 模型，每个模型归属于一个供应商，有独立的定价配置。

请求记录 (Request Log)

记录每次 API 调用的详细信息，包括使用的 Token、费用等。

技术亮点

  • 高性能: Go 语言编写，支持高并发
  • 流式响应: 支持 Server-Sent Events (SSE) 流式输出
  • 灵活配置: 支持动态添加供应商和模型
  • 安全可靠: JWT 认证 + RBAC 权限控制
  • 易于集成: 兼容 OpenAI API 格式，迁移成本低
安装部署