附录 B:行业大模型选型矩阵
本附录提供一套系统化的选型框架,帮助读者根据行业特性、业务需求和技术约束,快速锁定最适合的大模型技术方案。选型不是"选最好的模型",而是"选最合适的方案"。
B.1 综合评估框架
行业大模型选型需要从五个核心维度进行综合评估。以下框架适用于任何行业的模型选型决策。
评估维度与评分标准
| 维度 | 评估项 | 权重 | 评分标准(1-5 分) |
|---|---|---|---|
| 模型能力 | 中文理解与生成 | 高 | 1=差 3=可用 5=行业领先 |
| 领域知识深度 | 高 | 1=通用 3=经微调可用 5=原生行业知识 | |
| 推理与逻辑能力 | 中 | 1=简单问答 3=多步推理 5=复杂链式推理 | |
| 多模态支持 | 视场景 | 1=纯文本 3=图文 5=全模态 | |
| 长上下文处理 | 视场景 | 1=4K 3=32K 5=128K+ | |
| 幻觉控制能力 | 高 | 1=频繁 3=可控 5=极少且可溯源 | |
| 部署方式 | 私有化部署支持 | 高 | 1=仅API 3=容器化 5=信创全栈适配 |
| 边缘/端侧部署 | 视场景 | 1=不支持 3=量化后可用 5=原生轻量模型 | |
| 推理性能(延迟/吞吐) | 中 | 1=秒级 3=百毫秒级 5=十毫秒级 | |
| 弹性扩缩容 | 中 | 1=手动 3=半自动 5=全自动 | |
| 成本 | 初始部署成本 | 中 | 1=极高 3=中等 5=低 |
| 运行成本(Token/算力) | 高 | 1=极高 3=可控 5=低成本 | |
| 运维人力成本 | 中 | 1=需专职团队 3=兼职可管 5=几乎免运维 | |
| 许可证费用 | 中 | 1=高价商业许可 3=有条件免费 5=完全开源 | |
| 生态 | 社区活跃度 | 中 | 1=无社区 3=有社区 5=活跃且持续更新 |
| 工具链完善度 | 中 | 1=手动部署 3=有基础工具 5=全链路工具链 | |
| 行业案例数量 | 中 | 1=无案例 3=有参考 5=大量可复制案例 | |
| 第三方集成能力 | 低 | 1=封闭 3=有API 5=丰富插件生态 | |
| 合规 | 数据安全认证 | 高 | 1=无认证 3=基础认证 5=行业权威认证 |
| 国内合规(等保/密评) | 高 | 1=不适配 3=部分适配 5=全栈信创 | |
| 内容安全机制 | 高 | 1=无内置 3=基础过滤 5=多级审核 | |
| 审计与溯源能力 | 中 | 1=无 3=日志级别 5=全链路可追溯 |
加权评分计算
选型总分 = 各项得分 x 对应权重之和 / 权重总和
评分结果参考:
| 总分范围 | 建议 |
|---|---|
| 4.0-5.0 | 强烈推荐,优先考虑 |
| 3.0-3.9 | 可用,需关注短板项 |
| 2.0-2.9 | 谨慎考虑,需额外补充方案 |
| < 2.0 | 不推荐 |
B.2 分行业推荐方案
以下矩阵覆盖本书涉及的 14 个行业,给出各行业场景下的推荐基座模型、优先部署模式和关键技术路线。
| 行业 | 核心场景 | 推荐基座模型 | 部署模式 | 关键技术路线 | 特别注意 |
|---|---|---|---|---|---|
| 金融 | 风控、投研、合规审查、客服 | DeepSeek-V3 / Qwen3 | 私有化部署(必选) | RAG + Agent + 私有知识库 | 数据不可出域;幻觉容忍度极低;需可解释性 |
| 医疗 | 辅助诊断、药物研发、病历分析 | Qwen3 / GLM-4.5-32B | 私有化 / 混合云 | 多模态 + RAG + 知识图谱 | 医疗责任归属;需通过 NMPA 审批;隐私合规 |
| 教育 | 个性化学习、智能批改、虚拟教师 | Qwen3 / GLM-4.5-9B | API + 私有化混合 | RAG + Agent + 自适应算法 | 知识准确性;防止错误知识传授;公平性保障 |
| 制造 | 质检、预测维护、排产优化 | GLM-4.5-32B / Qwen3-32B | 边缘-云协同 | 大小模型协同 + 边缘推理 | OT/IT 数据融合;弱网离线场景;工业级可靠性 |
| 零售 | 智能推荐、客服、内容生成、供应链 | Qwen3 / DeepSeek-V3 | API 为主,大促时弹性扩容 | RAG + Agent + 推荐系统融合 | 高并发架构(大促场景);实时性要求 |
| 法律 | 合同审查、法律检索、合规咨询 | DeepSeek-V3 / Qwen3 | 私有化部署 | RAG + 知识图谱 + 精度优先架构 | 幻觉容忍度极低;法规时效性管理;地区差异 |
| 政务 | 政策问答、审批辅助、舆情分析 | DeepSeek-V3 / Qwen3 | 私有化部署(信创环境) | RAG + Agent + 信创适配 | 信创全栈适配;多部门数据协同;安全性优先 |
| 能源 | 调度预测、设备运维、碳管理 | GLM-4.5-32B / Qwen3-32B | 私有化 + 边缘部署 | 时序数据融合 + 边缘推理 | 工控安全;边缘弱网环境;实时性要求高 |
| 交通 | 自动驾驶、物流调度、智慧交通 | Qwen3 / DeepSeek-V3 | 边缘-云协同 | 多模态融合 + 端到端模型 | 安全冗余要求;端侧算力受限;低延迟要求 |
| 农业 | 病虫害诊断、农事决策、产量预测 | GLM-4.5-9B / Qwen3 小模型 | 边缘 / 轻量化部署 | 多 Agent + 遥感 IoT 融合 | 弱网/离线场景;语音交互优先;轻量化部署 |
| 传媒 | 内容生成、视频生产、审核、分发 | Qwen3 / DeepSeek-V3 | API + 私有化混合 | 多模态生成 + 审核Agent | 深度伪造风险;版权合规;内容真实性 |
| 人力资源 | 智能招聘、培训、绩效、HR问答 | Qwen3 / GLM-4.5-32B | API 或私有化 | 微调匹配模型 + RAG | 算法公平性与反偏见;员工隐私保护 |
| 电信 | 网络运维、故障自愈、客服 | Qwen3 / GLM-4.5-32B | 私有化部署 | Agent 编排 + 流式处理 | 多厂商设备集成;信令数据解析;7x24 稳定性 |
| 安全 | 威胁检测、安全运营、合规审计 | DeepSeek-V3 / Qwen3 | 私有化部署(严格隔离) | 大小模型协同 + SOAR 编排 | 对抗性攻击防御;误报管理;数据严格隔离 |
B.3 部署模式决策流程
以下决策流程帮助读者在 API 调用、私有化部署和微调方案之间做出选择。
开始:行业大模型部署模式选择
│
├── Q1: 数据是否可以离开企业网络?
│ ├── 否 → 金融/政务/医疗/军工等强监管行业
│ │ │
│ │ └── 必须选择【私有化部署】
│ │ │
│ │ ├── Q3: 是否需要深度行业适配?
│ │ │ ├── 是,有行业专属数据和格式要求
│ │ │ │ → 私有化部署 + SFT/LoRA 微调
│ │ │ │ 推荐:开源模型 + 行业数据微调 + RAG 知识库
│ │ │ │
│ │ │ └── 否,通用场景 + 行业知识库即可
│ │ │ → 私有化部署 + RAG
│ │ │ 推荐:开源模型 + 行业文档知识库 + Prompt 工程
│ │ │
│ │ └── Q4: 是否有信创/国产化要求?
│ │ ├── 是 → 国产模型(DeepSeek/Qwen/GLM)+ 国产 GPU(昇腾/海光)
│ │ └── 否 → 根据模型能力自由选择
│ │
│ └── 是,数据可以出境(或使用脱敏数据)
│ │
│ └── Q2: 使用量和预算规模如何?
│ ├── 高频使用(月调用量 > 1000 万次)且预算充足
│ │ │
│ │ ├── 需要深度定制?
│ │ │ ├── 是 → 【私有化部署 + 微调】长期成本更低
│ │ │ └── 否 → 【API 调用】弹性扩展,运维成本低
│ │ │
│ │ └── 评估:API 年费 vs 私有化 TCO(3年)
│ │ 通常月调用量 > 5000 万次时,私有化开始具有成本优势
│ │
│ ├── 中低频使用,预算有限
│ │ → 【API 调用】起步最快,按量付费
│ │ 推荐:先 API 快速验证,有规模后再考虑私有化
│ │
│ └── 有 GPU 资源但不想全量微调
│ → 【API + 开源模型混合】
│ 通用场景用 API,敏感/高频场景用开源模型私有化
│ 通过路由层(Router)统一调度
关键决策原则
原则一:先确定部署模式,再选模型
部署模式决定了可选模型的范围。数据出域限制是第一道门槛,信创要求是第二道。
原则二:从简单到复杂,渐进式升级
推荐路径:API 调用 → 私有化部署 + RAG → 私有化 + SFT/LoRA 微调 → 全量微调(极少需要)
绝大多数行业场景在前三个阶段就能满足需求。
原则三:RAG 优先于微调
当模型缺乏行业知识时,优先考虑 RAG(检索增强生成)而非微调。RAG 的优势在于:
- 知识可实时更新,无需重新训练
- 可溯源,满足行业合规要求
- 实施成本低,见效快
- 与微调可叠加使用
只有在模型输出格式、风格或特定能力需要定制时,才需要微调。
B.4 分场景选型要点
高合规行业(金融 / 政务 / 医疗 / 安全)
| 选型维度 | 关键要求 |
|---|---|
| 部署 | 必须私有化,数据不出域;政务还需信创适配 |
| 模型 | 优先国产模型(DeepSeek/Qwen/GLM),确保供应链安全 |
| 架构 | RAG + Agent 为主,强调可解释性和可追溯性 |
| 安全 | 等保三级以上、数据加密、审计日志、内容安全审核 |
| 验证 | 需要通过行业基准测试和人工双重验证 |
高并发行业(零售 / 电信 / 传媒)
| 选型维度 | 关键要求 |
|---|---|
| 部署 | API 为主 + 弹性扩容;核心敏感场景私有化 |
| 模型 | 推理效率优先,可考虑 MoE 模型或小参数量模型 |
| 架构 | 异步处理 + 缓存 + 批量推理,大促场景需压测验证 |
| 成本 | 重点关注 Token 单价和推理资源利用率 |
| 监控 | 实时延迟和错误率监控,自动降级预案 |
边缘部署行业(制造 / 能源 / 交通 / 农业)
| 选型维度 | 关键要求 |
|---|---|
| 部署 | 边缘-云协同,边缘处理实时任务,云端处理复杂任务 |
| 模型 | 轻量模型(GLM-4.5-9B、Qwen3 小尺寸)+ 量化 |
| 架构 | 大模型(云)+ 小模型(边)协同;离线模式支持 |
| 网络 | 弱网和离线场景下的降级方案 |
| 硬件 | 工业级 GPU/NPU,适应恶劣环境 |
知识密集行业(法律 / 教育 / 人力资源)
| 选型维度 | 关键要求 |
|---|---|
| 部署 | API 或私有化均可,根据数据敏感度决定 |
| 模型 | 推理能力强、中文理解精准的模型 |
| 架构 | RAG + 知识图谱为核心,确保知识准确性和时效性 |
| 准确性 | 幻觉控制是第一优先级,宁可不答不可答错 |
| 更新 | 知识库需要持续更新机制(法规变化、课程更新等) |
选型避坑清单
| 常见错误 | 正确做法 |
|---|---|
| 盲目追求最大参数模型 | 根据场景复杂度选择,7B-32B 覆盖 80% 场景 |
| 忽视中文能力评估 | 单独测试中文理解和生成,不能只看英文 benchmark |
| 只看 benchmark 分数 | 用真实业务数据做评估,benchmark 分数仅供参考 |
| 跳过 RAG 直接微调 | 先试 RAG,不够再微调,两者可叠加 |
| 低估运维成本 | 选型时把 GPU 折旧、电力、人力纳入 TCO 计算 |
| 忽视模型更新节奏 | 关注模型社区的更新频率和长期维护承诺 |
| 单一模型依赖 | 核心场景准备备用模型,避免供应商锁定风险 |
| 先选模型再定架构 | 先确定部署模式和架构,再在候选模型中选择 |
使用建议:本选型矩阵应与第 3 章"行业大模型落地方法论"中的需求评估框架结合使用。先用本附录做初步筛选,再用第 3 章的方法论进行深入验证和 MVP 测试。