ChatGPT 参数规模很可能只有 7B（70 亿）

发表于站长交流版块新鲜事

南加州大学最新研究，ChatGPT 参数规模很可能只有 7B（70 亿）。南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度（embedding size）为 4096 或

南加州大学最新研究，ChatGPT 参数规模很可能只有 7B（70 亿）。南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度（embedding size）为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral，嵌入向量维度 4096 的时候都是约 7B 参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。

因此南加大团队指出，可以推测 gpt-3.5-turbo 的参数规模也在 7B 左右，除非是 MoE 架构可能不同。数月前，曾有微软 CODEFUSION 论文意外泄露当时 GPT-3.5 模型参数为 20B，在后续论文版本中又删除了这一信息。（量子位）

文章说明:

本文原创发布于探乎站长论坛，未经许可，禁止转载。

题图来自Unsplash，基于CC0协议。

该文观点仅代表作者本人，探乎站长论坛平台仅提供信息存储空间服务。