引入对微调 API 的改进并扩展我们的自定义模型计划
我们正在添加新功能，以帮助开发人员更好地控制微调，并宣布使用 OpenAI 构建自定义模型的新方法。
开发人员可以使用多种技术 来提高模型性能，以减少延迟、提高准确性并降低成本。无论是通过检索增强生成 （RAG） 扩展模型知识，通过微调自定义模型的行为，还是使用新的领域特定知识构建自定义训练的模型，我们都开发了一系列选项来支持客户的 AI 实施。今天，我们将推出新功能，让开发人员能够更好地控制 API 的微调，并引入更多与我们的 AI 专家和研究人员团队合作构建自定义模型的方法。
新的微调 API 功能
我们于 2023 年 8 月推出了 GPT-3.5 的自助 微调 API 。从那时起，数以千计的组织使用我们的 API 训练了数十万个模型。微调可以帮助模型深入理解内容，并增强模型针对特定任务的现有知识和能力。我们的微调 API 还支持比单个提示更大的示例量，以实现更高质量的结果，同时降低成本和延迟。微调的一些常见用例包括训练模型以特定编程语言生成更好的代码、以特定格式总结文本或根据用户行为制作个性化内容。
例如 Indeed，全球工作匹配和招聘平台 Indeed 希望简化招聘流程。作为其中的一部分，Indeed 推出了一项功能，向求职者发送个性化推荐，根据他们的技能、经验和偏好突出显示相关工作。他们对 GPT-3.5 Turbo 进行了微调，以生成更高质量和更准确的解释。因此，Indeed 能够通过将 prompt 中的代币数量减少 80% 来降低成本和延迟。这使他们能够从每月向求职者发送的不到 100 万条消息扩展到大约 2000 万条。
今天，我们推出了 新功能 ，让开发人员能够更好地控制他们的微调工作，包括：
基于纪元的检查点创建： 在每个训练周期内自动生成一个完整的微调模型检查点，从而减少后续重新训练的需要，尤其是在过拟合的情况下
Comparative Playground ：一种新的并排 Playground UI，用于比较模型质量和性能，允许人工评估多个模型的输出或根据单个提示微调快照
第三方集成： 支持与第三方平台的集成（从本周的 权重和偏差 开始），让开发人员将详细的微调数据共享到堆栈的其余部分
全面的验证指标 ：能够计算整个验证数据集（而不是采样批次）的损失和准确性等指标，从而更好地了解模型质量
超参数配置 ：能够从仪表板配置可用的超参数 Dashboard （而不仅仅是通过 API 或 SDK）
微调仪表板改进 ：包括配置超参数、查看更详细的训练指标以及从以前的配置重新运行作业的功能
扩展我们的定制模型计划
辅助微调
在去年 11 月的 DevDay 上，我们 宣布了 一项自定义模型计划，旨在与专门的 OpenAI 研究人员团队合作，为特定领域训练和优化模型。从那时起，我们与数十家客户会面，评估他们的定制模型需求，并改进了我们的计划，以进一步最大限度地提高性能。
今天，我们正式宣布我们的辅助微调产品，作为定制模型计划的一部分。辅助微调是与我们的技术团队合作，利用微调 API 以外的技术，例如更大规模的附加超参数和各种参数高效微调 （PEFT） 方法。对于需要支持设置高效训练数据管道、评估系统以及定制参数和方法的组织来说，它特别有用，以最大限度地提高其用例或任务的模型性能。
例如， SK Telecom 是一家为韩国超过 3000 万用户提供服务的电信运营商，它希望定制一种模式，使其成为电信领域的专家，最初专注于客户服务。他们与 OpenAI 合作对 GPT-4 进行了微调，以提高其在韩语电信相关对话中的性能。在数周的时间里，SKT 和 OpenAI 推动了电信客户服务任务的有意义的性能改进——将微调模型与 GPT-4 进行比较时，对话摘要质量提高了 35%，意图识别准确性提高了 33%，满意度得分从 3.6 分提高到 4.5 分（满分 5 分）。
自定义训练模型
在某些情况下，组织需要从头开始训练一个专门构建的模型，该模型了解他们的业务、行业或领域。完全定制训练的模型通过使用新颖的训练中和训练后技术修改模型训练过程的关键步骤，从特定领域灌输新知识。使用完全自定义训练的模型取得成功的组织通常拥有大量专有数据（数百万个示例或数十亿个令牌），他们希望使用这些数据来向模型传授新知识或针对高度特定用例的复杂、独特的行为。
例如， Harvey面向律师的人工智能原生法律工具 Harvey 与 OpenAI 合作， 为判例法创建了一个定制训练的大型语言模型 。虽然基础模型在推理方面很强，但他们缺乏广泛的法律案例历史知识和法律工作所需的其他知识。在测试了提示工程、RAG 和微调后，Harvey 与我们的团队合作，为模型添加了所需的上下文深度——相当于 100 亿个代币的数据。我们的团队修改了模型训练过程的每一步，从特定领域的中期训练到定制训练后流程，并纳入专家律师的反馈。由此产生的模型在事实响应方面增加了 83%，与 GPT-4 相比，律师在 97% 的时间内更喜欢定制模型的输出。
模型自定义的下一步是什么
我们相信，在未来，绝大多数组织将开发针对其行业、业务或用例进行个性化定制的模型。借助可用于构建自定义模型的各种技术，各种规模的组织都可以开发个性化模型，以从其 AI 实施中实现更有意义、更具体的影响。关键是要明确用例的范围，设计和实施评估系统，选择正确的技术，并准备好随着时间的推移进行迭代，以使模型达到最佳性能。
借助 OpenAI，大多数组织可以通过自助微调 API 快速看到有意义的结果。对于任何需要更深入地微调其模型或将新的、特定于领域的知识注入模型的组织，我们的自定义模型计划都可以提供帮助。
暂无评论