OpenAI 宣布了多项新的微调 API 功能和扩展的自定义模型程序

阅读时间图标 2分钟读


读者帮助支持 MSpoweruser。如果您通过我们的链接购买,我们可能会获得佣金。 工具提示图标

阅读我们的披露页面,了解如何帮助 MSPoweruser 维持编辑团队 查看更多

重点说明

  • OpenAI 通过新功能、辅助微调和定制训练模型扩展了其微调功能,使组织能够根据特定需求定制语言模型。
OpenAI 微调

去年,OpenAI 首次推出了针对 GPT-3.5 的自助微调 API。微调可以帮助法学硕士更好地理解内容并增强其针对特定任务的现有知识和能力。自推出以来,数千个组织已使用微调 API 来生成更好的代码、以特定格式总结文本等等。

今天,OpenAI 公布 为开发人员提供了一些新功能,使他们能够更好地控制微调。请阅读下面的内容。

  • 在每个训练时期保存完整的微调模型检查点,以减少后续重新训练的需要,特别是在过度拟合的情况下
  • 一个新的并排 Playground UI,用于比较模型质量和性能,允许对多个模型的输出进行人工评估或根据单个提示微调快照
  • 支持与第三方平台集成,让开发人员可以将详细的微调数据共享给其堆栈的其余部分
  • 在每个时期结束时对验证数据集(以前是采样批次)计算的指标,以更好地了解模型性能(令牌丢失和准确性)并提供有关模型泛化能力的反馈
  • 能够从仪表板配置可用的超参数(而不仅仅是通过 API 或 SDK)
  • 对微调仪表板进行了各种改进,包括配置超参数、查看更详细的训练指标以及从以前的配置重新运行作业的能力。

今天,OpenAI 还宣布了辅助微调产品,作为定制模型计划的一部分。通过辅助微调,OpenAI 研究人员的专门小组将使用微调 API 之外的技术,例如额外的超参数和各种参数高效微调 (PEFT) 方法来训练和优化特定领域的模型。该计划对于需要支持来构建高效的训练数据管道、评估系统以及定制参数和方法以提高其特定领域的模型性能的组织来说将非常有帮助。除了辅助微调之外,OpenAI 还帮助组织从头开始训练专门构建的模型,以了解其业务、行业或领域。

“借助 OpenAI,大多数组织都可以通过自助微调 API 快速看到有意义的结果。对于任何需要更深入地调整模型或向模型注入新的、特定领域的知识的组织来说,我们的自定义模型程序可以提供帮助。”OpenAI 团队写道。