OpenAI kunngjør flere nye finjusterings-API-funksjoner og utvidet Custom Model-program

I fjor lanserte OpenAI først sin selvbetjente finjusterings-API for GPT-3.5. Finjustering kan hjelpe LLM-er til å bedre forstå innhold og øke eksisterende kunnskap og evner for en spesifikk oppgave. Siden lanseringen har tusenvis av organisasjoner brukt finjusterings-API for å generere bedre kode, for å oppsummere tekst i et spesifikt format og mer.

I dag, OpenAI annonsert flere nye funksjoner for utviklere for å gi dem mer kontroll over finjustering. Les om dem nedenfor.

• Lagre et fullstendig finjustert modellsjekkpunkt under hver treningsepoke for å redusere behovet for påfølgende omskolering, spesielt i tilfeller med overtilpasning
• Et nytt side-ved-side Playground UI for å sammenligne modellkvalitet og ytelse, som tillater menneskelig evaluering av utdataene fra flere modeller eller finjustere øyeblikksbilder mot en enkelt forespørsel
• Støtte for integrasjoner med tredjepartsplattformer for å la utviklere dele detaljerte finjusteringsdata til resten av stabelen deres
• Beregninger beregnet over valideringsdatasettet (tidligere en samplet batch) ved slutten av hver epoke for å gi bedre innsikt i modellens ytelse (tokentap og nøyaktighet) og gi tilbakemelding om modellenes generaliseringsevne
• Muligheten til å konfigurere tilgjengelige hyperparametre fra dashbordet (i stedet for bare gjennom API eller SDK)
• Forskjellige forbedringer av det finjusterende dashbordet, inkludert muligheten til å konfigurere hyperparametere, se mer detaljerte treningsberegninger og kjøre jobber på nytt fra tidligere konfigurasjoner.

I dag kunngjorde OpenAI også tilbudet om assistert finjustering som en del av Custom Model-programmet. Gjennom assistert finjustering vil en dedikert gruppe OpenAI-forskere bruke teknikker utover finjusterings-APIet, for eksempel ekstra hyperparametere og ulike parametereffektive finjusteringsmetoder (PEFT) for å trene og optimalisere modeller for et spesifikt domene. Dette programmet vil være veldig nyttig for organisasjoner som trenger støtte for å bygge effektive treningsdatapipelines, evalueringssystemer og skreddersydde parametere og metoder for å forbedre modellytelsen for deres spesifikke domene. I tillegg til assistert finjustering, hjelper OpenAI også organisasjoner med å trene en spesialbygd modell fra bunnen av som forstår deres virksomhet, industri eller domene.

"Med OpenAI kan de fleste organisasjoner se meningsfulle resultater raskt med selvbetjent finjusterings-API. For alle organisasjoner som trenger å finjustere modellene sine dypere eller legge inn ny, domenespesifikk kunnskap i modellen, kan våre Custom Model-programmer hjelpe,” skrev OpenAI-teamet.