在經(jīng)過上周的高層人事出走及超大型募集資金等爭(zhēng)議新聞后，OpenAI本周舉行開發(fā)者大會(huì)DevDay，宣布包含GPT-4o圖片微調(diào)、開發(fā)逼真對(duì)話功能的Realtime API等新功能，供開發(fā)人員開發(fā)結(jié)合GPT-4o、4o mini模型的AI應(yīng)用。

DevDay上OpenAI宣布的新功能包括Realtime API、視覺微調(diào)、提示緩存（Prompt Caching in the API）以及模型蒸餾。其中Realtime API為beta版，讓開發(fā)商得以將接近ChatGPT高端語(yǔ)音模式（Advanced Voice Mode）的對(duì)話能力集成在自己的AI助理。

Realtime API讓開發(fā)人員得以打造低延遲、多模態(tài)的口語(yǔ)對(duì)話體驗(yàn)。目前支持文本、語(yǔ)音的輸出、輸入，也支持函數(shù)調(diào)用。Realtime API提供原生語(yǔ)音輸入、語(yǔ)音輸出的生成，無需文本轉(zhuǎn)換，意味輸出延遲更低。此外，其模型具有自然可操控的人聲表現(xiàn)，能提供自然語(yǔ)調(diào)制化，能表達(dá)和語(yǔ)氣一致化的笑、低聲說話等聲音表情。

昨日OpenAI宣布正式推出視覺微調(diào)功能。OpenAI在8月份推出GPT-4o微調(diào)服務(wù)時(shí)，只支持上傳文本數(shù)據(jù)集微調(diào)，現(xiàn)在加入圖片支持。這表示開發(fā)人員可以上傳圖片數(shù)據(jù)集，以強(qiáng)化GPT-4o的圖像理解功能，用于開發(fā)具有高端視覺搜索應(yīng)用、自動(dòng)駕駛汽車或智慧城市的對(duì)象偵測(cè)應(yīng)用，或是醫(yī)療形象分析。

OpenAI表示，微調(diào)GPT-4o的圖像數(shù)據(jù)集不需太多，最少只需上傳100張圖像。在公開前，OpenAI已經(jīng)和一些伙伴合作測(cè)試，包括東南亞最大餐食外賣及汽車共享平臺(tái)Grab、企業(yè)流程AI代理開發(fā)商Automat和網(wǎng)頁(yè)AI開發(fā)助理開發(fā)商Coframe等。

視覺微調(diào)服務(wù)基礎(chǔ)模型為gpt-4o-2024-08-06，在10月31日前提供每日100萬(wàn)訓(xùn)練字詞（token）免費(fèi)。之后收費(fèi)為每100萬(wàn)字詞輸入25美元。若想使用推論服務(wù)，則費(fèi)用為100萬(wàn)字詞輸入3.75美元，100萬(wàn)字詞輸出15美元。圖片輸入會(huì)依圖片大小字詞化（tokenized）以用于計(jì)價(jià)。

第三項(xiàng)則是API提示緩存服務(wù)。許多開發(fā)人員在不同API調(diào)用會(huì)重復(fù)使用同一種操作，像是編輯codebase或設(shè)置聊天機(jī)器人多來回對(duì)話。使用提示緩存可讓開發(fā)人員重復(fù)使用輸入字詞，可減少50%開發(fā)成本及加速提示處理時(shí)間，降低延遲性。

這項(xiàng)服務(wù)是將已運(yùn)算過的提示的最長(zhǎng)前綴字符（prefix）緩存在API中，這功能會(huì)對(duì)1024字詞以上的提示提供緩存。只要重復(fù)使用到有共同前綴字符的，就會(huì)自動(dòng)適用折扣，用戶不需設(shè)置。緩存的字符一般會(huì)在停用5到10分鐘內(nèi)清除，1小時(shí)內(nèi)就會(huì)完全刪除。

提示緩存服務(wù)已經(jīng)上線，提示緩存會(huì)自動(dòng)適用在最新版GPT-4o、GPT-4o mini、OpenAI o1-mini或是這些模型的微調(diào)版本。經(jīng)過緩存的提示，價(jià)格比未緩存的提示來得低。例如以新的gpt-4o-2024-08-06模型為例，未緩存與緩存的費(fèi)用各為2.50和1.25美元，而經(jīng)過微調(diào)的模型則各為3.75和1.875美元。

數(shù)據(jù)源／OpenAI

最后是模型蒸餾（model distillation）和評(píng)估。模型蒸餾允許開發(fā)人員使用大型模型微調(diào)成較小模型的成果，使模型適用于單一任務(wù)，有助于降低延遲性及降低成本。使用這項(xiàng)功能的步驟是，先以completions API存儲(chǔ)（用store參數(shù)）大模型的高品質(zhì)成果，再評(píng)估大小模型創(chuàng)建基準(zhǔn)線，之后選擇欲蒸餾的部分，用以微調(diào)小型模型。最后，再比較大模型及微調(diào)后的小模型效果。