OpenAI于周四宣布，其API將新增多項(xiàng)語(yǔ)音智能功能，旨在幫助開(kāi)發(fā)者構(gòu)建能夠與用戶進(jìn)行語(yǔ)音對(duì)話、轉(zhuǎn)錄及翻譯的應(yīng)用程序。

全新語(yǔ)音模型GPT-Realtime-2

OpenAI推出的全新語(yǔ)音模型GPT-Realtime-2，能夠生成逼真的語(yǔ)音模擬效果，與用戶進(jìn)行自然對(duì)話。與前代產(chǎn)品GPT-Realtime-1.5不同，該模型搭載了GPT-5級(jí)別的推理能力，專為處理用戶提出的更復(fù)雜請(qǐng)求而設(shè)計(jì)。

實(shí)時(shí)翻譯功能GPT-Realtime-Translate

與此同時(shí)，OpenAI還推出了GPT-Realtime-Translate，顧名思義，該功能旨在提供能夠與用戶"保持同步"的實(shí)時(shí)對(duì)話翻譯服務(wù)。該功能支持超過(guò)70種輸入語(yǔ)言（即可識(shí)別理解的語(yǔ)言）以及13種輸出語(yǔ)言（即向用戶傳達(dá)內(nèi)容所使用的語(yǔ)言）。

實(shí)時(shí)轉(zhuǎn)錄功能GPT-Realtime-Whisper

此外，OpenAI還發(fā)布了全新轉(zhuǎn)錄功能GPT-Realtime-Whisper，為用戶提供實(shí)時(shí)語(yǔ)音轉(zhuǎn)文字能力，可在對(duì)話進(jìn)行的同時(shí)即時(shí)捕獲內(nèi)容。

OpenAI對(duì)此表示："我們此次推出的這些模型，將實(shí)時(shí)音頻從簡(jiǎn)單的問(wèn)答式交互推向了真正能夠完成實(shí)際工作的語(yǔ)音界面——在對(duì)話展開(kāi)的過(guò)程中，系統(tǒng)能夠聆聽(tīng)、推理、翻譯、轉(zhuǎn)錄并采取相應(yīng)行動(dòng)。"

應(yīng)用場(chǎng)景與潛在價(jià)值

這些功能的更新將惠及哪些群體？希望提升客服能力的企業(yè)是最顯而易見(jiàn)的受益方。不過(guò)，OpenAI同時(shí)指出，這些新功能將在教育、媒體、活動(dòng)策劃、內(nèi)容創(chuàng)作者平臺(tái)等眾多領(lǐng)域發(fā)揮重要作用。

安全機(jī)制與濫用防范

盡管這些工具從企業(yè)應(yīng)用角度來(lái)看極具價(jià)值，但潛在的濫用風(fēng)險(xiǎn)同樣不容忽視。對(duì)此，OpenAI表示已內(nèi)置安全防護(hù)機(jī)制，以防止新功能被用于制造垃圾信息、欺詐或其他形式的網(wǎng)絡(luò)濫用行為。系統(tǒng)中設(shè)有特定觸發(fā)機(jī)制，"一旦檢測(cè)到對(duì)話內(nèi)容違反有害內(nèi)容準(zhǔn)則，即可立即終止對(duì)話"。

定價(jià)方式

所有新增語(yǔ)音模型均已納入OpenAI的Realtime API。其中，Translate和Whisper按分鐘計(jì)費(fèi)，而GPT-Realtime-2則按Token消耗量計(jì)費(fèi)。

Q&A

Q1：GPT-Realtime-2與GPT-Realtime-1.5相比有哪些改進(jìn)？

A：GPT-Realtime-2在前代產(chǎn)品的基礎(chǔ)上進(jìn)行了重大升級(jí)，核心改進(jìn)在于搭載了GPT-5級(jí)別的推理能力。這意味著新模型不僅能夠生成更逼真的語(yǔ)音模擬效果，還能處理用戶提出的更為復(fù)雜的請(qǐng)求，而不僅僅局限于簡(jiǎn)單的問(wèn)答式交互，真正實(shí)現(xiàn)了在對(duì)話過(guò)程中的聆聽(tīng)、推理與行動(dòng)能力。

Q2：GPT-Realtime-Translate支持哪些語(yǔ)言？

A：GPT-Realtime-Translate支持超過(guò)70種輸入語(yǔ)言，即系統(tǒng)可以識(shí)別和理解的語(yǔ)言；同時(shí)支持13種輸出語(yǔ)言，即系統(tǒng)向用戶傳達(dá)內(nèi)容時(shí)所使用的語(yǔ)言。該功能旨在提供與用戶對(duì)話節(jié)奏保持同步的實(shí)時(shí)翻譯服務(wù)，適用于教育、媒體、活動(dòng)策劃等多種場(chǎng)景。

Q3：OpenAI如何防止這些語(yǔ)音功能被濫用？

A：OpenAI已在系統(tǒng)中內(nèi)置了專門(mén)的安全防護(hù)機(jī)制與特定觸發(fā)條件。一旦系統(tǒng)檢測(cè)到對(duì)話內(nèi)容違反有害內(nèi)容準(zhǔn)則，即可自動(dòng)終止對(duì)話。這些措施旨在防止相關(guān)功能被用于制造垃圾信息、實(shí)施欺詐或從事其他形式的網(wǎng)絡(luò)濫用行為，從而保障功能在合法合規(guī)的場(chǎng)景下使用。