OpenAI 訓練數據見頂?Orion 模型回報遞減 – 李梓敬 –

OpenAI 訓練數據見頂?Orion 模型回報遞減

OpenAI 正面臨其最新人工智能(AI)模型「Orion」回報遞減的挑戰,這款模型的性能提升較之前的進步幅度有所減少。根據《The Information》報導,Orion 在完成訓練的 20% 時,已達到 GPT-4 的性能水平。然而,從 GPT-4 過渡到備受期待的 GPT-5 的質量提升,未如 GPT-3 升級至 GPT-4 時那樣顯著。

OpenAI 的部分研究人員表示,Orion 雖然在自然語言處理方面表現優越,但在程式編碼等任務上,並未明顯超越其前代模型。這一現象反映了 AI 訓練的初期階段通常能帶來最大幅度的改善,而隨後的階段則往往會呈現回報遞減的現象。因此,即便剩餘的 80% 訓練完成,也不太可能達到與過去相同的突破性進展。

這個情況正值 OpenAI 面臨重大挑戰之際。該公司最近完成了一輪融資,籌得 66 億美元,這使得投資者對其期望大幅提高。然而,AI 開發中傳統的擴展方法正變得越來越困難,技術挑戰也在加劇。如果新模型未能達到預期,OpenAI 可能在未來的融資中難以吸引同樣高的投資興趣。

此外,AI 領域正面臨高質量訓練數據日益稀缺的問題。根據一篇於 2024 年 6 月發表的研究報告,AI 公司可能會在 2026 到 2032 年之間耗盡可用的公開人類生成文本數據。業界人士指出,開發者已經「充分榨取」了這些數據,未來的 AI 發展將面臨更嚴峻的挑戰。

為應對這些問題,OpenAI 正在重新思考其 AI 發展策略,並逐步將重心轉向模型初步訓練後的改進,以突破傳統的擴展法則。然而,該公司近期的多名高層人員離職,將進一步增加其發展的不確定性。