ChatGPT數據模型訓練器 ChatGPT之父稱巨型人工智能模型時代已結束

參考消息網4月21日報道初創公司開放人工智能研究中心()推出的聊天機器人(聊天生成預訓練轉換器)的功能令人驚嘆，這促使外界對人工智能領域的興趣和投資激增。

但據美國《連線》月刊網站4月17日報道，上周末，該公司首席執行官薩姆·奧爾特曼發出警告：創造這款機器人的研究戰略已經失去效用。尚不清楚未來的進展將出自何處。

近年來，采用現有的機器學習算法，并將之擴大到以前難以想象的規模，在人工智能語言模型領域取得了一系列令人印象深刻的進展。該公司在訓練這些項目中的最新模型GPT-4時，可能利用了數以萬億計的文本文字和數以千計功率強大的計算機芯片。這個過程需要超過1億美元的開支。

但是，奧爾特曼說，即使擴大模型規模，也不會取得更大進展了。上周末，他在美國麻省理工學院舉辦的一次活動中告訴人們：“我認為我們已處于這種巨型模型時代的末期。我們會用其他方法改進它們。”

奧爾特曼的斷言表明，在開發和應用新的人工智能算法的競賽中出現了意想不到的轉折。自去年11月推出以來，微軟公司利用其底層技術為必應搜索引擎增加了聊天機器人功能；谷歌公司推出了與必應競爭的聊天機器人“巴德”。很多人一擁而上，嘗試用新一代聊天機器人協助完成工作或個人任務。

與此同時，無數資金充裕的初創公司正在斥巨資打造規模更大的算法，努力追趕的技術。在稍加升級GPT-3的基礎上推出了的最初版本，而用戶現在能夠使用功能更強大的GPT-4驅動的版本。

奧爾特曼發表的聲明表明，GPT-4可能是的戰略——擴大模型規模并為之提供更多數據——能夠產生的最后一項重大進展。他沒說哪種研究戰略或技術可能會取而代之。在描述GPT-4的論文中說，它的預測表明，擴大模型規模的收益在減少。奧爾特曼說，公司能夠建立的數據中心的數量以及建設速度，也存在客觀限制。

加拿大科希爾公司聯合創始人、曾在谷歌公司人工智能部工作的尼克·弗羅斯特說，奧爾特曼覺得擴大模型規模不會永遠奏效，這一觀點確實有道理。他也認為，要在轉換器(GPT-4及其競爭對手的核心機器學習模型)方面取得進展，不是規模的問題。

他說：“有很多辦法能讓轉換器變得更好、更有用，其中很多跟擴大模型規模無關。”他指出，新的人工智能模型設計(或結構)以及基于人類反饋的進一步微調，都是很多研究人員開始探索的前景光明的方向。

頗具影響力的語言算法組的每個版本都包括人工神經網絡，在接受訓練后，可預測會跟在一段給定文本后出現的字詞。

GPT-2是這種語言模型中較早的一個，于2019年推出。它最多有15億個參數。當時，與之前的系統相比ChatGPT數據模型訓練器，GPT-2已經極其龐大了，部分原因在于，的研究人員發現ChatGPT數據模型訓練器，擴大規模可以讓模型更連貫。

2020年推出的GPT-3規模更大，其參數達到驚人的1750億個。該系統生成詩文、電子郵件及其他文本的綜合能力令其他公司和研究機構堅信，應將自己的人工智能模型擴大至類似甚至更大規模。

在去年11月亮相后，一些技術權威猜測ChatGPT數據模型訓練器，等到GPT-4推出時，它將是一種規模和復雜度令人目眩的模型。而當終于公布這一新的人工智能模型時，公司并未披露其規模到底有多大，也許是因為規模已不再那么重要。

免責聲明：本文系轉載，版權歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責。如需轉載，請聯系原作者。如果來源標注有誤或侵犯了您的合法權益或者其他問題不想在本站發布，來信即刪。