構(gòu)建chatgpt數(shù)據(jù) 從大數(shù)據(jù)的角度看ChatGPT

引起業(yè)界的極大關(guān)注，作為大數(shù)據(jù)技術(shù)研究人員，更希望從大數(shù)據(jù)的角度來看待，畢竟在大數(shù)據(jù)驅(qū)動的人工智能時代，此類大模型沒有大數(shù)據(jù)，就如同機器沒有電一樣。

根據(jù)的解釋， 是的兄弟模型，兩者非常相似，不同之處僅在于訓練模型的數(shù)據(jù)量。目前關(guān)于的技術(shù)文檔比多一些，因此，我們從文檔中關(guān)于數(shù)據(jù)部分的描述可以看看。關(guān)于、和GPT-3的關(guān)系及技術(shù)差別見本文最后，這里先將模型的訓練數(shù)據(jù)，包括互聯(lián)網(wǎng)大數(shù)據(jù)和對話相關(guān)的數(shù)據(jù)集。下面分別介紹數(shù)據(jù)集、處理方法、以及爬蟲作用。

互聯(lián)網(wǎng)大數(shù)據(jù)及處理

模型最主要的數(shù)據(jù)是互聯(lián)網(wǎng)大數(shù)據(jù)，是來 的部分數(shù)據(jù)，共1萬億個詞匯、570G，覆蓋了2016-2019年間的互聯(lián)網(wǎng)文本數(shù)據(jù)，包括HTML、word、pdf等等各類型。這些數(shù)據(jù)可通過亞馬遜的云計算服務(wù)進行訪問，據(jù)說只需25美元就可以設(shè)置一個亞馬遜帳戶獲取這些抓取數(shù)據(jù)。從頁面語言來看構(gòu)建chatgpt數(shù)據(jù)，最多的是英文，共有15億個頁面（根據(jù)2022年某個月抓取的頁面統(tǒng)計）。截至2021年12月,我國網(wǎng)頁數(shù)量為3350億個，2021年比2020年增加195億個頁面，每個月新增加16.2億構(gòu)建chatgpt數(shù)據(jù)，因此 收錄的中文頁面大概不超過總數(shù)的10%。除此以外，還有來自英文和基于互聯(lián)網(wǎng)的兩個圖書庫（具體未知）。

從這里，我們也可以看出，由于訓練數(shù)據(jù)將近50%是英文，在經(jīng)過多層模型學習后，最終也可能學習到一些所謂“價值觀”的高層特征，因此在新的AI時代 文化安全更加富有挑戰(zhàn)性。

對數(shù)據(jù)集進行了兩個主要的處理，即 低質(zhì)量頁面過濾、 頁面相似性去重，以避免過擬合。這也是采用互聯(lián)網(wǎng)大數(shù)據(jù)進行機器學習不可少的步驟。頁面質(zhì)量過濾時，采用的是機器學習方法。選擇作為高質(zhì)量文檔類，訓練一個文檔質(zhì)量分類器（邏輯回歸分類器+的標準切分和作為特征表示），訓練好的分類器用于對的文檔進行質(zhì)量過濾。頁面去重時，使用和該質(zhì)量分類器相同的文檔特征表示，利用的進行文檔相似性計算，大概排除了10%的相似頁面，有利于減小相似文檔導致的模型過擬合，以及降低模型訓練復雜度。

支持對話的相關(guān)數(shù)據(jù)集

GPT-3有很強的上下文表示能力，但缺乏用戶交互行為的學習。模型引入了強化學習和監(jiān)督學習來 理解用戶意圖，正是由于有了很好的意圖理解能力，我們和的對話才能顯得自如。相應的支持訓練數(shù)據(jù)主要有：

（1） SFT數(shù)據(jù)集：由標注人員對用戶輸入提示行為進行標注，共13K個訓練提示，該數(shù)據(jù)集用于微調(diào)GPT-3，采用監(jiān)督學習方法 fine- (SFT)。

（2） RM數(shù)據(jù)集：標注者對給定輸入的預期輸出進行排序，共33K個記錄，數(shù)據(jù)集用于訓練獎勵模型 (RM)以預測人類想要的輸出。

（3） PPO數(shù)據(jù)集：沒有標注，用于RLHF（g from ，從人類反饋中獲得的強化學習）微調(diào)。

正是由于這些數(shù)據(jù)集的引入，使得在多輪會話中，能夠有效地理解我們的意圖，這點倒 是AI一個很大的進步。這里我們也可以看到在AI時代標注之類的勞動密集型工作留給人類來做，按此趨勢人類大腦退化不是沒有可能的，哈哈~

、GPT-2、關(guān)系介紹

是于2022年初發(fā)布的語言模型，可以看作是一個經(jīng)過微調(diào)的新版本GPT-3構(gòu)建chatgpt數(shù)據(jù)，它的新在于可以盡量減少有害的、不真實的和有偏差的輸出。吸取了 的Tay在使用來自 的開放數(shù)據(jù)進行訓練后出現(xiàn)的種族傾向錯誤。這個是 人工智能安全的視角，在信息化進入智能化后，安全升級為第一要位， 沒有安全也就沒有AI應用，自動駕駛就是很好的例子。當然目前這個架構(gòu)，還很 容易受到數(shù)據(jù)投毒攻擊，后續(xù)有空我再寫一篇人工智能安全視角下的。

這個模型比GPT-3小了100多倍，僅有13億個參數(shù)，比GPT-2還少。與之前各類語言模型不同的是， 是為對話構(gòu)建的大型語言模型，也可以稱之為對話語言模型吧，因此該模型的設(shè)計目標之一是能夠讓模型知道人類的意圖。因此，主要技術(shù)是通過結(jié)合監(jiān)督學習+從人類反饋中獲得的強化學習（RLHF，g from ），提高GPT-3的輸出質(zhì)量。

爬蟲的作用

盡管目前還是利用他人爬蟲數(shù)據(jù)集，但是作為一個獨立成長的AI系統(tǒng)，將來免不了自己采集，否則難于跟上用戶變化。雖然進入了 AIGC時代，但是 UGC仍然長期存在，否組用AIGC去訓練AI，那就相當于自己拉的si自己吃了，最終免不了病態(tài)。當然并非否定AIGC，它作為一種輔助數(shù)據(jù)增強的手段還是非常受到大家的歡迎。

從這個角度看它和搜索引擎有一定相似地方，才會有很多人認為它是搜索引擎的增強或者將來要代替搜索引擎了。搜索引擎只是將爬蟲抓來的頁面提取、解析后進行逆向索引，然后存儲關(guān)鍵詞和頁面的對應關(guān)系即可為用戶提供匹配服務(wù)，而技術(shù)手段要更深刻很多了，語義理解、大數(shù)據(jù)技術(shù)、監(jiān)督學習、強化學習以及意圖理解等等。不過搜索引擎公司所擁有的頁面數(shù)據(jù)比所使用的大數(shù)據(jù)集要大很多，將來自己定制一個對話語言模型是很有基礎(chǔ)的，希望不久能出品。

轉(zhuǎn)載請注明：本文來自互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與應用公眾號。歡迎針對文中提到的一些觀點一起討論，后臺留言。

免責聲明：本文系轉(zhuǎn)載，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責。如需轉(zhuǎn)載，請聯(lián)系原作者。如果來源標注有誤或侵犯了您的合法權(quán)益或者其他問題不想在本站發(fā)布，來信即刪。