自然語言處理新突破看 ChatGPT

 本月 OpenAI 發布了誕生於 GPT-3 基礎上的聊天機器人 ChatGPT, OpenAI 為 AI 研發公司, ChatGPT 具備用戶友好的對話交互界面, 是 InstructGPT 的兄弟模型, 根據指令提供詳細回應. 與 InstructGPT 一樣, ChatGPT 亦使用了 RLHF (Reinforcement Learning from Human Feedback) 模型.

首先, 由人類標記員對於用戶提交的 prompt 來編寫答案, 把這些答案的數據集收集起來, 通過監督學習對 GPT 進行微調. 然後, 由人類標記員對於模型產出的答案進行排序, 以此收集比較數據用於訓練強化學習的獎勵模型, 以捕捉人類偏好.

只需向 ChatGPT 文字提出需求, ChatGPT 可完成回答問題, 書寫代碼, 寫詩, 寫小說與文案等, 對完成用戶指令的反應度遠強於兩代前的 GPT-3. OpenAI 前共同創辦人馬斯克在推特上評價 ChatGPT 稱: "ChatGPT 好得驚人. 我們離強得可怕的 AI 不遠了."

ChatGPT 的名稱來源於它所使用的技術架構 GPT,  即 Generative Pre-trained Transformer, 是一種強大的生成式預訓練語言模型, 能夠完成複雜的自然語言處理領域 (NLP) 的任務.  從 GPT 到 GPT-2 和 GPT-3, 參數提升和訓練數據積累提升模型工作性能.

預期 GPT-4 將於明年發布, 根據 OpenAI 首席執行官表示, GPT-4 將是純文本模型, 規模略大於 GPT-3, 更專注於數據, 算法, 參數的優化. 我們更加臨近人工智能通過圖靈測試這一歷史時刻, 未來人工智能將深刻地改變我們的生產生活方式.

信息時效性與準確性短板仍存, 有害信息屏蔽仍需加強. ChatGPT 基於 4Q21 前的數據訓練, OpenAI 未來可能會使用從網絡上查找信息的 WebGPT 模型來升級 ChatGPT, 該模型可在線搜索問題組織答案, 並添加引用來源, 更準確地回答開放式問題.

GPT-3 模型參數量達到了 1750 億, 微軟為訓練 GPT-3 投資 5 億美元建設了超算中心, 單次模型訓練消耗 355GPU 年的算力. 由此可知超算中心規模是左右 AIGC 發展的一大因素, 個人認為台灣可以受惠的首推伺服器族群, 相信微軟以外的雲計算巨頭也都在摩拳擦掌中.