GPT 4 登場 AIGC 元年正式揭幕

GPT 是一個基於統計學的語言模型, 其工作就是對詞語進行概率分布的建模, 也就是利用已經說過的話去預測下一個詞出現的分布概率. 衡量一個語言模型的功能最重要取決於兩點: 一是是否能有效利用歷史上下文信息, 這決定其對於人類意圖的理解能力. 二是是否有足夠豐富高質量的訓練語料, 這決定其回答的質量.

 GPT 即預訓練大語言模型, 基於主流自然語言處理模型 Transformer 進行預訓練, 是深度學習自然語言生成 (NLG) 的一種. 由於在大量的文本數據上進行了訓練, 使其能夠對廣泛的問題和提示產生類似人類的反應. 

ChatGPT 作為一款基於深度學習的生成式語言模型, 和傳統的 AI 助手 (如 Siri) 在模型訓練方式, 語言生成能力, 適用場景上有顯著區別. 由於採用了深度學習自然語言生成模型, ChatGPT 可以通過自我學習和優化生成明顯優於傳統 AI 助手的回答.

在深度學習語言模型領域, 大型科技公司在算力, 歷史投入, 科技人才密度, 數據規格, 資金實力等方面具有明顯優勢, 因此大 (公司) 模型有較大可能擠壓小模型閉環方案的一些創業公司的生存空間.

2020 微軟投資10億美金與 OpenAI 合作打造了Azure Al 超算平台, 性能位居全球前五, 擁有超過 28.5萬個 CPU核心, 1萬個GPU, 每GPU擁有 400Gbps 網絡帶寬的超級計算機, 主要用於大規模分布式 Al 模型訓練. 未來隨著 ChatGPT 的日常運營和模型訓練需求增多, 將進一步帶來更大的算力需求.

本月中 OpenAI 公布了 GPT-4 算法, 是 OpenAI 擴展深度學習的最新里程碑式的結果, GPT-4 時為大型多模態模型 (接受圖像和文本輸入, 發出文本輸出), 雖然目前在許多現實場景能力依舊不及自然人, 但是在許多專業考試和學術基準上依舊表現出不俗能力.

多模態出世之前, AI 模型只專注於單一領域, 例如自然語言處理或計算機視覺等; 多模態技術出現後, 模型已經從早期單一的自然語言處理和機器視覺發展成自動生成圖畫, 圖像文字, 音視頻等多模態, 跨模態圖型, 極大的推動了 AIGC 的內容多樣性和通用性.

GPT-4 準確性和風格多樣性實現提升. 任務的複雜性越高, GPT-4 處理問題的準確性越強於 GPT-3.5. 當任務的複雜性達到足夠的閾值時, 差異就會出現, GPT-4 比 GPT-3.5 更可靠, 更有創意, 並且能夠處理更細微的指令. 

GPT-4 在可靠性和安全性上相比 GPT-3.5 有所提升, 但仍存在局限. 與基於 GPT-3.5 的 ChatGPT 相比, GPT-4 在各個類別上的可靠性均有顯著提升, 但在某些時候仍存在回答看起來是正確的, 但實際是在 "胡說八道" 的情況.



據 OpenAI 官網, GPT-3.5 的輸入及輸出總長度限制為 4097 個 token. GPT-4 支持最多 32768 個 token 的上下文對話, 一方面可以讓模型捕捉到更多的信息, 從而提高語言理解和生成的質量和連貫性. 另一方面更長的輸入及輸出能夠支持更加複雜問題的解決.

短期看是降本增效的新生產力工具, 長期看可能帶來新的內容生產範式. ChatGPT 的成功證明了生成式模型的進化, 實現通用人工智能 AGI 的可能性進一步提高. 其重要性體現在 AI 對人類傳達信息的載體有了更好的學習, 在此基礎上各個媒介之間的互通成為可能.