幾個小時前 SemiAnalysis 的 DYLAN PATEL 和 DYLAN PATEL 發布了一個關于 GPT-4 的技術信息，包括 GPT-4 的架構、參數數量、訓練成本、訓練數據集等。本篇涉及的 GPT-4 數據是由他們收集，并未公開數據源。僅供參考。

(相關資料圖)

原文翻譯如下：

揭秘 GPT-4：導致 OpenAI 架構的工程權衡

OpenAI 保持 GPT-4 架構的封閉性并不是因為對人類存在一些生存風險，而是因為他們構建的東西是可復制的。事實上，我們預計 Google、Meta、Anthropic、Inflection、Character、騰訊、字節跳動、百度等在短期內都將擁有與 GPT-4 一樣強大的模型。

不要誤解我們的意思，OpenAI 擁有令人驚嘆的工程技術，他們構建的東西令人難以置信，但他們得出的解決方案并不神奇。這是一個優雅的解決方案，具有許多復雜的權衡。做大只是戰斗的一部分。 OpenAI 最持久的護城河是他們擁有最真實的使用情況、領先的工程人才，并且可以通過未來的模型繼續領先于其他人。

我們從許多來源收集了大量有關 GPT-4 的信息，今天我們想分享一下。這包括模型架構、訓練基礎設施、推理基礎設施、參數計數、訓練數據集組成、令牌計數、層數、并行策略、多模態視覺適應、不同工程權衡背后的思維過程、獨特的實施技術以及它們如何減輕一些問題他們最大的瓶頸與巨型模型的推理有關。

GPT-4 最有趣的方面是理解他們為什么做出某些架構決策。

此外，我們將概述 A100 上 GPT-4 的訓練和推理成本，以及如何在下一代模型架構中與 H100 進行擴展。

首先，問題陳述。從 GPT-3 到 4，OpenAI 希望擴展 100 倍，但問題是成本。 密集變壓器模型將無法進一步擴展。密集變壓器是 OpenAI GPT-3、Google PaLM、Meta LLAMA、TII Falcon、MosaicML MPT 等使用的模型架構。我們可以輕松說出 50 家使用相同架構培訓法學碩士的公司。這是一個很好的方法，但它在擴展方面存在缺陷。

從訓練成本的角度來看，請參閱我們在 GPT-4 公告之前關于即將推出的密集模型 AI 磚墻的訓練成本討論。在那里，我們揭示了 OpenAI 在 GPT-4 架構方面所做的高層工作以及各種現有模型的訓練成本。

在過去的 6 個月里，我們意識到培訓成本無關緊要。

當然，從表面上看，花費數千萬甚至數億美元的計算時間來訓練模型似乎很瘋狂，但這對于這些公司來說是微不足道的。它實際上是一個資本支出項目，規模擴大可以持續帶來更好的結果。唯一的限制因素是將計算擴展到人類可以獲得反饋并修改架構的時間尺度。

未來幾年，谷歌、Meta、OpenAI/ 微軟等多家公司將在價值超過千億元的超級計算機上訓練模型。Meta 每年在 "Metaverse" 上燃燒超過 160 億美元，Google 每年在各種永遠不會實現成果的項目上浪費 100 億美元。亞馬遜在 Alexa 上損失了超過 50 億美元。加密貨幣在毫無價值的事情上浪費了超過 1000 億美元。

這些公司和整個社會可以而且將會花費超過一千億美元來創建可以訓練單個大規模模型的超級計算機。然后可以通過多種方式將這些大型模型產品化。這項工作將在多個縣和公司重復進行。這是新的太空競賽。以前的浪費與現在的區別在于，人工智能可以在短期內從人類助手和自主代理身上帶來有形的價值。

擴展人工智能（真正的人工智能磚墻）的更重要問題目標是將訓練計算與推理計算分離。這就是為什么訓練 Chinchilla 對于任何將要部署的模型來說都是最佳的。這就是為什么要進行稀疏模型架構；每個參數在推理過程中都不會被激活。

真正的戰斗是將這些模型擴展到用戶和代理的成本太高。推理成本是訓練成本的數倍。這就是 OpenAI 在模型架構和基礎設施方面的創新目標。

大型模型的推理是一個多變量問題，其中模型大小會導致密集模型的死亡。

我們已經在這里詳細討論了有關邊緣的問題，但數據中心的問題陳述非常相似。簡而言之，設備永遠不可能有足夠的內存帶寬來容納大型語言模型來實現一定水平的吞吐量。即使它們有足夠的帶寬，邊緣硬件計算資源的利用率也會很糟糕。

在數據中心、云中，利用率就是一切。 Nvidia 因其卓越的軟件而受到贊譽的一半原因是，在 GPU 的幾代生命周期中，Nvidia 不斷更新低級軟件，通過在芯片周圍、芯片和內存之間更智能地移動數據來提高 FLOPS 利用率。

目前大多數用例中的 LLM 推理都是作為實時助手運行，這意味著它必須實現足夠高的吞吐量，以便用戶可以實際使用它。人類平均每分鐘閱讀約 250 個單詞，但有些人的閱讀速度高達每分鐘約 1,000 個單詞。這意味著您需要每秒至少輸出 8.33 個令牌，但每秒需要輸出 33.33 個令牌才能覆蓋所有極端情況。

由于內存帶寬要求，即使在最新的 Nvidia H100 GPU 服務器上，萬億參數密集模型在數學上也無法實現此吞吐量。每個生成的令牌都需要將每個參數從內存加載到芯片上。然后，將生成的令牌輸入到提示中，并生成下一個令牌。此外，注意力機制的 KV 緩存中的流傳輸需要額外的帶寬。

上圖展示了以足夠高的吞吐量推理 LLM 以便為單個用戶提供服務所需的內存帶寬。它表明，即使 8x H100 也無法以每秒 33.33 個令牌的速度提供 1 萬億參數密集模型。此外，每秒 20 個令牌的 8xH100 的 FLOPS 利用率仍低于 5%，導致推理成本非常高。實際上，目前的 8 路張量并行 H100 系統存在約 3000 億個前饋參數的推理約束。

然而，OpenAI 正在通過 A100 實現人類的閱讀速度，其模型超過 1 萬億個參數，并且以每 1,000 個代幣僅 0.06 美元的低價廣泛提供。那是因為它是稀疏的，IE 并不是每個參數都被使用。

廢話夠多了，我們來談談 GPT-4 模型架構、訓練基礎設施、推理基礎設施、參數計數、訓練數據集組成、標記計數、層數、并行策略、多模態視覺編碼器、不同工程權衡背后的思維過程、獨特的實施的技術，以及它們如何緩解與大型模型推理相關的一些最大瓶頸。

總結主要的關于 GPT-4 的信息（總結來自 Yam Peleg 的推文）：

參數數量：GPT-4 比 GPT-3 大 10 倍，估計參數數量在 120 層、1.8 萬億左右。

MoE 架構：即 Mixture-of-Experts 架構，這部分信息已經確認，OpenAI 通過利用 MoE 架構保持一定的成本，包含 16 個 Experts，每一個都是一個 MLP.2，約 1110 億參數，每個前向傳播都被路由到這些專家中

MoE 路由：盡管公開的技術文檔中說了很多高級的路由功能，包括每個 token 如何選擇每個專家等。但是現有 GPT-4 其實非常簡單，大約就是為每個 attention 共享 550 億參數的方式。

推理：每一個前向傳播的推理（生成一個 token）需要 2800 億參數以及 560 TFLOPS，這與純 dense 模型每次正向傳遞所需的約 1.8 萬億參數和 3700 TFLOPS 形成了鮮明對比。

訓練數據集：GPT-4 在約 13 萬億 tokens 上訓練。這不是指不同的 token 數量，是根據 epochs 計算使用的 token 數量。基于文本的數據集做了 2 次 epoch 訓練，基于代碼的數據集做了 4 次 epoch 訓練。

GPT-4 32K：每一個預訓練階段都是 8K 的長度。32K 的版本是 8K 預訓練模型之后微調得到的。

Batch Size：batch size 是逐漸上升的，在集群中經過幾天的時間達到一個數值。最終，OpenAI 的 Batch Size 達到了 6000 萬！也就是每個專家大約有 750 萬的 token 數量，但是并不是每個專家都能看到所有的 tokens。

并行策略：由于 NVLink 的限制，OpenAI 訓練 GPT-4 做了 8 路 tensor 并行，15 路的 pipeline 并行。

訓練成本：OpenAI 訓練 GPT-4 的 FLOPS 約 2.15e25，在 2.5 萬個 A100 上訓練了 90-100 天左右時間（MFU 約 32% 到 36%），如果是一個 A100 約 1 美元，那么訓練成本約 6300 萬美元（如果現在使用 H100 可能只要 2150 萬美元）。

MoE 的取舍：使用 MoE 之后做了很多取舍，包括推理的處理困難，因為每個模型都用來生成文本。這意味著生成的時候有的可以使用，有的空閑，對使用率來說非常浪費。研究顯示 64-128 個專家的損失比 16 個專家更好。

GPT-4 的推理成本：比 1750 億的 Davinchi（GPT-3/3.5 系列）高 3 倍，主要是 GPT-4 的集群太大，利用率低一點。估計約 1k tokens 要 0.0049 美元（128 個 A100）。

MOA：Multi Query Attention，和其他人一樣，都是正常使用 MOA。因為只需要 1 個 head，顯存大大下降，但是 32K 依然無法在 A100 40G 運行。

持續 batching：OpenAI 使用可變的 batch size 和持續 batching 方法。可以平衡推理成本和推理速度。

Vision Multi-Modal：GPT-4 的多模態部分是單獨一個 visiion encoder，帶有 cross attention。使得 1.8 萬億的 GPT-4 的參數擴展到 2 萬億左右。VisionModel 是從頭訓練的，還不夠成熟。Vision 部分的一個作用是讓代理可以月度網頁，然后轉換成圖片和視頻。部分數據是基于 Latex 與屏幕截屏訓練的。還有 YouTube 視頻，包括使用 whisper 翻譯的腳本與抽幀結果。

推理架構：推理是在 128 個 GPU 集群上運行的，在不同的區域有不同的集群。每個節點有 8 個 GPU，包含 1300 億參數的模型。或者說每個 GPU 少于 30GB 的 FP16、少于 15GB 的 FP8/int8。

原文鏈接：點擊前往