単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場

GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。

続きを読む...

Source: GIGAZINE（ギガジン） 最新情報