DBRX

DBRXは、親会社であるDatabricks傘下のMosaicが開発した大規模言語モデル（LLM）で、2024年3月27日にDatabricks Open Model Licenseの下でリリースされました。^{[ 3 ] [ 4 ] [ 5 ]}これは、合計1320億個のパラメータを持つ混合エキスパート変換モデルです。各トークンに対して360億個のパラメータ（16個のエキスパートのうち4個）がアクティブになっています。 ^{[ 6 ]}リリースされたモデルは、基本基盤モデルバージョンと命令調整バリアントのいずれかで提供されます。^{[ 7 ]}

DBRXはリリース当時、言語理解、プログラミング能力、数学など、さまざまなベンチマークにおいて、MetaのLlama 2、Mistral AIのMixtral、xAIのGrok-1などの著名なモデルを凌駕しました。 ^{[ 6 ] [ 8 ] [ 9 ]}

2.5ヵ月間トレーニングされ^{[ 9 ]} 、 3.2テラバイト/秒の帯域幅（InfiniBand ）で接続された3,072個のNvidia H100を使用して、トレーニング費用1,000万米ドルで使用されたと報告されている^{[ 3 ] 。}