アマゾンの生成AIインフラストラクチャの舞台裏 - 驚きの技術と製品紹介

Anuna LabsのAIインフラストラクチャの舞台裏

• Anuna Labsは、AWS内のチームで、目的に合わせたチップを開発している。

• 2017年には、機械学習チップの設計を開始し、それが正しいと確信。

• 設計チームは、これらの異なるアーキテクチャに対処できるチップを設計する方法を検討。

• チップの製造が終わると、データセンター内で最初のINF1サーバーが稼働始め、大規模な展開を実現。

• 現在、AWSの23のグローバルリージョンにINF1サーバーが配置され、成長を続けている。

Anuna LabsのAIインフラストラクチャの舞台裏

高性能チップとサーバーの解説

• ここでは、チップが収まる場所である中央のファン部分があります。実際にこの中にあるチップを見ることができます。8つのチップがこのボックスの中に収められています。

• 3DハイパーキューブとTODツアーズ構成を使用してチップを相互接続する技術であるNeuronリンクが前面に配置されています。これにより、各チップ間のホップが最大2つになり、最小の遅延時間と高性能な帯域幅インターフェースが実現されています。

• 1つのサーバーで3つの別々のボックスが使用されており、トレーニウムを実行するためのトレーニングワークロードに対応しています。また、各ラックには複数のサーバーが搭載されています。

• インフェレンシア2サーバーは、インフェレンシア1と比較して性能が3倍向上し、LLMと安定したDiffusion Genワークロードを可能にしています。

• トレーニウムは、インフェレンシアと比較してトランジスタの数が5倍多い複雑なチップであり、コンピュータを低下させることができるため、推論ワークロードに最適化されています。

• サーバーにはそれぞれ16個のトレーニウムチップが搭載されており、合計容量は52GB、ピークメモリーバンド幅は13.1テラバイト/秒です。

• 推論込みでトレーニウムを使用することでトレーニングコストが約50%低減し、インフェレンシア2を使用することで推論コストがほぼ5倍低減するため、顧客にとって大きな利点があります。

• 「Hugging Face」は世界で最も人気のあるモデルリポジトリであり、最新の93個のトップ100モデルがトレーニウムとインフェレンシアで高パフォーマンスを発揮できることを実証しています。

• コンパイラは、Pythonモデルを機械語に変換する主要な技術であり、トレーニウムやインフェレンシアなどのチップで実行できるようにします。

高性能チップとサーバーの解説

トレーニングプロセスの最適化

• トレーニングの最適化に向けて、内部ループをハードウェアに最適化し、効率的に実行することが目的です。

• 開発者が新機能『Nikki』の発表を行いました。これはニューロンカーネルインターフェースを用いて高パフォーマンスなカーネルをトレーニウム上で動作させることを可能にします。これにより、コンパイラのステップをほぼすべてバイパスし、トレーニウム上でベアメタルネイティブに実行できるようになります。

• さらに、トレーニウムのUltraクラスターサイズが最大60,000チップに拡大されることが発表されました。これにより、より大規模なモデルのトレーニングが可能となります。

トレーニングプロセスの最適化

データ分析の未来

• データ分析の未来は人間の効率を向上させることにある。効率を高めることでコストを削減し、人間が優先すべき他の仕事に時間を費やすことができる。

• Generative AIの台頭により、データとコンピュータとの自然な対話が可能になりつつある。これまで実現困難であったリッチなビデオや画像の生成が可能となり、エンタープライズが活用を始めている。

• データ解析を行うためには多くの企業がMosaicなどのプラットフォームを利用しており、これによりモデルの構築やカスタマイズが可能となっている。

• テキサス・レンジャーズ野球チームはデータ分析とMLを活用し、選手の動きなどの解析を行った結果、ワールドシリーズで優勝したという興味深い事例も存在する。

• Mosaicはマルチクラウドおよびマルチハードウェアを活用しており、ユーザーに柔軟性を提供しつつパフォーマンス向上とコスト削減を実珸している。

データ分析の未来

Leonardoとinferenceワークロード

• Leonardoは生成AI企業であり、画像、ビデオ、および3Dモデルのテクスチャなどの生成ビジュアルアセットに焦点を当てています。

• サービスは数百万のユーザーに利用され、何百万もの画像が毎日生成されており、コンテンツを生成するための専門モデルや方法が提供されています。

• 画像生成についてのアーキテクチャ統合のプロセスでは、アーキテクチャに統合し、プラットフォームにデプロイして本番稼働しています。

• Leonardoはinferenceワークロードにおける価格パフォーマンスの利点を実感しており、コストを約20%削減し、画像品質とジョブ実行時間に影響を与えることなく、ユーザーに最高の機能を提供しています。

• また、将来的にはより多くの人工知能の採用を考えており、inferenceワークロードにTrum 2を導入する予定で、それによってコストやキャパシティの懸念が軽減し、技術へのアクセスが向上すると期待しています。

Leonardoとinferenceワークロード

Conclusion:

アマゾンの生成AIインフラストラクチャの舞台裏に驚くべき技術革新があります。Anuna Labsチームによる製品も大きな注目を集めています。