Amazon Web Services（AWS）は、米国時間11月27日から12月1日まで年次イベント「re:Invent2023」を開催した。会期3日目は、同社でデータおよび機械学習（ML）を担当するバイスプレジデントのSwami Sivasubramanian氏が「Amazon Bedrock」の新機能や生成AIを活用した顧客事例を紹介した。
データ／機械学習担当 バイスプレジデント Sivasubramanian氏
最高経営責任者（CEO）のAdam Selipsky氏が登壇した2日目の基調講演でもAmazon Bedrockについて解説されたが、Sivasubramanian氏の発表はより生成AIアプリケ―ションを作る上で重要な機能になるという。
Sivasubramanian氏は講演の中で、今後のビジネスの差別化には企業のデータが重要だと言及。「生成AIのアプリケーションであなたのビジネスに特化したものを作りたい場合は、あなたのデータが差別化の要因になる。汎用（はんよう）的な生成AIアプリケーションから、あなたのビジネスの顧客を理解する生成AIアプリケーションへと変えるカギはあなたのデータだ」と話す。ここでは、Amazon Bedrockと、MLのフルマネージド型サービス「Amazon SageMaker」の新発表とともに顧客事例を見ていく。
まずは、Amazon BedrockとAmazon SageMakerに関連した新機能を紹介する。Amazon Bedrockは、画像生成や検索など、それぞれに適した幅広い基盤モデルを展開している。今回アップデートされた基盤モデルは、Anthropicが提供する「Claude 2.1」とMetaが提供する「Llama 2 70B」。いずれもバージニア北部およびオレゴンでのリージョンで一般提供を開始している。
Amazonが提供する基盤モデル「Amazon Titan」シリーズにおいても、「Amazon Titan Image Generator」というモデルをプレビューとして発表した。これは、有害なコンテンツや誤情報を回避しつつ、正確な構図と破綻が少ない画像を生成する。このモデルはTitanが重視する「責任のあるAI」を支えになるとしている。
加えて、TitanでAIが生成した画像にデフォルトでウオーターマーク（透かし）を挿入する。これにより、AIが生成した画像であることを検証可能にし、安全で透明性のあるAIテクノロジーの開発を推進するという。
Amazon Titan Image Generatorを用いた画像の生成。左側に複数の提案を出してくれる
Titanではほかにも、より正確で関連性のあるマルチモーダルな検索とレコメンデーションを提供する「Amazon Titan Multimodal Embeddings」の一般提供を開始した。これは、画像とテキストの組み合わせを入力し、類似性の高いコンテンツを返す処理がベクトルデータベースを併用することで可能になる。Titanシリーズについても、現時点ではバージニア北部とオレゴンで利用できる。
これまでプレビューとして公開していたモデルの一般提供を開始した。Stability AIの「Stable Diffusion XL 1.0」がバージニア北部とオレゴンで利用できる。
加えて「Amazon Titan Text Express」と「Amazon Titan Text Lite」の一般提供をアジアパシフィック（東京）でも開始した。Amazon Titan Text Expressは、8000トークンのコンテキストウインドーをサポートしており、英語に最適化しているが、100以上の多言語対応もプレビューとして利用できる。Amazon Titan Text Liteは、4000トークンに対応しており、高速に応答を返せるというのが特徴になる。
同氏は、生成AIアプリケーションを展開する際に、適切なアルゴリズムや測定基準などを人が評価するワークフローを設定する必要があるという。この構築や運用が困難だったわけだが、今回、顧客のニーズに応える形で「Model Evaluation on Amazon Bedrock」のプレビューを発表した。同サービスは、選択肢として用意されたモデルを比較し、ユースケースに最適かどうかを評価する。
「質問への回答」「要約」などのタスクを指定し、比較するモデルを指定。厳選された組み込みデータセットでテストが行われるが、カスタムのテスト用データセットも持ち込める。親しみやすさ、スタイル、ブランディングなど、人間による判断が必要なケースはワークフローに組み込むことができるという。評価プロセスがセットアップされると、Amazon Bedrockが評価しレポートを作成。最適なモデル選択が実現できるという。
Model Evaluation on Amazon Bedrockの概要
Amazon SageMakerの新機能では、「Amazon SageMaker HyperPod」の一般提供をアジアパシフィック（東京）で開始した。
SageMaker HyperPodは、大規模な分散トレーニング用の専用インフラストラクチャーを提供する。ワークロードを自動分割して分散させるとともに、チェックポイントを定期的に保存することで処理の継続性を高める。また、ハードウェア障害を自動で検知して解決。最後のチェックポイントから自動で再開する。これにより、基盤モデルのトレーニング時間を最大で40％短縮できるという。
PerplexityのAravind Srinivas氏
Perplexityが提供する対話型AI検索エンジン「Perplexity AI」は、SageMakerを活用して独自のモデルを開発・学習している。当初はAmazon BedrockとClaude2を使うことで、一般的な質問に対して自然言語で返せるようになった。その後、Llama2や「Mistral 7B」、同社がトレーニングしたモデルを追加した。
Perplexity 共同創設者 兼 最高経営責任者のAravind Srinivas氏は「SageMaker HyperPodを利用することで、学習時のデバッグを効率化することができ、学習のスループット（処理能力）を2倍に向上できた」と話す。
Amazon SageMakerは機能の強化も行っている。まず、「Amazon SageMaker Serverless Inference」のコスト効率向上とレイテンシー（遅延時間）の改善を行った。インスタンスに複数のモデルを収容して稼働率を向上することで、平均50％のコストを削減する。また、負荷に応じたリクエストルーティングにより平均20％のレイテンシーを削減するという。
MLモデルのバイアスを検出する「Amazon SageMaker Clarify」が基盤モデルの比較機能に対応する。基盤モデルには幅広い選択肢があり、迅速な比較をサポートする。事前に用意されているプロンプトまたはカスタムプロンプトで試験を実施する。結果はレポート形式で提供されるという。
ノーコードでMLモデルを構築できる「Amazon SageMaker Canvas」のノーコード機能を強化した。自然言語の指示によるノーコードのデータ準備に対応する。また、SageMaker Canvasで利用する基盤モデルのカスタマイズにも対応するという。いずれの機能もアジアパシフィック（東京）で一般提供を開始している。
Amazon SageMakerの機能強化
