ChatGPTの10億ユーザーを支えるOpenAIのストレージ基盤

👁 115閲覧数

OpenAIは、ChatGPTのストレージ基盤を大規模に拡張する方法を解説した技術記事の第2弾を公開しました。ChatGPTはすでにユーザー数が10億人を超えています。これほどの規模の製品を支えるエンジニアリングの仕組みを、同社が明らかにするのは珍しいことです。ChatGPTはわずか2年で、インターネット史上でも成長の速いアプリの一つになりました。

ChatGPTの10億ユーザーが突きつける技術課題

OpenAIが語る規模の大きさは、なかなか想像しにくいものです。ChatGPTは2022年11月の公開からわずか5日で、ユーザー数が100万人に達しました。Instagramは100万人に達するまで2カ月半、Netflixは3年以上かかっています。現在、OpenAIはユーザー数が10億人を超えたと説明しており、消費者向けAIアプリとして前例のないペースでインフラを拡張する必要がありました。

ChatGPTの会話ごとに、会話履歴やコンテキスト、ユーザーの好み、アップロードされたファイルや文書などのデータが生まれます。有料プランでは、DALL-Eやコードインタープリターなどのツールが作成した成果物も加わります。これは単純なデータベースの問題ではありません。リアルタイムに動作し、信頼性とグローバルな規模を備えたデータ永続化レイヤーを設計する必要があります。

AIサービスでデータ保存が難しい理由

大規模言語モデルをめぐる議論では、GPUの数や学習コスト、推論の処理能力など、計算資源に注目が集まりがちです。ストレージは目立ちにくいものの、同じくらい重要です。ユーザーがChatGPTの会話を開くと、システムは過去のメッセージやアップロードされたファイル、ユーザーまたはAPIの運用者が設定したシステム指示など、会話全体のコンテキストをすばやく復元しなければなりません。10億人のユーザーと数十億件規模の会話を扱うには、世界最大級のソーシャルプラットフォームに匹敵する量のデータを処理することになります。

既製のクラウドデータベースを導入し、サーバーの性能を上げていく従来の方法は、一定の規模を超えると通用しなくなります。Meta、Google、Amazonなどは10年以上前に同じ問題に直面し、Cassandra、Bigtable、DynamoDBといった専用システムを構築して解決しました。比較的新しい企業であるOpenAIも、毎日何億人もの人が使う製品を維持しながら、同じ課題に短期間で取り組む必要がありました。

OpenAIの技術記事が業界に示すもの

OpenAIがこうした課題を、複数回にわたる記事として公開したこと自体に意味があります。まず採用面では、エンジニアに対して、ありふれたCRUDシステムではなく技術の限界に挑む仕事があると示せます。次に、技術コミュニティでの信頼につながります。自社の課題を理解し、正確に説明できる姿勢は、APIを使う開発者の信頼を高めます。そして、実運用システムの拡張に関する知見を業界全体と共有する教育的な意義もあります。急成長するAI業界では、こうした知識は非常に貴重です。

かつてGoogleはMapReduceやBigtableについて、Facebookは写真保存システムHaystackについて、Netflixはレコメンドシステムのアーキテクチャについて発表しました。これらの文書は、それぞれ長年にわたり業界の参考資料となりました。

AIのストレージ設計と欧州のデータ保護規制

大規模言語モデルを活用する企業にとって、OpenAIの技術記事は実務にも役立ちます。どの企業も10億人規模で運用しているわけではありませんが、長期記憶を備えたAIアシスタントを構築する企業は、数年後に同様の課題に直面する可能性があります。たとえば、案件の履歴を保存する法律事務所、パーソナライズされた体験を提供するECプラットフォーム、長年の顧客対応履歴を扱うシステムなどです。

欧州では、特にGDPRがデータの保存や削除に関する要件を加えています。こうした要件は、米国では同じ形で適用されていません。そのため欧州向けのAIストレージ基盤は、忘れられる権利、欧州経済領域外へのデータ移転に関する制限、データ保存場所の要件を考慮して設計する必要があります。OpenAIがインフラのレベルでこれらの課題にどう対処しているかは、欧州の法規制に沿って開発するエンジニアにとっても参考になります。

OpenAIの技術記事は、シンプルなチャット画面の背後に、世界の金融ネットワークを支えるシステムにも匹敵する複雑なインフラがあることを示しています。市場が求める速度でそれを構築することは、現代における最も難しいエンジニアリング課題の一つです。

// 続きを読むChatGPT広告のターゲティング、メール・電話番号・プロンプトはどう使われる？AIの動向SQLに強いAIは？ChatGPT、Gemini、Claude Codeを比較ベンチマークChatGPT PlusとProの違いは？料金と選び方を解説ガイド