AI用語集 / Transformer

🧠 基礎

Transformerは、Googleの研究者が2017年の論文「Attention Is All You Need」で発表したニューラルネットワークのアーキテクチャです。その中核となるのはアテンション（注意）機構で、テキスト内の単語同士の距離に関係なく、それぞれがどの程度関連しているかをモデルが判断できます。 ここ数年に見られる性能の飛躍を可能にしたのがTransformerです。データ量や計算能力を増やすと、優れた拡張性を発揮します。GPTの「T」はTransformerに由来し、ほぼすべての主要な大規模言語モデルがこのアーキテクチャを基盤としています。