Attention機構丨生成AI 用語集
最終更新日:
2025年7月4日
ライター:
PM Career編集部
プロダクト開発
この記事の監修者
佐々木真
PM Career事業責任者（Xアカウント ＠shin_sasaki19）
株式会社リクルートにて「スタディサプリ」の初期メンバーとして事業開発・プロダクトマネージャー業を担当し全国展開を達成後、SmartHRのグループ会社としてToB向けSaaS「SmartMeeting」を立ち上げ2021年3月に退任。その後PMオンラインスクール「PM School」、プロダクト開発人材の転職サイト「PM Career」の事業を運営中。プロダクト開発の知見・人材の流動性を高め、日本のプロダクト作りをぶち上げるべく尽力中。個人としてもX（Twitter）アカウントのフォロワーは3万人超え、YouTubeやPodcastでもプロダクト開発のコンテンツを発信する日本で最も有名なプロダクト開発者の1人。
今すぐ転職をしたい人も、中長期的にしたい方も、PM Careerに無料会員登録をしておくことでキャリアに役立つ情報を定期的にキャッチアップすることが重要です。まだ登録されてない方はこちらからどうぞ。3分で完了します。
PM Careerに無料会員登録する
転職についての情報はこちらをご覧ください！
Attention機構とは？
.png&w=2048&q=75)
Attention機構（アテンション機構）は、自然言語処理（NLP）や画像認識などの分野で用いられる、深層学習モデルにおける重要な技術です。入力データの中から、モデルが「今、注目すべき部分」に動的に重みをつけて処理する仕組みを指します。
従来のRNN（再帰型ニューラルネットワーク）やCNN（畳み込みニューラルネットワーク）は、固定的な処理構造であり、すべての入力情報を等しく扱うのが基本でした。しかし、言語や画像の文脈には「重要な部分」と「そうでない部分」があるため、それらを区別できるAttention機構は、情報処理の効率と精度を飛躍的に向上させました。
Attention機構の基本的な仕組み
Attention機構は、入力された一連のデータ（たとえば単語列）に対して、それぞれの要素が「どの程度重要か」をスコア化し、重みをつけて加重平均することで出力を生成します。以下はその基本的な流れです。
- Query（クエリ）：注目したい対象（例：ある単語の意味を理解するために見る視点）
- Key（キー）：入力の各要素に対応する特徴ベクトル
- Value（バリュー）：実際に取り出す情報
QueryとKeyの類似度をスコアとし、Softmax関数で正規化して重みを決定し、Valueにそれをかけて合計します。
この仕組みにより、たとえばある単語が過去のどの単語と強く関連しているかを、文脈に応じて自動的に判断できるようになります。
Transformerにおける役割
Attention機構は、Googleが2017年に発表したTransformerというアーキテクチャで中心的な役割を担っています。Transformerでは、「Self-Attention（自己注意）」と呼ばれる仕組みで、各単語が文中の他のすべての単語に注目することが可能となり、並列計算にも適しているため、大規模モデルの学習に向いています。
生成AIの基盤モデルであるGPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）は、すべてこのAttention機構を核にしています。
応用例
Attention機構は、以下のような多くの分野・タスクで活用されています。
- 自然言語翻訳（例：英語 → 日本語）
- 要約生成
- 質問応答システム
- 画像キャプション生成
- 音声認識
