自然言語処理（翻訳、文章生成、要約など）や時系列データ分析に広く使われるモデル ヘッド1：「私は」→「食べた」（主語と動詞の関係） ヘッド2：「カレー」→「食べた」（目的語と動詞の関係） ヘッド3：「昨日」→「食べた」（時制情報） 複数の ...

Transformerは RNNのような順番に処理する構造を持たず、全単語を同時に見る Self-Attentionは「単語同士の関係はわかるが、順番はわからない」 例：「犬が猫を追いかける」と「猫が犬を追いかける」 Self-Attentionだけでは、どっちの主語か区別できない 2. 解決策 ...

Transformerは「Tokenization(トークン化)」「Embedding(埋め込み)」「Positional encoding(位置エンコーディング)」「Transformer block ...

ChatGPTなどの自然な会話が可能なチャットAIのベースとなっている大規模言語モデルは、Googleが開発した機械学習アーキテクチャ「Transformer」を採用しています。そんなTransformerが文脈に沿った自然な文章を出力する仕組みについて、AI専門家のLuis Serrano氏が ...