BERT Transformerエンコーダー・アーキテクチャの概略図
0 報告
この図は、BERTモデルにおけるTransformerエンコーダーの基本構造を示しています。処理は下から上へと進み、特殊トークンの埋め込みと通常のシーケンス埋め込みから構成される入力が、2つのTransformerモジュール（「Trm」と表記）を通過します。図中の交差する線は全結合による相互作用を表しており、これによりシーケンス全体から広域的な文脈的特徴を包括的に抽出することが可能になります。最終的に、上層から一連の隠れ状態が出力されますが、そのうち最初のノードは、通常、入力シーケンス全体の情報を集約した特徴表現として機能します。
関連する推奨事項
著者の他の作品
概要/内容
もっと見る
Trm
…
お気に入り
お気に入り
Collect
Collect
Collect
Collect
0 コメント
次のページ