BERT Transformer 인코더 아키텍처의 개략도

2026-08-13   0  보고서



이 다이어그램은 BERT 모델 내 Transformer 인코더 구성 요소의 핵심 구조를 보여줍니다. 처리 과정은 아래에서 위로 진행되는데, 특수 토큰 임베딩과 일반 시퀀스 임베딩으로 구성된 입력값이 두 개의 Transformer 모듈(도표상 'Trm'으로 표시됨)을 통과합니다. 도표 내의 연결선은 완전 연결(fully connected) 상호작용을 나타내며, 이를 통해 시퀀스 전체의 문맥적 특징을 포괄적으로 추출할 수 있습니다. 마지막으로 상위 계층은 대응하는 은닉 상태(hidden states) 시퀀스를 출력하는데, 이때 첫 번째 노드는 일반적으로 전체 입력 시퀀스의 정보를 포괄하는 통합된 특징 표현(aggregated feature representation)의 역할을 수행합니다.

확장하다

관련 권장 사항

저자의 다른 작품

개요/내용

더 보기

Trm

…