Diagrama esquemático da arquitetura do codificador Transformer do BERT

Este diagrama ilustra a estrutura central do codificador Transformer no modelo BERT. O fluxo do processo ocorre de baixo para cima: as entradas — compostas por *embeddings* de tokens especiais e *embeddings* de sequência padrão — passam por dois módulos Transformer (rotulados como "Trm"). As linhas que se cruzam no diagrama representam interações totalmente conectadas, permitindo a extração abrangente de características contextuais globais da sequência. Por fim, uma sequência de estados ocultos é gerada pela camada superior, sendo que o nó inicial geralmente serve como uma representação agregada de características que encapsula informações de toda a sequência de entrada.