Diagrama esquemático de la arquitectura del codificador Transformer de BERT

Este diagrama ilustra la estructura fundamental del componente codificador Transformer dentro del modelo BERT. El proceso fluye de abajo hacia arriba: las entradas —que comprenden incrustaciones (*embeddings*) de tokens especiales e incrustaciones de secuencia estándar— atraviesan dos módulos Transformer (etiquetados como "Trm"). Las líneas de interconexión del diagrama representan interacciones de conexión completa, lo que permite extraer de manera exhaustiva características contextuales globales de la secuencia. Finalmente, la capa superior genera una secuencia de estados ocultos correspondientes, donde el nodo inicial suele servir como una representación de características agregadas que encapsula la información de toda la secuencia de entrada.