Схема топологии трансформаторной сети

Эта схема топологии трансформаторной сети представляет собой детализированную архитектуру, включающую ключевые компоненты и их взаимодействия для обработки данных. В основе схемы лежат модули FullAttention и EncoderLayer, которые обеспечивают внимательное преобразование входных данных. Компоненты, такие как VLinear, QLinear и KLinear, отвечают за линейные преобразования, поддерживая процесс обучения модели. Слои нормализации, такие как LayerNorm1 и LayerNorm2, обеспечивают стабильность и эффективность работы сети. Элементы, такие как PositionalEmbedding и ValueEmbeddingLinear, добавляют пространственную информацию, а модули Dropout и Gelu способствуют регуляризации и нелинейности. Включение CNN1 и CNN2Conv1d позволяет извлекать пространственные признаки, улучшая качество предсказаний.