1. Vetores dos tokens de entrada
Dimensões: [2048, 12,288]
Parâmetros: ~614 milhões (50.000 × 12.288)
2. Adição da codificação posicional
Dimensões: [2048, 12,288]
Parâmetros: ~25 milhões (2.048 × 12.288, aprendidos)
4. Projeção para o vocabulário e Softmax
Dimensões: [2048, 50,000]
Parâmetros: ~614 milhões (12.288 × 50.000)
Tokens de saída
[]