semana 10

28 Abril 2022, 13:00 • António Manuel Horta Branco

Algoritmo de treino. Passagem para a frente. Perda e funções de perda. Pasagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.

Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.

Caps. 2, 3, 4 e 5 NNM4NLP.