semana 10

20 Abril 2023, 15:00 • António Manuel Horta Branco

lgoritmo de treino. Passagem para a frente. Perda e funções de perda. Pasagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.

Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.

Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho ddo modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.

slides 9a, slides 9b, slides 9c

Caps. 2, 3, 4 e 5 NNM4NLP.