Sumários
semana 12
12 Maio 2022, 13:00 • António Manuel Horta Branco
Treinar um modelo de linguagem de raiz, seguido de afinação.
Semana 11
5 Maio 2022, 15:00 • Rodrigo Soares dos Santos
Laboratório: Cap3 do curso HF (Hugging Face)
semana 11
5 Maio 2022, 13:00 • António Manuel Horta Branco
Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho ddo modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.
Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.
Avaliação. Referenciais de avaliação. GLUE e SuperGLUE. Quadro de honra.
Evolução. Família de Transformers. Codificadores, Codificadores-descodificadores, descodificadores. Transformers notáveis: T5, M2M-100, BERT, RoBERTa, DistilBERT, GPT-3, GPT-Neo/J. Incitamento. Few-, one- e zero-shot. Tamanho dos moldelos ao longo dos anos. Desempenho. Leis exponenciais de dimensionamento. Potencial de progresso.
semana 10
28 Abril 2022, 13:00 • António Manuel Horta Branco
Algoritmo de treino. Passagem para a frente. Perda e funções de perda. Pasagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.
Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.
Caps. 2, 3, 4 e 5 NNM4NLP.