semana 11

5 Maio 2022, 13:00 • António Manuel Horta Branco

Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho ddo modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.

Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.

Avaliação. Referenciais de avaliação. GLUE e SuperGLUE. Quadro de honra.

Evolução. Família de Transformers. Codificadores, Codificadores-descodificadores, descodificadores. Transformers notáveis: T5, M2M-100, BERT, RoBERTa, DistilBERT, GPT-3, GPT-Neo/J. Incitamento. Few-, one- e zero-shot. Tamanho dos moldelos ao longo dos anos. Desempenho. Leis exponenciais de dimensionamento. Potencial de progresso.