Sumários
Semana 15
25 Maio 2023, 13:00 • António Manuel Horta Branco
Esclarecimento de dúvidas do projeto.
Teste 2
Semana 14
18 Maio 2023, 13:00 • António Manuel Horta Branco
Teórica:
Perspetivas:
Progresso em curso: leis de dimensionamento, multilinguismo, multimodalidade, auto-supervisão, multi-negócios.
Dificuldades a resolver: Dados, línguas (outras que não o inglês), documentos mais longos, custo, exploração, enviesamentos, opacidade/explicabilidades, hibridização
Questões profundas: impactos societais, compreensão, super-humano, "lição amarga", cognição e ciência cognitiva.Semana 13
11 Maio 2023, 13:00 • António Manuel Horta Branco
Laboratório:
Treinar um modelo de linguagem de raiz, seguido de afinação.
semana 12
4 Maio 2023, 13:00 • António Manuel Horta Branco
Laboratório: Cap3 do curso HF (Hugging Face)
semana 11
27 Abril 2023, 13:00 • António Manuel Horta Branco
Avaliação. Referenciais de avaliação. GLUE e SuperGLUE. Quadro de honra.
Evolução. Família de Transformers. Codificadores, Codificadores-descodificadores, descodificadores. Transformers notáveis: T5, M2M-100, BERT, RoBERTa, DistilBERT, GPT-3/4, GPT-Neo/J, BLOOM. Incitamento. Few-, one- e zero-shot. Tamanho dos moldelos ao longo dos anos. Desempenho. Leis exponenciais de dimensionamento. Potencial de progresso.
Caps. 1, e 11 NLP with Transformers.
Laboratório: Cap3 do curso HF (Hugging Face)