Sumários
semana 10
20 Abril 2023, 13:00 • António Manuel Horta Branco
Algoritmo de treino. Passagem para a frente. Perda e funções de perda. Pasagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.
Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.
Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho ddo modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.
slides 9a, slides 9b, slides 9c
Caps. 2, 3, 4 e 5 NNM4NLP.
semana 9
13 Abril 2023, 13:00 • António Manuel Horta Branco
Semântica distribucional de frases/textos. Bag of words (BOW): concatenação, soma, média, máximo. Rede Neuronal Convolucional (“CNN”): agregação, avanço, hierarquia, ligação de parâmetros, conexões-salto. Rede Neuronal Recorrente ("RNN"): estado interno, codificador, descodificador, seq-to-seq, transdução, explosão e desaparecimento de gradientes. Atenção: produto escalar e semelhança semântica, representação ponderada pelo contexto, ponderação pela tarefa, matrizes query-key-value. Transformer: sub-camadas de atenção, atenção multi-cabeça, paralelismo, vetores posicionais, transdução, máscara no descodificador.
Caps. 9, 13, 14 e 15 NNM4NLP.
Laboratório: Cap2 do curso HF (Hugging Face)
semana 9
30 Março 2023, 13:00 • António Manuel Horta Branco
Semântica distribucional de frases/textos. Bag of words (BOW): concatenação, soma, média, máximo. Rede Neuronal Convolucional (“CNN”): agregação, avanço, hierarquia, ligação de parâmetros, conexões-salto. Rede Neuronal Recorrente ("RNN"): estado interno, codificador, descodificador, seq-to-seq, transdução, explosão e desaparecimento de gradientes. Atenção: produto escalar e semelhança semântica, representação ponderada pelo contexto, ponderação pela tarefa, matrizes query-key-value. Transformer: sub-camadas de atenção, atenção multi-cabeça, paralelismo, vetores posicionais, transdução, máscara no descodificador.
Caps. 9, 13, 14 e 15 NNM4NLP.
Laboratório: Cap2 do curso HF (Hugging Face)
semana 6
23 Março 2023, 13:00 • António Manuel Horta Branco
Conhecimento sintático: modelos de linguagem.
Modelos de linguagem simbólicos: problema da pertença.
Complexidade computacional do problema da pertença nas línguas naturais.
Modelos de linguagem probabilísticos: problema da continuação.
Triangulação e representação semântica: da tradução a PLN/IA.
Semântica frásica: baseada em condições de verdade e inferência.
Semântica lexical: baseada em inferência, em características, e em contexto (word embeddings)
Realização do elemento de avaliação "Teste 1".
semana 5
16 Março 2023, 13:00 • António Manuel Horta Branco
Modelação do conhecimento linguístico e suas aplicações: um primeiro caso de estudo e implementação exemplificativa. Tradução automática.
Negação e manipulação de bases de dados (Prolog: Manual LPN Caps. 10 e 11).
Um segundo caso de estudo e implementação exemplificativa. Interface em linguagem natural com bases de dados.
Laboratório.