Sumários

semana 10

2 Maio 2024, 15:00 • António Manuel Horta Branco

Algoritmo de treino. Passagem para a frente. Perda e funções de perda. Passagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.

Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.

Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho do modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.

semana 10

2 Maio 2024, 13:00 • António Manuel Horta Branco

Algoritmo de treino. Passagem para a frente. Perda e funções de perda. Passagem para trás. Otimização baseada no gradiente. Descida estocástica do gradiente.

Configuração e hiperarâmetros para o treino. Sobre- e subajustamento. Número de camada e cabeças de atenção. Tamanho do vetor lexical e da camada escondida. Funções de ativação. Algoritmos de otimização. Funções de perda. Número de épocas e passo. Tamanho do lote. Inicialização dos pesos e dos vetores lexicais. Taxa de aprendizagem. Passos de aquecimento. Decaimento de pesos. Otimização de hiperparâmetros.

Modelação e transferência. Modelação da linguagem natural. Problemas da pertença e da continuação. Modelo de linguagem neuronal com Transformers. Desempenho do modelo. Utilização dos modelos de linguagem neuronais. Esquema pré-treino seguido de afinação. Lidar com a escassez de dados etiquetados. Tarefas de continuação. Aprendizagem por transferência.

semana 9

18 Abril 2024, 15:00 • António Manuel Horta Branco

Semântica distribucional de frases/textos. Bag of words (BOW): concatenação, soma, média, máximo. Rede Neuronal Convolucional (“CNN”): agregação, avanço, hierarquia, ligação de parâmetros, conexões-salto. Rede Neuronal Recorrente ("RNN"): estado interno, codificador, descodificador, seq-to-seq, transdução, explosão e desaparecimento de gradientes. Atenção: produto escalar e semelhança semântica, representação ponderada pelo contexto, ponderação pela tarefa, matrizes query-key-value. Transformer: sub-camadas de atenção, atenção multi-cabeça, paralelismo, vetores posicionais, transdução, máscara no descodificador.

semana 9

18 Abril 2024, 13:00 • António Manuel Horta Branco

Semântica distribucional de frases/textos. Bag of words (BOW): concatenação, soma, média, máximo. Rede Neuronal Convolucional (“CNN”): agregação, avanço, hierarquia, ligação de parâmetros, conexões-salto. Rede Neuronal Recorrente ("RNN"): estado interno, codificador, descodificador, seq-to-seq, transdução, explosão e desaparecimento de gradientes. Atenção: produto escalar e semelhança semântica, representação ponderada pelo contexto, ponderação pela tarefa, matrizes query-key-value. Transformer: sub-camadas de atenção, atenção multi-cabeça, paralelismo, vetores posicionais, transdução, máscara no descodificador.

semana 8

11 Abril 2024, 15:00 • António Manuel Horta Branco

Aprendizagem automática (intro): supervisionada, conjuntos de dados de treino, teste e desenvolvimento, etiquetação, avaliação, enviesamento.
Redes neuronais (intro): neurónio, pesos, funções de ativação, camadas, arquiteturas, modelos, formatos de saída e entrada, algoritmo de treino, inferência, aproximador universal.