FEEC / CPG - Caderno de Horário (Oferecimento de Disciplinas) - CPG
Caderno Horário:
IA024 - Redes Neurais Profundas para Processamento de Linguagem Natural
Turma: A - Período: 1/2024 - Tipo Período: 1o. período letivo - Disciplina: 4 créditos.
Ementa: Curso de redes neurais aplicado ao Processamento de Linguagem Natural (PLN). Recentemente diversas arquiteturas foram propostas para o processamento de linguagem natural, atingindo o estado-da-arte em sistemas de tradução, sistemas de perguntas e respostas, entre outras tarefas de linguagem natural. Conceitos como word embeddings, conversores de sequência seq2seq, modelos de atenção e recentemente transformers e BERT são avanços consolidados na área de PLN. Este curso aborda os principais modelos de redes neurais utilizados em PLN. O curso utilizará programação avançada Python/NumPy utilizando o pacote PyTorch. É recomendada a experiência prévia de programação matricial como Python/Numpy, MATLAB ou R e é desejável ter conhecimentos básicos de Machine Learning.
Bibliografia:
Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.
Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint arXiv:1810.04805 (2018).
LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436.
Mikolov, Tomas, et al. "Distributed Representations of Words and Phrases and their Compositionality."
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural Machine Translation by Jointly Learning to Align and Translate." (2019).
Forma Avaliação: Testes semanais: 5%
Leitura semanal de artigo: 10%
Programas semanais feitos no Colab: 50%
Projeto Final: 35%
Ofertar para Graduação:
Sim Número Limite de Alunos de Graduação:
5
Aceita Estudante Especial:
Sim
Número de Alunos Total:
de 5 até 30
Mais informações:
Docente(s):
- Roberto de Alencar Lotufo ( Matrícula: 312507 - e-mail: lotufo@unicamp.br - Ramal: 3706 )
Horário(s):
- quinta-feira das 08:00 às 12:00
Sala(s):
- PE24
Turma(s):
- A