IA376 - Tópicos em Engenharia de Computação VII | Topics in Computer Engineering VII | Temas de Ingeniería de la Computación VII
Turma: Q -
Período: 1/2027 -
Tipo Período: 1o. período letivo -
Disciplina: 4 créditos.
Tema: Tradução Automática: Fundamentos, Tradução Neural e Tradução entre Línguas Orais e de Sinais.
Ementa: Fundamentos linguísticos e computacionais da tradução automática. Abordagens baseadas em regras e em modelos estatísticos. Corpora paralelos, preparação de dados e representações textuais. Tradução neural: modelos codificador–decodificador, mecanismos de atenção e Transformers. Pré-treinamento, adaptação e grandes modelos de linguagem aplicados à tradução. Fundamentos linguísticos das línguas de sinais, com ênfase na Língua Brasileira de Sinais (Libras). Dados e representações computacionais da sinalização. Tradução bidirecional entre línguas orais, principalmente na modalidade escrita, e línguas de sinais, incluindo a geração de movimentos e a animação de avatares. Avaliação automática e humana, análise de erros e aspectos éticos. Desenvolvimento e avaliação experimentais de sistemas de tradução por meio de projetos de programação.
Bibliografia: KOEHN, Philipp. Statistical Machine Translation. Cambridge: Cambridge University Press, 2010.
Referência para corpora, alinhamento, modelos estatísticos, modelos de língua, decodificação e avaliação.
KOEHN, Philipp. Neural Machine Translation. Cambridge: Cambridge University Press, 2020.
Livro-base para fundamentos neurais, modelos de tradução, treinamento, adaptação e análise de resultados.
JURAFSKY, Daniel; MARTIN, James H. Speech and Language Processing. 3. ed. em preparação. Manuscrito on-line.
Apoio para modelos de língua, representações, redes neurais e tradução automática. Por ser um manuscrito atualizado periodicamente.
QUADROS, Ronice Müller de; KARNOPP, Lodenir Becker. Língua de sinais brasileira: estudos linguísticos. Porto Alegre: Artmed, 2004.
Fundamentação linguística para o estudo de Libras, especialmente seus aspectos fonológicos, morfológicos e sintáticos.
E artigos recomendados.
Conteudo Programático: 1. Fundamentos linguísticos e computacionais da tradução automática
• Tradução, preservação de sentido, adequação e fluência.
• Ambiguidade lexical e sintática, contexto, variação linguística e diferenças estruturais entre línguas.
• Formulação computacional da tradução e principais aplicações.
• Modalidades escrita, oral e sinalizada: características e delimitação das tarefas abordadas na disciplina.
2. Abordagens baseadas em regras e modelos estatísticos
• Tradução direta, transferência e interlíngua.
• Análise linguística, regras de transferência, reordenação e geração.
• Formulação probabilística da tradução: modelos de tradução e de língua.
• Alinhamento lexical, estimação de parâmetros e modelos baseados em palavras e segmentos.
• Decodificação e busca de hipóteses de tradução.
3. Corpora paralelos, preparação de dados e representações textuais
• Corpora paralelos e monolíngues: procedência, domínio e qualidade.
• Limpeza, normalização, deduplicação e alinhamento de segmentos.
• Tokenização, subpalavras, vocabulário e representações distribuídas.
• Separação entre treino, validação e teste; prevenção de vazamento de dados.
• Documentação dos dados e condições de uso.
4. Tradução neural: modelos codificador–decodificador, atenção e Transformers
• Modelos de língua neurais e redes recorrentes.
• Arquiteturas codificador–decodificador e geração autorregressiva.
• Atenção, auto-atenção e atenção entre codificador e decodificador.
• Transformers: representações posicionais e máscaras.
• Funções de perda, otimização, regularização e seleção de modelos.
• Decodificação gulosa e busca em feixe.
5. Pré-treinamento, adaptação e grandes modelos de linguagem
• Modelos pré-treinados e tradução multilíngue.
• Ajuste fino e adaptação a domínios.
• Tradução com poucos recursos e com aproveitamento de dados monolíngues, incluindo retrotradução.
• Tradução com grandes modelos de linguagem: instruções, exemplos e contexto.
• Controle terminológico, fidelidade, omissões, acréscimos e custo computacional.
6. Fundamentos linguísticos das línguas de sinais
• Características linguísticas das línguas de sinais, com ênfase em Libras.
• Componentes manuais e não manuais.
• Organização espacial e temporal, simultaneidade e uso do espaço de sinalização.
• Diferenças estruturais entre o português e a Libras e suas implicações para a tradução.
• Distinção entre reconhecimento de sinais, tradução e produção de sinalização.
7. Dados e representações computacionais da sinalização
• Corpora sinalizados: vídeos, traduções textuais e anotações.
• Glosas, identificadores lexicais e anotações em múltiplas camadas.
• Representações por imagens, características visuais, pontos de referência corporais e dados de captura de movimento.
• Segmentação e alinhamento temporal.
• Particionamento dos dados por sinalizador e contexto; variabilidade e generalização.
• Possibilidades e limitações das representações intermediárias.
8. Tradução bidirecional entre línguas orais e de sinais
• Tradução de língua de sinais para texto: codificação visual e temporal.
• Abordagens em etapas e integradas, com ou sem supervisão por glosas.
• Tradução de texto para língua de sinais: planejamento linguístico e organização da mensagem.
• Representações intermediárias e integração entre a tradução e a produção da sinalização.
• Adaptação de modelos às características de Libras e à disponibilidade de dados.
9. Produção de língua de sinais e apresentação por avatares
• Representação e geração de poses, trajetórias e movimentos de corpo, mãos e face.
• Coordenação dos componentes manuais e não manuais; sincronização, transições e coarticulação.
• Captura de movimento e transferência de movimentos para personagens com diferentes estruturas e proporções corporais.
• Fundamentos de avatares 3D: malha, esqueleto, articulações, deformação e controles faciais.
• Animação de avatares a partir de sequências de movimentos capturados ou gerados.
• Introdução à síntese de representações humanas fotorrealistas e de vídeos de sinalização.
• Preservação da informação linguística na apresentação visual: mãos, face, olhar, enquadramento e oclusões.
• Controle e consistência temporal das diferentes formas de apresentação.
10. Avaliação, análise de erros e aspectos éticos
• Avaliação de traduções textuais: BLEU, chrF, COMET e suas limitações.
• Avaliação humana de adequação, fluência e preservação de sentido.
• Avaliação da sinalização produzida: compreensão, correção linguística, naturalidade e legibilidade.
• Avaliação dos movimentos e da apresentação visual: articulação, sincronização, continuidade temporal e artefatos.
• Distinção entre fidelidade linguística, qualidade dos movimentos e realismo visual.
• Comparação experimental e análise de erros ao longo das etapas de tradução, geração e apresentação.
• Participação de pessoas surdas na definição e avaliação dos sistemas.
• Consentimento, privacidade, uso de aparência e identidade visual, representatividade dos dados e identificação de conteúdo sintético.
11. Desenvolvimento e avaliação experimental de sistemas
• Projeto 1 — Implementação de um modelo neural com atenção e comparação com um modelo pré-treinado, antes e depois da adaptação
• Projeto 2 — Implementação ou adaptação de uma solução de tradução de sinalização para texto ou de texto para uma representação da sinalização, podendo incluir animação de avatar.
Obs.: Consultar Catálogo vigente na DAC.
Conteudo Programático em Inglês: 1. Linguistic and Computational Foundations of Machine Translation
• Translation, meaning preservation, adequacy, and fluency.
• Lexical and syntactic ambiguity, context, linguistic variation, and structural differences between languages.
• Computational formulation of translation and its main applications.
• Written, spoken, and signed modalities: characteristics and scope of the tasks addressed in the course.
2. Rule-Based Approaches and Statistical Models
• Direct translation, transfer, and interlingua.
• Linguistic analysis, transfer rules, reordering, and generation.
• Probabilistic formulation of translation: translation models and language models.
• Word alignment, parameter estimation, and word-based and phrase-based models.
• Decoding and search for translation hypotheses.
3. Parallel Corpora, Data Preparation, and Text Representations
• Parallel and monolingual corpora: provenance, domain, and quality.
• Cleaning, normalization, deduplication, and segment alignment.
• Tokenization, subwords, vocabulary, and distributed representations.
• Training, validation, and test splits; prevention of data leakage.
• Data documentation and conditions of use.
4. Neural Machine Translation: Encoder–Decoder Models, Attention, and Transformers
• Neural language models and recurrent networks.
• Encoder–decoder architectures and autoregressive generation.
• Attention, self-attention, and encoder–decoder attention.
• Transformers: positional representations and masks.
• Loss functions, optimization, regularization, and model selection.
• Greedy decoding and beam search.
5. Pretraining, Adaptation, and Large Language Models
• Pretrained models and multilingual translation.
• Fine-tuning and domain adaptation.
• Low-resource translation and the use of monolingual data, including back-translation.
• Translation with large language models: instructions, examples, and context.
• Terminology control, faithfulness, omissions, additions, and computational cost.
6. Linguistic Foundations of Sign Languages
• Linguistic characteristics of sign languages, with an emphasis on Brazilian Sign Language (Libras).
• Manual and non-manual components.
• Spatial and temporal organization, simultaneity, and the use of signing space.
• Structural differences between Portuguese and Libras and their implications for translation.
• Distinction between sign recognition, translation, and sign language production.
7. Sign Language Data and Computational Representations
• Sign language corpora: videos, written translations, and annotations.
• Glosses, lexical identifiers, and multilayer annotations.
• Representations based on images, visual features, body landmarks, and motion capture data.
• Segmentation and temporal alignment.
• Data partitioning by signer and context; variability and generalization.
• Capabilities and limitations of intermediate representations.
8. Bidirectional Translation Between Spoken and Signed Languages
• Sign language-to-text translation: visual and temporal encoding.
• Pipeline and integrated approaches, with or without gloss supervision.
• Text-to-sign language translation: linguistic planning and message organization.
• Intermediate representations and integration between translation and sign language production.
• Model adaptation to the characteristics of Libras and data availability.
9. Sign Language Production and Avatar-Based Presentation
• Representation and generation of poses, trajectories, and movements of the body, hands, and face.
• Coordination of manual and non-manual components; synchronization, transitions, and coarticulation.
• Motion capture and motion retargeting to characters with different body structures and proportions.
• Fundamentals of 3D avatars: meshes, skeletons, joints, deformation, and facial controls.
• Avatar animation from captured or generated motion sequences.
• Introduction to the synthesis of photorealistic human representations and sign language videos.
• Preservation of linguistic information in visual presentation: hands, face, gaze, framing, and occlusions.
• Control and temporal consistency across different forms of presentation.
10. Evaluation, Error Analysis, and Ethical Considerations
• Evaluation of textual translations: BLEU, chrF, COMET, and their limitations.
• Human evaluation of adequacy, fluency, and meaning preservation.
• Evaluation of generated signing: comprehension, linguistic correctness, naturalness, and legibility.
• Evaluation of motion and visual presentation: articulation, synchronization, temporal continuity, and artifacts.
• Distinction between linguistic faithfulness, motion quality, and visual realism.
• Experimental comparison and error analysis across translation, generation, and presentation stages.
• Participation of Deaf people in system design and evaluation.
• Consent, privacy, use of personal likeness and visual identity, data representativeness, and identification of synthetic content.
11. System Development and Experimental Evaluation
• Project 1 — Implementation of a neural model with attention and comparison with a pretrained model before and after adaptation.
• Project 2 — Implementation or adaptation of a system for sign language-to-text translation or text-to-sign language representation generation, potentially including avatar animation.
Conteudo Programático em Espanhol: 1. Fundamentos lingüísticos y computacionales de la traducción automática
• Traducción, preservación del significado, adecuación y fluidez.
• Ambigüedad léxica y sintáctica, contexto, variación lingüística y diferencias estructurales entre lenguas.
• Formulación computacional de la traducción y principales aplicaciones.
• Modalidades escrita, oral y signada: características y delimitación de las tareas abordadas en la asignatura.
2. Enfoques basados en reglas y modelos estadísticos
• Traducción directa, transferencia e interlengua.
• Análisis lingüístico, reglas de transferencia, reordenamiento y generación.
• Formulación probabilística de la traducción: modelos de traducción y de lenguaje.
• Alineación léxica, estimación de parámetros y modelos basados en palabras y segmentos.
• Decodificación y búsqueda de hipótesis de traducción.
3. Corpus paralelos, preparación de datos y representaciones textuales
• Corpus paralelos y monolingües: procedencia, dominio y calidad.
• Limpieza, normalización, deduplicación y alineación de segmentos.
• Tokenización, subpalabras, vocabulario y representaciones distribuidas.
• División en conjuntos de entrenamiento, validación y prueba; prevención de fugas de datos.
• Documentación de los datos y condiciones de uso.
4. Traducción neuronal: modelos codificador–decodificador, mecanismos de atención y Transformers
• Modelos de lenguaje neuronales y redes recurrentes.
• Arquitecturas codificador–decodificador y generación autorregresiva.
• Atención, autoatención y atención entre codificador y decodificador.
• Transformers: representaciones posicionales y máscaras.
• Funciones de pérdida, optimización, regularización y selección de modelos.
• Decodificación voraz y búsqueda en haz.
5. Preentrenamiento, adaptación y grandes modelos de lenguaje
• Modelos preentrenados y traducción multilingüe.
• Ajuste fino y adaptación a dominios.
• Traducción con pocos recursos y aprovechamiento de datos monolingües, incluida la retrotraducción.
• Traducción con grandes modelos de lenguaje: instrucciones, ejemplos y contexto.
• Control terminológico, fidelidad, omisiones, adiciones y coste computacional.
6. Fundamentos lingüísticos de las lenguas de señas
• Características lingüísticas de las lenguas de señas, con énfasis en la lengua de señas brasileña (Libras).
• Componentes manuales y no manuales.
• Organización espacial y temporal, simultaneidad y uso del espacio de señas.
• Diferencias estructurales entre el portugués y Libras y sus implicaciones para la traducción.
• Distinción entre reconocimiento de señas, traducción y producción en lengua de señas.
7. Datos y representaciones computacionales de la producción en lengua de señas
• Corpus de lenguas de señas: vídeos, traducciones textuales y anotaciones.
• Glosas, identificadores léxicos y anotaciones en múltiples capas.
• Representaciones mediante imágenes, características visuales, puntos de referencia corporales y datos de captura de movimiento.
• Segmentación y alineación temporal.
• Partición de los datos por señante y contexto; variabilidad y generalización.
• Posibilidades y limitaciones de las representaciones intermedias.
8. Traducción bidireccional entre lenguas orales y lenguas de señas
• Traducción de lengua de señas a texto: codificación visual y temporal.
• Enfoques por etapas e integrados, con o sin supervisión mediante glosas.
• Traducción de texto a lengua de señas: planificación lingüística y organización del mensaje.
• Representaciones intermedias e integración entre la traducción y la producción en lengua de señas.
• Adaptación de modelos a las características de Libras y a la disponibilidad de datos.
9. Producción en lengua de señas y presentación mediante avatares
• Representación y generación de poses, trayectorias y movimientos del cuerpo, las manos y el rostro.
• Coordinación de los componentes manuales y no manuales; sincronización, transiciones y coarticulación.
• Captura de movimiento y transferencia de movimientos a personajes con diferentes estructuras y proporciones corporales.
• Fundamentos de avatares 3D: malla, esqueleto, articulaciones, deformación y controles faciales.
• Animación de avatares a partir de secuencias de movimientos capturados o generados.
• Introducción a la síntesis de representaciones humanas fotorrealistas y de vídeos en lengua de señas.
• Preservación de la información lingüística en la presentación visual: manos, rostro, mirada, encuadre y oclusiones.
• Control y consistencia temporal de las diferentes formas de presentación.
10. Evaluación, análisis de errores y aspectos éticos
• Evaluación de traducciones textuales: BLEU, chrF, COMET y sus limitaciones.
• Evaluación humana de la adecuación, la fluidez y la preservación del significado.
• Evaluación de la producción en lengua de señas: comprensión, corrección lingüística, naturalidad y legibilidad.
• Evaluación de los movimientos y de la presentación visual: articulación, sincronización, continuidad temporal y artefactos.
• Distinción entre fidelidad lingüística, calidad de los movimientos y realismo visual.
• Comparación experimental y análisis de errores a lo largo de las etapas de traducción, generación y presentación.
• Participación de personas sordas en la definición y evaluación de los sistemas.
• Consentimiento, privacidad, uso de la apariencia y la identidad visual, representatividad de los datos e identificación de contenido sintético.
11. Desarrollo y evaluación experimental de sistemas
• Proyecto 1 — Implementación de un modelo neuronal con atención y comparación con un modelo preentrenado, antes y después de la adaptación.
• Proyecto 2 — Implementación o adaptación de una solución de traducción de lengua de señas a texto o de texto a una representación de la producción en lengua de señas, que puede incluir la animación de un avatar.
1. Fundamentos lingüísticos y computacionales de la traducción automática
• Traducción, preservación del significado, adecuación y fluidez.
• Ambigüedad léxica y sintáctica, contexto, variación lingüística y diferencias estructurales entre lenguas.
• Formulación computacional de la traducción y principales aplicaciones.
• Modalidades escrita, oral y signada: características y delimitación de las tareas abordadas en la asignatura.
2. Enfoques basados en reglas y modelos estadísticos
• Traducción directa, transferencia e interlengua.
• Análisis lingüístico, reglas de transferencia, reordenamiento y generación.
• Formulación probabilística de la traducción: modelos de traducción y de lenguaje.
• Alineación léxica, estimación de parámetros y modelos basados en palabras y segmentos.
• Decodificación y búsqueda de hipótesis de traducción.
3. Corpus paralelos, preparación de datos y representaciones textuales
• Corpus paralelos y monolingües: procedencia, dominio y calidad.
• Limpieza, normalización, deduplicación y alineación de segmentos.
• Tokenización, subpalabras, vocabulario y representaciones distribuidas.
• División en conjuntos de entrenamiento, validación y prueba; prevención de fugas de datos.
• Documentación de los datos y condiciones de uso.
4. Traducción neuronal: modelos codificador–decodificador, mecanismos de atención y Transformers
• Modelos de lenguaje neuronales y redes recurrentes.
• Arquitecturas codificador–decodificador y generación autorregresiva.
• Atención, autoatención y atención entre codificador y decodificador.
• Transformers: representaciones posicionales y máscaras.
• Funciones de pérdida, optimización, regularización y selección de modelos.
• Decodificación voraz y búsqueda en haz.
5. Preentrenamiento, adaptación y grandes modelos de lenguaje
• Modelos preentrenados y traducción multilingüe.
• Ajuste fino y adaptación a dominios.
• Traducción con pocos recursos y aprovechamiento de datos monolingües, incluida la retrotraducción.
• Traducción con grandes modelos de lenguaje: instrucciones, ejemplos y contexto.
• Control terminológico, fidelidad, omisiones, adiciones y coste computacional.
6. Fundamentos lingüísticos de las lenguas de señas
• Características lingüísticas de las lenguas de señas, con énfasis en la lengua de señas brasileña (Libras).
• Componentes manuales y no manuales.
• Organización espacial y temporal, simultaneidad y uso del espacio de señas.
• Diferencias estructurales entre el portugués y Libras y sus implicaciones para la traducción.
• Distinción entre reconocimiento de señas, traducción y producción en lengua de señas.
7. Datos y representaciones computacionales de la producción en lengua de señas
• Corpus de lenguas de señas: vídeos, traducciones textuales y anotaciones.
• Glosas, identificadores léxicos y anotaciones en múltiples capas.
• Representaciones mediante imágenes, características visuales, puntos de referencia corporales y datos de captura de movimiento.
• Segmentación y alineación temporal.
• Partición de los datos por señante y contexto; variabilidad y generalización.
• Posibilidades y limitaciones de las representaciones intermedias.
8. Traducción bidireccional entre lenguas orales y lenguas de señas
• Traducción de lengua de señas a texto: codificación visual y temporal.
• Enfoques por etapas e integrados, con o sin supervisión mediante glosas.
• Traducción de texto a lengua de señas: planificación lingüística y organización del mensaje.
• Representaciones intermedias e integración entre la traducción y la producción en lengua de señas.
• Adaptación de modelos a las características de Libras y a la disponibilidad de datos.
9. Producción en lengua de señas y presentación mediante avatares
• Representación y generación de poses, trayectorias y movimientos del cuerpo, las manos y el rostro.
• Coordinación de los componentes manuales y no manuales; sincronización, transiciones y coarticulación.
• Captura de movimiento y transferencia de movimientos a personajes con diferentes estructuras y proporciones corporales.
• Fundamentos de avatares 3D: malla, esqueleto, articulaciones, deformación y controles faciales.
• Animación de avatares a partir de secuencias de movimientos capturados o generados.
• Introducción a la síntesis de representaciones humanas fotorrealistas y de vídeos en lengua de señas.
• Preservación de la información lingüística en la presentación visual: manos, rostro, mirada, encuadre y oclusiones.
• Control y consistencia temporal de las diferentes formas de presentación.
10. Evaluación, análisis de errores y aspectos éticos
• Evaluación de traducciones textuales: BLEU, chrF, COMET y sus limitaciones.
• Evaluación humana de la adecuación, la fluidez y la preservación del significado.
• Evaluación de la producción en lengua de señas: comprensión, corrección lingüística, naturalidad y legibilidad.
• Evaluación de los movimientos y de la presentación visual: articulación, sincronización, continuidad temporal y artefactos.
• Distinción entre fidelidad lingüística, calidad de los movimientos y realismo visual.
• Comparación experimental y análisis de errores a lo largo de las etapas de traducción, generación y presentación.
• Participación de personas sordas en la definición y evaluación de los sistemas.
• Consentimiento, privacidad, uso de la apariencia y la identidad visual, representatividad de los datos e identificación de contenido sintético.
11. Desarrollo y evaluación experimental de sistemas
• Proyecto 1 — Implementación de un modelo neuronal con atención y comparación con un modelo preentrenado, antes y después de la adaptación.
• Proyecto 2 — Implementación o adaptación de una solución de traducción de lengua de señas a texto o de texto a una representación de la producción en lengua de señas, que puede incluir la animación de un avatar.
Forma Avaliação: A avaliação será realizada por meio de dois projetos de programação, desenvolvidos em duplas, com demonstração e defesa individual.
O uso de ferramentas de inteligência artificial será permitido, desde que declarado. Cada aluno deverá demonstrar compreensão da solução apresentada e capacidade de verificar seu funcionamento. A avaliação não dependerá de atingir uma pontuação mínima de desempenho do modelo; resultados negativos poderão ser bem avaliados quando obtidos e analisados com rigor.
A nota final de cada aluno será calculada por:
NF = 0,40 P_1 + 0,60 P_2
Onde:
P_1 nota do Projeto 1
P_2 nota do Projeto 2
Ofertar para Graduação:
Sim Número Limite de Alunos de Graduação:
4
Aceita Estudante Especial:
Sim
Número de Alunos Total:
de 2 até 16