Ementa: Introdução: informação e comunicação; entropia, entropia relativa e informação mútua; a propriedade da equipartição assintótica; compressão de dados; informação e teoria de jogos; capacidade de canal; entropia diferencial; o canal gaussiano; máxima entropia e análise espectral; teoria de taxa versus distorção; teoria de informação em redes de comunicação; teoria de informação e o mercado de capitais.

Bibliografia: Thomas Cover e Joy Thomas, "Elements of Information Theory", Wiley, 1991. Richard E. Blahut, "Principles and Practice of Information Theory", Addison-Wesley, 1987.

Conteudo Programático: Introdução à Teoria da Informação Histórico e motivação da teoria da informação. Relação entre informação e comunicação. Conceito de incerteza e previsibilidade. Entropia, Entropia Relativa e Informação Mútua Definições de entropia de Shannon, entropia condicional e entropia conjunta. Entropia relativa (divergência de Kullback-Leibler). Informação mútua e sua interpretação como redução de incerteza. Propriedades fundamentais das medidas de informação. Equipartição Assintótica (AEP) Teorema da Equipartição Assintótica. Aplicações da AEP na compressão de fontes. Justificativa estatística para técnicas de codificação. Compressão de Dados (Fonte Discreta) Taxa de compressão ideal. Teorema de codificação de Shannon para fontes sem memória. Codificação de Huffman e codificação aritmética. Limites da compressão com e sem perda. Teoria da Informação e Teoria dos Jogos Informação como recurso estratégico. Aplicações de entropia e informação mútua em jogos de informação incompleta. Análise de payoff em jogos estocásticos com comunicação. Capacidade de Canal Modelagem de canais com ruído. Capacidade de canal discreto com memória e sem memória. Teorema de codificação de canal de Shannon. Códigos com detecção e correção de erros. Entropia Diferencial Generalização da entropia para variáveis contínuas. Relação com entropia discreta. Interpretação e propriedades. O Canal Gaussiano Capacidade de canal AWGN (ruído branco gaussiano aditivo). Otimização da distribuição de entrada. Canais com restrição de potência. Máxima Entropia e Análise Espectral Aplicações em estimação espectral e modelagem de processos estocásticos. Modelos ARMA e o espectro de potência.Teoria de Taxa vs. Distorção Princípio da entropia máxima.  Codificação de fontes com perda. Função taxa-distorção e limites teóricos. Aplicações em compressão de áudio, imagem e vídeo. ·  ·  Programa Inglês: Teoria da Informação em Redes de Comunicação Múltiplos usuários: canais MAC, broadcast e interferência. Limites fundamentais para redes de comunicação. Codificação de rede e fluxos de informação. Teoria da Informação e Mercado de Capitais Informação em mercados financeiros: entropia como medida de incerteza. Correlação, causalidade e mutual information em séries temporais financeiras. Estratégias de investimento baseadas em medidas informacionais
Obs.: Consultar Catálogo vigente na DAC.

Forma Avaliação: Listas de exercícios, testes em sala de aula e projetos, em proporções combinadas com os alunos.