Ementa: Introdução: informação e comunicação; entropia, entropia relativa e informação mútua; a propriedade da equipartição assintótica; compressão de dados; informação e teoria de jogos; capacidade de canal; entropia diferencial; o canal gaussiano; máxima entropia e análise espectral; teoria de taxa versus distorção; teoria de informação em redes de comunicação; teoria de informação e o mercado de capitais.

Bibliografia: Thomas Cover e Joy Thomas, "Elements of Information Theory", Wiley, 1991. Richard E. Blahut, "Principles and Practice of Information Theory", Addison-Wesley, 1987.

Conteudo Programático: Introdução à Teoria da Informação Histórico e motivação da teoria da informação. Relação entre informação e comunicação. Conceito de incerteza e previsibilidade. Entropia, Entropia Relativa e Informação Mútua Definições de entropia de Shannon, entropia condicional e entropia conjunta. Entropia relativa (divergência de Kullback-Leibler). Informação mútua e sua interpretação como redução de incerteza. Propriedades fundamentais das medidas de informação. Equipartição Assintótica (AEP) Teorema da Equipartição Assintótica. Aplicações da AEP na compressão de fontes. Justificativa estatística para técnicas de codificação. Compressão de Dados (Fonte Discreta) Taxa de compressão ideal. Teorema de codificação de Shannon para fontes sem memória. Codificação de Huffman e codificação aritmética. Limites da compressão com e sem perda. Teoria da Informação e Teoria dos Jogos Informação como recurso estratégico. Aplicações de entropia e informação mútua em jogos de informação incompleta. Análise de payoff em jogos estocásticos com comunicação. Capacidade de Canal Modelagem de canais com ruído. Capacidade de canal discreto com memória e sem memória. Teorema de codificação de canal de Shannon. Códigos com detecção e correção de erros. Entropia Diferencial Generalização da entropia para variáveis contínuas. Relação com entropia discreta. Interpretação e propriedades. O Canal Gaussiano Capacidade de canal AWGN (ruído branco gaussiano aditivo). Otimização da distribuição de entrada. Canais com restrição de potência. Máxima Entropia e Análise Espectral Aplicações em estimação espectral e modelagem de processos estocásticos. Modelos ARMA e o espectro de potência.Teoria de Taxa vs. Distorção Princípio da entropia máxima.  Codificação de fontes com perda. Função taxa-distorção e limites teóricos. Aplicações em compressão de áudio, imagem e vídeo. ·  ·  Programa Inglês: Teoria da Informação em Redes de Comunicação Múltiplos usuários: canais MAC, broadcast e interferência. Limites fundamentais para redes de comunicação. Codificação de rede e fluxos de informação. Teoria da Informação e Mercado de Capitais Informação em mercados financeiros: entropia como medida de incerteza. Correlação, causalidade e mutual information em séries temporais financeiras. Estratégias de investimento baseadas em medidas informacionais

Conteudo Programático em Inglês:  Introduction to Information Theory History and motivation of information theory. Relationship between information and communication. Concept of uncertainty and predictability. Entropy, Relative Entropy and Mutual Information Definitions of Shannon entropy, conditional entropy and joint entropy. Relative entropy (Kullback-Leibler divergence). Mutual information and its interpretation as uncertainty reduction. Fundamental properties of information measures. Asymptotic Equipartition (AEP) Asymptotic Equipartition Theorem. Applications of AEP in source compression. Statistical justification for coding techniques. Data Compression (Discrete Source) Ideal compression rate. Shannon coding theorem for memoryless sources. Huffman coding and arithmetic coding. Limits of lossy and lossless compression. Information Theory and Game Theory Information as a strategic resource. Applications of entropy and mutual information in games of incomplete information. Payoff analysis in stochastic games with communication. Channel Capacity Modeling of channels with noise. Discrete channel capacity with and without memory. Shannon's channel coding theorem. Codes with error detection and correction. Differential Entropy Generalization of entropy to continuous variables. Relationship with discrete entropy. Interpretation and properties. The Gaussian Channel AWGN channel capacity (additive white Gaussian noise). Optimization of input distribution.Power-constrained channels. Maximum Entropy and Spectral Analysis Maximum entropy principle. Applications in spectral estimation and modeling of stochastic processes. ARMA models and the power spectrum. Rate vs. Distortion Theory Lossy source coding. Rate-distortion function and theoretical limits. Applications in audio, image and video compression. Information Theory in Communication Networks Multiple users: MAC channels, broadcast and interference. Fundamental limits for communication networks. Network coding and information flows. Information Theory and Capital Markets Information in financial markets: entropy as a measure of uncertainty. Correlation, causality and mutual information in financial time series. Investment strategies based on informational measures.

Conteudo Programático em Espanhol:  Introducción a la Teoría de la Información Historia y motivación de la teoría de la información. Relación entre información y comunicación. Concepto de incertidumbre y predictibilidad. Entropía, Entropía Relativa e Información Mutua Definiciones de entropía de Shannon, entropía condicional y entropía conjunta. Entropía relativa (divergencia de Kullback-Leibler). Información mutua y su interpretación como reducción de la incertidumbre. Propiedades fundamentales de las medidas de información. Equipartición Asintótica (PEA) Teorema de Equipartición Asintótica. Aplicaciones de la PEA en la compresión de fuentes. Justificación estadística de las técnicas de codificación. Compresión de Datos (Fuente Discreta) Tasa de compresión ideal. Teorema de codificación de Shannon para fuentes sin memoria. Codificación de Huffman y codificación aritmética. Límites de la compresión con y sin pérdida. Teoría de la Información y Teoría de Juegos La información como recurso estratégico. Aplicaciones de la entropía y la información mutua en juegos con información incompleta. Análisis de pagos en juegos estocásticos con comunicación. Capacidad de Canal Modelado de canales con ruido. Capacidad de canal discreto con y sin memoria. Teorema de codificación de canal de Shannon.Códigos con detección y corrección de errores. Entropía Diferencial Generalización de la entropía a variables continuas. Relación con la entropía discreta. Interpretación y propiedades. El Canal Gaussiano Capacidad de canal AWGN (ruido gaussiano blanco aditivo). Optimización de la distribución de entrada. Canales con restricciones de potencia. Máxima Entropía y Análisis Espectral Principio de máxima entropía. Aplicaciones en la estimación espectral y modelado de procesos estocásticos. Modelos ARMA y el espectro de potencia. Teoría de la tasa vs. Teoría de la distorsión Codificación de fuente con pérdidas. Función de tasa-distorsión y límites teóricos. Aplicaciones en compresión de audio, imagen y vídeo. Teoría de la información en redes de comunicación Usuarios múltiples: canales MAC, difusión e interferencias. Límites fundamentales de las redes de comunicación. Codificación de red y flujos de información. Teoría de la información y mercados de capitales Información en los mercados financieros: la entropía como medida de incertidumbre. Correlación, causalidad e información mutua en series temporales financieras. Estrategias de inversión basadas en medidas de información. 

Forma Avaliação: Listas de exercícios, testes em sala de aula e projetos, em proporções combinadas com os alunos.