Curso de Teoria da Informação

Aula 1 • Revisão de Probabilidade para Teoria da Informação

Revisa conceitos essenciais de probabilidade necessários para derivar medidas de informação. Conecta variáveis aleatórias e distribuições à quantificação da incerteza.

Aula 2 • Surpresa e Auto-informação

Define a autoinformação como a surpresa de um único resultado. Motiva a medida logarítmica e suas propriedades intuitivas.

Aula 3 • O Que É Teoria da Informação

Traça as origens da teoria da informação, desde a engenharia de comunicação até a ciência de dados moderna. Estabelece por que quantificar a informação é importante em todas as disciplinas.

Aula 4 • Fundamentos Axiomáticos da Entropia

Apresenta os axiomas de Shannon que caracterizam de forma única a entropia. Reforça por que a entropia é a medida correta de incerteza.

Aula 1 • Divergência KL e Entropia Relativa

Mede o custo de assumir a distribuição incorreta. Os alunos aplicam a divergência KL à comparação de modelos e ao teste de hipóteses.

Aula 2 • Diagramas de Informação e Relacionamentos

Visualiza as relações entre entropia, informação mútua e divergência usando diagramas no estilo Venn. Consolida todas as medidas em um quadro unificado.

Aula 3 • Entropia Cruzada e Suas Aplicações

Define entropia cruzada como o comprimento médio do código sob um modelo incompatível. Relaciona entropia cruzada à divergência KL e funções de perda em aprendizado de máquina.

Aula 4 • Entropia Conjunta e Condicional

Define entropia para pares de variáveis e a incerteza residual dada informação auxiliar. Desenvolve a regra da cadeia para entropia.

Aula 1 • Códigos e Propriedades dos Códigos

Apresenta códigos simbólicos, códigos unicamente decodificáveis e códigos livres de prefixo. Estabelece a desigualdade de Kraft como condição necessária para a eficiência.

Aula 2 • Codificação Baseada em Dicionário e Codificação Universal

Aborda algoritmos da família LZ que se adaptam a estatísticas de fonte desconhecidas. Conecta a codificação universal ao conceito de taxa de entropia para fontes estacionárias.

Aula 3 • Codificação Aritmética

Codifica mensagens inteiras como intervalos para aproximar a entropia mais de perto do que a codificação de Huffman. Abrange codificação, decodificação e questões de precisão.

Aula 4 • Teorema da Codificação de Fonte de Shannon

Demonstra que a entropia é o limite fundamental da compressão sem perdas. Os alunos interpretam a viabilidade e a recíproca do teorema.

Aula 1 • Métodos de Cálculo da Capacidade de Canal

Aplica o algoritmo de Blahut-Arimoto para calcular a capacidade numericamente. Os alunos iteram o algoritmo e verificam a convergência em canais exemplo.

Aula 2 • Canais Gaussianos e Largura de Banda

Estende a análise de capacidade para canais com ruído aditivo branco gaussiano. Deriva a fórmula de Shannon-Hartley que relaciona largura de banda, potência e capacidade.

Aula 3 • Canais Discretos Sem Memória

Define o canal discreto sem memória por meio de matrizes de probabilidade de transição. Os alunos calculam distribuições de saída e identificam a simetria do canal.

Aula 4 • Teorema da Codificação de Canal de Shannon

Afirma que a comunicação confiável é possível a qualquer taxa abaixo da capacidade. Aborda a viabilidade via codificação aleatória e o argumento da recíproca.

Aula 1 • Códigos Convolucionais e Decodificação de Viterbi

Codifica fluxos usando circuitos de registrador de deslocamento e decodifica com o algoritmo de Viterbi. Os alunos traçam diagramas de treliça para encontrar caminhos de máxima verossimilhança.

Aula 2 • Códigos Cíclicos e Códigos Reed-Solomon

Explora a estrutura algébrica para codificação eficiente e correção de rajadas de erros. Abrange representação polinomial e aplicações de Reed-Solomon.

Aula 3 • Códigos Modernos: Turbo e LDPC

Apresenta códigos que se aproximam da capacidade e decodificação iterativa por propagação de crença. Relaciona o desempenho dos códigos modernos aos limites de Shannon.

Aula 4 • Fundamentos de Detecção e Correção de Erros

Apresenta a distância de Hamming, detecção de erros e capacidades de correção. Relaciona os parâmetros do código ao modelo de ruído do canal.

Aula 1 • Função Taxa-Distorção

Define a função taxa-distorção como a taxa mínima para um dado nível de distorção. Os alunos a derivam para fontes gaussianas e binárias.

Aula 2 • Teoria da Quantização

Aplica princípios de taxa-distorção ao projeto de quantização escalar e vetorial. Os alunos analisam o ruído de quantização e aproximações de alta resolução.

Aula 3 • Padrões Práticos de Compressão com Perdas

Conecta a teoria taxa-distorção à codificação por transformada usada na compressão de áudio e imagem. Analisa como os padrões se aproximam dos limites teóricos.

Aula 4 • Teorema de Shannon sobre Taxa-Distorção

Comprova que qualquer taxa acima da função taxa-distorção é atingível. Aborda a recíproca mostrando que taxas abaixo da função são impossíveis.

Aula 1 • Informação Mútua na Seleção de Atributos

Utiliza informação mútua para ranquear e selecionar características informativas para classificação. Os alunos aplicam ganho de informação e o comparam a métodos baseados em correlação.

Aula 2 • Inferência Variacional e Teoria da Informação

Formula a inferência variacional como minimização da divergência KL. Os alunos conectam o limite inferior da evidência à taxa-distorção e à informação mútua.

Aula 3 • Princípio da Descrição Mínima

Enquadra a seleção de modelos como um problema de compressão usando o princípio MDL. Conecta o MDL à comparação bayesiana de modelos e à navalha de Occam.

Aula 4 • Teste de Hipóteses e Divergência

Relaciona a divergência KL aos expoentes de erro em teste de hipóteses binário. Os alunos derivam o lema de Chernoff-Stein e interpretam seu significado operacional.

Aula 1 • Segurança da Informação Teórica

Define sigilo perfeito e o modelo de canal com escuta. Os alunos calculam a capacidade de sigilo e comparam segurança informacional com segurança computacional.

Aula 2 • Teoria da Informação em Neurociência

Aplica entropia e informação mútua à codificação neural e sistemas sensoriais. Os alunos analisam dados de trem de disparos usando métricas da teoria da informação.

Aula 3 • Fronteiras Emergentes na Teoria da Informação

Apresenta áreas de pesquisa ativas, incluindo computação distribuída codificada e comunicação semântica. Os alunos identificam problemas em aberto e direções de pesquisa.

Aula 4 • Teoria da Informação em Redes

Estende resultados de canal único para redes multiusuário, incluindo canais de difusão e de acesso múltiplo. Os alunos calculam regiões de capacidade para casos de dois usuários.