Современная теория информации

Зачетные единицы: 4

Семестр: 1

Курс: Основной

Цели

Студенты изучат основные понятия теории информации, их связь с потребительскими характеристиками систем передачи и хранения информации; принципы построения эффективных методов сжатия и кодирования информации; основные характеристики и области применения алгоритмов.
Студенты научатся формулировать в виде теорем и доказывать утверждения о потенциально достижимых характеристиках систем обработки и передачи информации; формализовать требования и ограничения на разработку информационных систем и соизмерять реальные характеристики с теоретическими пределами.
Студенты получат навыки построения различных видов диаграмм для проектирования и документирования программного обеспечения; навыки разработки алгоритмов эффективной обработки информации, а именно, системы сжатия дискретной и аналоговой информации и системы защиты информации от помех и искажений в каналах связи.

Содержание

Основные темы занятий в рамках дисциплины:

  • Измерение информации. Собственная информация
  • Энтропия
  • Условная энтропия
  • Энтропия на сообщение
  • Неравномерное побуквенное кодирование;
  • Неравенство Крафта
  • Кодирование для стационарного источника
  • Арифметическое кодирование
  • Универсальное кодирование
  • Монотонные коды
  • Модели каналов
  • Информационная емкость и пропускная способность
  • Непрерывные каналы
  • Дифференциальная энтропия
  • Меры искажения
  • Свойства H(D)и примеры вычисления

Формат

Лекции и лабораторные занятия

Оценка

Экзамен