Прикладная теория информации

Введение.О понятии «информация».Этапы обращения информации.Информационные системы.Система передачи информации (основные понятия и определения).Уровни проблем передачи информации.Теория информации.Математические модели сигналов.Понятия сигнала и его модели.Формы представления детерминированных сигналов.Временная форма представления сигнала.Частотная форма представления сигнала.Соотношения между длительностью импульсов и шириной их спектров Спектральная плотность мощности детерминированного сигнала.Функция автокорреляции детерминированного сигнала.Случайный процесс как модель сигнала.Стационарные и эргодические случайные процессы.Спектральное представление случайных сигналов.Частотное представление стационарных случайных сигналов.Преобразование непрерывных сигналов в дискретные.Преимущества цифровой формы представления сигналов.Общая постановка задачи дискретизации.Способы восстановления непрерывного сигнала.Критерии качества восстановления.Методы дискретизации посредством выборок.Равномерная дискретизация Теорема Котельникова.Теоретические и практические аспекты использования теоремы Котельникова.Дискретизация по критерию наибольшего отклонения.Адаптивная дискретизация.Квантование сигналов.Квантование сигналов при наличии помех.Геометрическая форма представления сигналов.Количественная оценка информации.Энтропия как мера неопределенности выбора.Свойства энтропии.Условная энтропия и ее свойства.Энтропия непрерывного источника информации (дифференциальная энтропия).Свойства дифференциальной энтропии.Количество информации как мера снятой неопределенности.Эпсилон энтропия случайной величины.Информационные характеристики источника сообщений и канала связи.Основные понятия и определения.Информационные характеристики источника дискретных сообщений.Информационные характеристики дискретных каналов связи.Информационные характеристики источника непрерывных сообщений.Информационные характеристики непрерывных каналов связи.Согласование физических характеристик сигнала и канала.Согласование статистических свойств источника сообщений и канала связи.Кодирование информации при передаче по дискретному каналу без помех.Кодирование как процесс выражения информации в цифровом виде.Технические средства представления информации в цифровой форме.Кодирование как средство криптографического закрытия информации.Эффективное кодирование.Технические средства кодирования и декодирования эффективных кодов.Кодирование информации при передаче по дискретному каналу с помехами.Основная теорема Шеннона о кодировании для канала с помехами.Разновидности помехоустойчивых кодов.Блоковые коды.Построение двоичного группового кода.Технические средства кодирования и декодирования для групповых кодов.Построение циклических кодов.Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности.Технические средства кодирования и декодирования для циклических кодов.Коды Боуза—Чоудхури—Хоквингема.Итеративные коды.Сверточные коды.Заключение.Список литературы.Приложение.