Теория информации

Учебник. —Самара: Изд-во Самар, гос. аэрокосм, ун-та, 2011. — 128 с. ISBN 978-5-7883-0905-7В учебнике рассматриваются основы теории информации и кодирования, а также вопросы определения предельно достижимых характеристик систем, извлечения информации, обнаружения и восстановления сигналов. Основное внимание уделено теоретическим аспектам, которые излагаются в краткой доступной форме. Книга адресована студентам, обучающимся по учебным планам бакалавров и специалистов.СодержаниеПредисловиеВведениеЭнтропия и информацияМеры неопределенности дискретных множествЭнтропия, как мера неопределенности выбораСвойства энтропииУсловная энтропия и её свойстваМеры неопределенности непрерывных случайных величинПонятие дифференциальной энтропииПонятие дифференциальной условной энтропииСвойства дифференциальной энтропииРаспределения, обладающие максимальной дифференциальной энтропиейКоличество информации как мера снятой неопределенностиКоличество информации при передаче отдельного элемента дискретного сообщенияСвойства частного количества информацииСреднее количество информации в любом элементе дискретного сообщенияСвойства среднего количества информации в элементе сообщения Количество информации при передаче сообщений от непрерывного источникаИнформационные характеристики источников сообщений и каналов связиПонятие эргодического источника сообщенийТеорема о свойствах эргодических последовательностей знаков Производительность источника дискретных сообщенийМодели дискретных каналовСкорость передачи информации по дискретному каналуПропускная способность дискретного канала без помехПропускная способность дискретного канала с помехамиИзбыточность сообщенийТеория кодированияОпределения и основополагающие теоремыЦель кодирования, основные понятия и определенияОсновная теорема Шеннона о кодировании для канала без помех Теорема Шеннона о кодировании для канала с помехамиЭффективное кодированиеМетод эффективного кодирования Шеннона-ФаноМетодика кодирования ХаффманаМетоды эффективного кодирования коррелированной последовательности знаковНедостатки методов эффективного кодированияПостроение помехоустойчивых групповых кодовОбщие принципы построения помехоустойчивых кодовПонятие корректирующей способности кодаОбщая схема построения группового кодаСвязь корректирующей способности с кодовым расстояниемПостроение опознавателей ошибокОпределение проверочных равенств и уравнений кодированияПостроение разрешенных кодовых комбинаций с использованием образующей матрицыПостроение матрицы-дополненияПонятие и построение проверочной (контрольной) матрицыГраница Варшамова-Гилберта для числа проверочных символов Циклические кодыПонятие и общая схема построения циклического кодаПостроение циклического кода на кольце многочленовВыбор образующих многочленов для обнаружения и исправления одиночных ошибокМетоды формирования комбинаций и декодирования циклического кодаМатричное представление циклических кодовПостроение проверочной матрицы циклического кодаКодирование линейными последовательными машинамиПонятие линейной последовательной машиныМатричное описание ЛПМКаноническая форма матричного описания ЛПМПодобные ЛПМПонятие простой автономной ЛПМОбразующая матрицаАЛПМ Формирование разрешенных комбинаций циклического кода с помощью АЛПМИзвлечение информации из сигналовМодели детерминированных сигналовОбобщенное спектральное представление детерминированных сигналовВременная форма представления сигналовЧастотное представление периодических сигналовЧастотное представление непериодических сигналовСоотношение между длительностью сигналов и шириной их спектровСпектральное представление случайных сигналовЧастотное представление стационарных случайных сигналов, дискретные спектрыЧастотное представление стационарных случайных сигналов, непрерывные спектрыСпектральная плотность мощностиВосстановление сигнала по его дискретным значениямФормулировка задач дискретизации и восстановленияТеорема КотельниковаКвантование сигналовПредельные характеристики гауссова канала связиСкорость передачи по непрерывному гауссову каналу связиПропускная способность непрерывного гауссова канала связиСогласование физических характеристик сигнала и каналаОбнаружение и восстановление сигналовПостановка задачи обнаружения сигналов при наличии помехОбнаружение по критерию максимального правдоподобияОбнаружение сигналов по критерию максимума апостериорной вероятностиИнформационный критерий обнаруженияФормулировка задачи восстановления сигналовОценки, минимизирующие среднеквадратическую ошибкуОценка максимального правдоподобияДостижимая точность, неравенство Крамера-РаоОптимальность оценок МНК и максимального правдоподобия Список использованных источниковПриложение. Математическое введение в теорию кодирования