Теория информации

Учебное пособие. – Сыктывкар: СЛИ, 2013. – 80 с. ISBN 978-5-9239-0494-9В учебном пособии изложены основные понятия и факты теории информации, представлены способы измерения, передачи и обработки информации. Значительное внимание уделено способам кодирования информации. Теоретический материал сопровождается большим количеством примеров. В конце каждого раздела даны вопросы для проверки знаний. Рассчитано на студентов специальности 230201 «Информационные системы и технологии».СодержаниеВведениеВведение. основы теории информации Теория информации как наукаНачальные определенияСистема передачи информацииЗадачи и постулаты прикладной теории информацииВероятностный подход к измерению информации. Энтропия как мера неопределенности опытаПонятие энтропииСвойства энтропииЭнтропия сложной системыПередача информации по каналам связи Источник информацииИзбыточность информацииПередача информации по каналу связи. Пропускная способность каналаПропускная способность непрерывных каналов связиКодирование информацииЗадача кодирования Префиксные кодыОптимальное кодированиеБлочное кодированиеПомехоустойчивое кодированиеПонятие помех и их классификацияПонятие корректирующего кодаОбщие принципы использования избыточностиОсновные параметры корректирующих кодовКоды с обнаружением ошибокКорректирующие кодыЦиклические кодыПрактикум Практические работыПредставление данных в памяти ЭВМИзмерение информации. Энтропия Кодирование информации методом Шеннона– ФаноКодирование информации методом ХаффманаПомехоустойчивое кодированиеОбнаружение и исправление ошибок в циклических кодахБиблиографический списокПриложенияТаблица значений функции F(p) = –p log2pНеприводимые полиномы