Презентация на тему "Основы теории информации"
презентация к уроку по информатике и икт (10 класс) по теме

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
Понятие информации. Количество информации.Урок 1.
Понятие информации
Теория информации - вторая половина XX века
Клод Э́лвуд Ше́ннон (США)
Андре́й Никола́евич Колмого́ров (Россия)
Ральф Винтон Лайон Хартли (США)
Понятие информации
Информация — это сведения, обладающие такими характеристиками, как понятность, достоверность, новизна и актуальность (с точки зрения человека)
Информация — это снятая неопределенность (по К. Шеннону)
Информационный объем сообщения — количество двоичных символов, которое используется для кодирования этого сообщения.
Количество информации - минимально возможное количество двоичных знаков, необходимых для кодирования последовательности к содержанию представленного сообщения (по А.Н. Колмогорову)
Единицы измерения информации
За единицу измерения информации принят 1 бит (от англ. Binary digit)1 бит — это количество информации, которое можно передать в сообщении, состоящем из одного двоичного знака (0 или 1) — алфавитный подход1 бит — это количество информации, уменьшающее неопределенность знаний в два раза — содержательный подход1Кб (килобайт) = 210 байт = 1024 байт1Мб (мегабайт) = 210 Кб = 1024 Кб1Гб (гигабайт) = 210 Мб = 1024 Мб1Тб (терабайт) = 210 Гб =1024 Гб
ВОПРОСЫ И ЗАДАНИЯ
Расскажите, как вы понимаете термин «информация». Что общего и каковы различия между бытовым понятием этого термина и его научными трактовками?При игре в кости используется два игральных кубика, грани которых помечены числами от 1 до 6. В чем заключается неопределенность знаний о бросании одного кубика? Двух кубиков одновременно?Сколько гигабайт содержится в 2 18 килобайтах?Сколько мегабайт содержится в 2 20 килобитах?
Формула Хартли определения информации. Урок 2.
Закон аддитивности. Алфавитный подход к измерению информации.Урок 3.
Закон аддитивности. Алфавитный подход к измерению информации.
Согласно основному логарифмическому тождеству:
Закон аддитивности информации: Количество информации необходимое для установления пары (х1, х2), равно сумме количеств информации необходимых для независимого установления элементов х1 и х2.ПРИМЕР 4 с. 267Количество информации, содержащееся с одном символе, называется его информационным весом и рассчитывается по формуле Хартли
Закон аддитивности. Алфавитный подход к измерению информации.
Согласно основному логарифмическому тождеству:
Закон аддитивности информации: Количество информации необходимое для установления пары (х1, х2), равно сумме количеств информации необходимых для независимого установления элементов х1 и х2.ПРИМЕР 4 с. 267Количество информации, содержащееся с одном символе, называется его информационным весом и рассчитывается по формуле Хартли
Закон аддитивности. Алфавитный подход к измерению информации.
Согласно закону аддитивности, количество информации, содержащееся в сообщении, состоящем из m символов одного и того же алфавита, равно
ПРИМЕР 5, 6 стр. 268Дома: §5.4 прочитать, №1,6 с. 269
Оптимальное кодирование информациии её сложность.Урок 7.
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
Оптимальное кодирование информации и её сложность.
Задача современной информатики — кодирование информации наиболее коротким образом.
(показывает средний информационный вес символов того или иного алфавита или энтропию распределения частот появления символов)Не существует универсального способа кодирования произвольного файла с частотными характеристиками встречающихся символов, который бы обеспечивал сжатие до величины меньшей, чем Н.Алгоритм RLEАлгоритм ХафманаАрифметическое кодирование
Формула Шеннона1948 г.
Оптимальное кодирование информации и её сложность.Построение одного из универсальных алгоритмов кодирования
1 способ{длина кода, код}{длина кода, код}...{длина кода, код}Код Rice и Дельта-код
2 способПрефиксный код(код одного символа не может быть началом кода другого символа)
Различные символы встречаются в тексте с различной частотой, то естественно кодировать их так, чтобы те которые встречаются чаще кодировались более коротко, а другие — длиннее (неравномерный код)ПРОБЛЕМА. Как понять, где кончился код одного символа и начался другой?
Оптимальное кодирование информации и её сложность.1. Префиксный код Хаффмана
Наиболее применимый алгоритм построения префиксного кода для произвольного алфавита (Доказательство на с. 278-279 пособия)
Дэвид Хаффман(1925-1999)
0.37(а),0.22(b), 0.16(c), 0.14(d), 0.11(e)
00(a),10(b),11(c), 010(d), 011(e)
0.37(а), 0.25(de), 0.22(b), 0.16(c)
00(a),01(de),10(b),11(c)
0.37(а), 0.38(bc), 0.25(de),
1(bc), 00(a),01(de)
0.62(аde), 0.38(bc)
0(ade),1(bc)
Оптимальное кодирование информации и её сложность.2. Сжатие файлов на основе анализа сложности (RLE, LZ)
Например: последовательность 01010101010101 является менее сложной, чем 1001110000, т. к. первую можно заменить на более короткую, построенную по другим правилам: 7(01)=1112(01), а пути сокращения второй — не очевидны.Является ли число π =3,14159256... сложным?
π = длина любой окружности / её диаметр
Оптимальное кодирование информации и её сложность.Практическая работа «Префиксный код Хаффмана»
Задание № 2 с. 280а) построить код Хаффманаб) оценить размер полученного файла(см. пример 9) и энтропию распределения (ф. Шеннона)Дома: п. 5.6, з №1,3. Подготовится к к.р.