Вероятностный подход к определению количества информации
презентация к уроку по информатике и икт на тему

Слайд 1

Вероятностный подход к определению количества информации. Формула Шеннона 10 класс

Слайд 2

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log 2 (1/p) где I – это количество информации, р – вероятность события.

Слайд 3

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Слайд 4

Задача: Бабушка испекла 8 пирожков с капустой, 24 пирожков с повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с разной начинкой и количество информации, которое при этом было получено . Решение: Пусть К 1 – это количество пирожков с повидлом, К 1 =24 К 2 – количество пирожков с капустой, К 2 =8 N – общее количество пирожков, N = К 1 +К 2 =24+8=32 Вероятность выбора пирожка с повидлом: р 1 =24/32=3/4=0,75 . Вероятность выбора пирожка с капустой: р 2 =8/32=1/4=0,25. Обращаем внимание учащихся на то, что в сумме все вероятности дают 1. Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом: I 1 =log 2 (1/p 1 )= log 2 (1/0,75)= log 2 1,3=1,15470 бит. Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой: I 2 =log 2 (1/p 2 )= log 2 (1/0,25)= log 2 4=2 бит.

Слайд 5

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Слайд 6

Вопрос: сколько получим информации при выборе пирожка любого вида? Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон. Если I - количество информации, N - количество возможных событий, р i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле: можно расписать формулу в таком виде:

Слайд 7

Рассмотрим формулу на нашем примере: I = - ( р 1 ∙ log 2 p 1 + р 2 ∙ log 2 p 2 ) = - (0,25∙ log 2 0,25+0,75∙ log 2 0,75) ≈ -(0,25∙(-2)+0,75∙(-0,42)) =0,815 бит

Слайд 8

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти. Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Слайд 9

Применение ЭТ Excel для решения задач на нахождение количества информации р i =K i /N I i =log 2 (1/p i )

Слайд 10

Задача №1 В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу? Дано: К о =12500; К п =25000; К к = К щ =6250 Найти: I о , I п , I к , I щ , I Решение: Найдем общее количество рыбы: N= К о +К п +К к +К щ . Найдем вероятность ловли каждого вида рыбы: p о = К о /N; p п = К п /N; p к = p щ = К к /N. Найдем количество информации о ловле рыбы каждого вида: I о = log 2 ( 1/p о ); I п =log 2 (1/p п ); I к = I щ = log 2 (1/p к ) Найдем количество информации о ловле рыбы любого вида: I= p о ∙log 2 p о + p п ∙log 2 p п +p к ∙log 2 p к +p щ ∙log 2 p щ

Слайд 11

При составлении таблицы мы должны учитывать: - Ввод данных (что дано в условии). - Подсчет общего количества числа возможных исходов (формула N=K 1 +K 2 +…+K i ). - Подсчет вероятности каждого события (формула p i = К i /N). - Подсчет количества информации о каждом происходящем событии (формула I i = log 2 (1/p i )). - Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

Слайд 14

Практическая работа . 1. Сделать табличную модель для вычисления количества информации. 2 . Используя табличную модель, сделать вычисления к задаче №2 результат вычисления занести в тетрадь. Задача №2 В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

Слайд 16

Домашняя работа Задача№1 В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено. Задача№2 В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?