Как найти количество информации – Определение количества информации в сообщении

Количество информации

Количество информации как мера уменьшения неопределенности знаний

 

Количество информации как мера уменьшения неопределенности знаний.Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:

где I – количество информации,

N – количество возможных событий,

p_i— вероятности отдельных событий.

 

Если события равновероятны, то количество информации определяется по формуле:

 

 или из показательного уравнения:

Пример 2.1.После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.

Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:

I = log₂4 = 2 бит

На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p₁ = 1/2), вероятность оценки «4» в два раза меньше (p₂ = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p₃ = p₄= 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:

I = -(1/2Elog₂1/2 + 1/4Elog₂1/4 + 1/8Elog₂1/8 + 1/8Elog₂1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

Пример 2.2.В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

p_б = 0,1; p_к = 0,2; p_з = 0,3; p_с = 0,4

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:

I = -(0,1·log₂ 0,1+ 0,2·log₂ 0,2 + 0,3·log₂ 0,3 + 0,4·log₂ 0,4) бит

Пример 2.3.Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое — ответу «Нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

По формуле 2.2 и с помощью калькулятора получаем:

I = log₂12 »3,6 бит

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

Единицы измерения количества информации

Единицы измерения количества информации.За единицу количества информации принят 1 бит — количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт = 8 бит

1 Кбайт = 2¹⁰байт

1 Мбайт = 2¹⁰Кбайт = 2²⁰байт

1 Гбайт = 2¹⁰Мбайт = 2²⁰Кбайт = 2³⁰байт

Определение количества информации, представленной с помощью знаковых систем

Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.

Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.

Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

 

Пример 2.5.Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.

Перевести информационный объем сообщения в биты:

.I = 10 240 бит

Определить количество бит, приходящееся на один символ:

10 240 бит : 2 048 = 5 бит

По формуле 2.3 определить количество символов в алфавите:

N= 2^I= 2⁵ = 32

studfiles.net

Определение информационного объема сообщения

Определение информационного объема сообщения. Информатика в 7 классе.

Тема: «Измерение информации»

Формулы

Для определения информационного объема сообщения потребуются две формулы:

1. \( N= 2^i \)

N — мощность алфавита

i — информационный объём одного символа в алфавите

2. \( I = k * i \)​

I — информационный объём сообщения

k — количество символов в сообщении

i — информационный объём одного символа в алфавите

Формула нахождения k:

\( k = \frac{\mathrm I}{\mathrm i} \)​

Формула нахождения i:

\( i = \frac{\mathrm I}{\mathrm k} \)​

Задачи

Задача №1. Сообщение, записанное буквами из 128-символьного алфавита, содержит 30 символов. Найти информационный объем всего сообщения?

Решение. Запишем, что дано по условию задачи и что необходимо найти:

N = 128

k = 30

\( I = ? \)​

\( i = ? \)​

Сначала найдем вес одного символа по формуле:

\( N= 2^i \) = \( 128= 2^7 \) 

\( i = 7  \)​ бит. Какая степень двойки, такой вес одного символа в алфавите. Далее определяем информационный объем сообщения по формуле:

\( I = k * i \)​ = 30 * 7 = 210 бит

Ответ: 210 бит

Задача №2. Информационное сообщение объемом 4 Кбайта содержит 4096 символов. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Решение. Запишем, что дано по условию задачи и что необходимо найти:

\( I = 4 \)​ Кб

k = 4096

\( N = ? \)​

\( i = ? \)​

Очень важно перевести все числа в степени двойки:

1 Кб = \(  2^{13} \) бит

\( I = 4 \)​ Кб = \(  2^2 \) * \(  2^{13} \) = \(  2^{15} \) бит

k = 4096 = \(  2^{12} \)

Сначала найдем вес одного символа по формуле:

\( i = \frac{\mathrm I}{\mathrm k} \)​ = \(  2^{15} \) : \(  2^{12} \) = \(  2^3 \) = 8 бит

Далее находим мощность алфавита по формуле:

\( N= 2^i \)  \( 2^8 =256\)

Ответ: 256 символов в алфавите.

Задача №3. Сколько символов содержит сообщение, записанное с помощью 16-символьного алфавита, если его объем составляет 1/16 Мб?

Решение. Запишем, что дано по условию задачи и что необходимо найти:

N = 16

\( I = \frac{\mathrm 1}{\mathrm 16} \)​ Мб

\( k = ? \)​

\( i = ? \)​

Представим \( I = \frac{\mathrm 1}{\mathrm 16} \)​ Мб в степень двойки:

1 Мб = \(  2^{23} \) бит

\( I = \frac{\mathrm 1}{\mathrm 16} \)​ Мб = \( 2^{23} \) : ​\(  2^4  \)   = \(  2^{19} \) бит.

Сначала найдем вес одного символа по формуле:

\( N= 2^i \) = \(  2^4 = 16 \) 

\( i = 4  \)​ бит = \(  2^2  \)  

Теперь найдём количество символов в сообщении k:

\( k = \frac{\mathrm I}{\mathrm i} \)​ = \(  2^{19} \)​ : \(  2^2 \) = \(  2^{17} \) = 131072

Ответ: 131072 символов в сообщении.

amlesson.ru

Измерение количества информации

Измерение количества информации.

Ранее отмечалось, что информация в рамках информатики не определяется через другие, более простые, понятия. Более того, широкое трактование этого понятия позволяет определить информацию и информационные процессы, как все, что окружает человека: расположение материальных предметов, законы природы, социальные явления и др. Но говоря об информатике, как о науке преобразования информации с помощью технических средств, важнейшей проблемой становится измерение количества информации. При этом даже в бытовом обращении слово «информация» используется с такими глаголами, которые предполагают некоторую меру: собрать, запомнить, хранить, преобразовать, передать, получить и даже купить. Рассмотрим основные подходы к определению количества информации.

В 1928 году американским инженером Ральфом Хартли была предложена формула определения количества информации, содержащегося в сообщении длины n. Проиллюстрируем подход к определению количества информации, предложенный Хартли на примере задачи, связанной с угадыванием числа из некоторого интервала: кто-то загадывает число от 0 до 99, а другой должен отгадать его, получая лишь ответы «да» или «нет».

Для решения этой задачи воспользуемся методом деления пополам. Разделим заданный интервал пополам и зададим вопрос: «Число больше?» (можно спросить «Число меньше?»). Любой ответ («Да» и «Нет») сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

Посчитаем сколько вопросов надо задать, чтобы найти задуманное число x. Допустим загаданное число x = 79. Начали:

1. Число больше 49? Да

2. Число больше 74? Да

3. Число больше 87? Нет

4. Число больше 81? Нет

5. Число больше 78? Да

6. Число больше 80? Нет

7. Число больше 79? Нет

Если число больше 78 и не больше 79, то это 79.

Чтобы угадать методом «деления пополам» число от 0 до 99 потребовалось 7 вопросов. Может возникнуть сомнение: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда потребуется намного больше вопросов. Деление пополам самый короткий рациональный способ найти число.

Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного, наперёд заданного, множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N:

I = log₂ N

Такое определение количества информации называют «формулой Хартли». Количество информации (I), необходимое для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Если возможных событий два (N=2: «да» или «нет», «0» или «1» и др.), то количество информации, необходимое для определения одного из них:

I = log₂ 2 = 1

По формуле Хартли можно вычислить, какое количество информации требуется для нахождения загаданного числа в задаче, приведенной выше. Всего может быть загадано 100 чисел, т. е. N = 100:

I = log₂ 100  6,644

Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы измерения информации. Почему же потребовалось задать 7 вопросов? Из житейского опыта понятно, что задать шесть с половиной вопросов невозможно, но есть и математическое объяснение.

Предположим существует некоторый алфавит А (множество А различных символов). Количество символов, используемых в алфавите (из которых составляется сообщение) обозначим m (в случае показанной задачи m = 2: «Да» или «Нет»). Тогда количество возможных вариантов различных сообщений можно определить как

N = mⁿ, где n – количество символов в сообщении.

Т. е. получив шесть двоичных ответов можно было бы однозначно определить одно из шестидесяти четырех (N = 2⁶ = 64) чисел (символов алфавита), чего недостаточно для решения задачи. А седьмой ответ позволяет расширить определяемый интервал до 128 (2⁷ = 128) различных чисел. Попробуйте самостоятельно угадать число от 0 до 127 методом деления пополам и убедиться, что будет достаточно тех же семи вопросов.

Формулу Хартли можно обобщить, используя понятия алфавит, символ и сообщение:

I = n log₂ m,

где: n – количество символов в сообщении, m – количество символов в алфавите.

Рассматривая ту же задачу, определим количество информации, содержащееся в сообщении загаданного числа:

Количество символов алфавита m = 10 (цифры от 0 до 9), количество символов в сообщении n = 2 (это может быть «00», «01», …, «98», «99»). Подставив значения в формулу Хартли, получим:

I = 2  log₂ 10  6,644

Необходимо отметить, что формула Хартли справедлива только для равновероятных событий. Кроме загаданного числа, примерами таких событий могут быть: бросание монеты (выпадет «орел» или «решка»), количество букв на странице (четное или нечетное) и др. Однако чаще встречаются события, вероятности наступления которых не одинаковы: вероятность встретить некоторую букву в тексте (буква «о» встречается в русском языке гораздо чаще, чем буква «ы»). Приведем другие примеры не равновероятных событий.

Вы звоните на домашний телефон своему другу. Возьмет он трубку или нет, зависит от многих обстоятельств. Если звонить в то время, когда друг должен быть на работе, вероятность, что он ответит минимальна (но не равна нулю, т. к. он мог заболеть и остаться дома). Другими словами, если друг не ответит, Вы не удивитесь – такой результат вполне ожидаем и количество информации, полученной в ходе проведения такого опыта мало.

Или рассмотрим вероятность получения зачета «автоматом». Если студент пропускал занятия, не выполнял требования преподавателя, получал неудовлетворительные оценки за контрольные работы, то вероятность получения «автомата» практически равна нулю.

Для задач такого рода американский математик Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии – меры неопределённости или непредсказуемости системы (неопределённости появления какого-либо символа первичного алфавита). Его идеи послужили основой разработки не только теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, но и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных кодов.

Рассматривая кибернетический (предложенный Шенноном) подход к определению количества информации, приведем математическое определение энтропии. Энтропия для независимых случайных событий рассчитывается по формуле:

.

где p_i – вероятность наступление i-го события из N возможных. Эта величина также называется средней энтропией сообщения.

В качестве примера приведем опыт, связанный с бросанием правильной игральной кости, имеющей N граней, пронумерованных от 1 до N (самый распространенный случай N = 6). Несмотря на то, что вероятность выпадения каждой из граней одинакова, этот пример хорошо иллюстрирует идею Шеннона.

Проведение этого опыта связано с некоторой неопределенностью (неизвестно какое число выпадет), но очевидно, что чем больше граней, тем эта неопределенность будет выше, а если грань будет одна или на всех гранях будет одно и то же число, то никакой неопределенности нет. Рассмотрим процедуру бросания кости по этапам его проведения.

1. Готовимся бросить кость. Исход опыта неизвестен, т. е. имеется некоторая неопределенность. Обозначим ее H₁. Ее числовое значение можно найти по приведенной выше формуле, учитывая, что N = 6, а p₁ = p₂ = p₃ = p₄ = p₅ = p₆ = 1/6 (если, конечно, кость не шулерская).

2. Кость брошена. Информация об исходе данного опыта получена. Обозначим количество этой информации

   I.

3. Обозначим неопределенность исхода после проведения опыта H₂.

За количество информации, которое получено в ходе проведения опыта, принимается разность неопределенностей, имевших место до и после опыта:

I = H₁ – H₂

Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность полностью снята (H₂ = 0), и количество полученной информации равно первоначальной энтропии. Другими словами, информация об исходе опыта совпадает с неопределенностью, заключенной в опыте. Заметим, что H₂ могло быть отлично от нуля. Например, сообщим, что в результате проведения опыта выпала грань с цифрой больше трех. Четыре, пять или шесть? В этом случае рассчитаем H₂ для N = 3, а p₁ = p

2 = p₃ = 1/3.

Таким образом, если исход опыта достоверно известен, то количество информации, полученное в ходе его проведения, вычисленное по формуле Шеннона:

I = – (p₁log₂p₁ + p₂log₂p₂ + . . . + p_Nlog₂p_N)

Не трудно заметить, что если вероятности p₁, …, p_N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit – binary digit – двоичная цифра). Это количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов.

Пример. Сколько бит содержит произвольное трехзначное число?

Первый вариант решения. Всего таких чисел 900: от 100 до 999. Значит, I=log₂900 = 9.82 (бит).

Второй вариант. Первая цифра трехзначного числа имеет 9 различных состояний: от 1 до 9, вторая и третья цифры по 10 значений: от 0 до 9. Значит, I = log₂9 + 2·log₂10 = 3.18+6.64 = 9.82 (бит).

Клод Шеннон является одним из основоположников кибернетики, а развитый им подход к измерению количества информации называют кибернетическим. Далее рассмотрим объемный подход, к которому привели работы по созданию первых ЭВМ.

С точки зрения технического устройства, будь то компьютер или канал связи, измерять количество информации достаточно просто. Информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов и т. д. Объемный подход к измерению количества информации заключается в подсчете числа символов в сообщении.

Аппаратная реализация ЭВМ предусматривает двоичное представление и данных, и команд их обработки, и адресов памяти. Это связано с тем, что в техническом устройстве наиболее просто реализовать некоторый физический элемент, имеющий два различных состояния, например: ферритовое колечко намагничено в одном направлении или в другом, диод открыт или закрыт, конденсатор заряжен или не заряжен и т. п. Очевидно, бит является наименьшей возможной и неделимой единицей информации (в отличие от кибернетического подхода, где количество информации может выражаться любым вещественным числом).

Но измерение объема информации, содержащейся в некотором тексте, записанном двоичными знаками в памяти компьютера (или на внешнем носителе информации), не сводится к простому подсчету этих знаков. Дело в том, что словом из одного символа двоичного алфавита можно закодировать только две буквы алфавита естественного языка. На практике же требуется кодировать не просто все буквы алфавита (например, латинского), а и различать строчные и заглавные буквы, цифры, знаки препинания. А говоря о том, что компьютер – устройство интернациональное, необходимо учитывать возможность кодирования национальных алфавитов (русского, немецкого, китайского и т. д.). Добавим к этому необходимость кодирования управляющих символов (стрелки, изменение регистра, функциональные клавиши и др.).

Для реализации этой возможности принято использование двоичных слов, состоящих из восьми символов (8 бит) и называемых байтами. С помощью одного байта можно закодировать 2⁸ = 256 различных символов.

Все IBM-совместимые компьютеры используют стандартную таблицу ASCII (American Standard Code for Information Interchange), в которой каждой букве алфавита, цифре или другому символу присвоен определенный цифровой код. Кодированию текстовой и числовой информации будет уделено особое внимание. В рамках текущего занятия подчеркнем, что для представления любого символа естественного алфавита используется 1 байт, состоящий из восьми бит.

Учитывая факт, что на страницу формата А4 умещается около 2000 символов, становится очевидной необходимость использования кратных величин для представления информации. Рассмотрим эти величины в порядке возрастания.

1024 байта образуют килобайт (Кб). Ввиду использования двоичной системы счисления было выбрано число, являющееся степенью цифры два, наиболее близкое к тысяче (2¹⁰ = 1024).

Аналогично:

1024 Кб = 1 мегабайт (Мб)

1024 Мб = 1 гигабайт (Гб)

1024 Гб = 1 терабайт (Тб)

1024 Тб = 1 петабайт (Пб)

1024 Пб = 1 экзабайт (Эб)

3 Мб = 3  1024  1024  8 = 25165824 бит

Приведем примеры, иллюстрирующие указанные объемы информации:

• 2 Кбайт – машинописная страница;

• 100 Кбайт – фотография с низким разрешением;

• 1 Мбайт – небольшой роман или один флоппи-диск;

• 2-4 Мбайт – фотография с высоким разрешением;

• 5 Мбайт – собрание работ Шекспира;

• 10 Мбайт – минута аудиозаписи высокого качества;

• 100 Мбайт – полка книг длиной 1 метр;

• 700 Мбайт – CD-ROM;

• 1 Гбайт – грузовик книг;

• 20 Гбайт – запись всех сочинений Бетховена;

• 100 Гбайт – библиотечное собрание академических журналов;

• 1 Тбайт – текст, который может быть напечатан на бумаге, на которую пошло 50 тыс. деревьев;

• 2 Тбайт – крупная академическая библиотека;

• 10 Тбайт – печатные материалы библиотеки Конгресса США;

• 400 Тбайт – база данных Национального климатического центра США;

• 2 Пбайт – все академические библиотеки США;

• 20 Пбайт – емкость всех жестких дисков, выпущенных в 1995 году;

• 200 Пбайт – все когда-либо напечатанные материалы;

• 2 Эбайт – общее количество данных, произведенное в 1999 году;

• 5 Эбайт – количество слов, высказанное человечеством за все время его существования.

Аналитики из Калифорнийского университета утверждают, что человечеству потребовалось 300 тысяч лет, чтобы создать первые 12 экзабайт информации, зато вторые 12 экзабайт были созданы всего за два года

Между кибернетическим и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускают измеримость количества информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного.

В прикладной информатике практически всегда количество информации понимается в объемном смысле.

Пример:

Алфавит, используемый для представления информации, состоит из букв латинского алфавита {a, b, c, d, e, f, g, h}. Задано сообщение: abcdeffbbbccdddddddeeeeeffgggh.

1. Найти среднее количество информации приходящейся на 1 символ сообщения, используя кибернетический и объемный подход.

2. Найти общее количество информации, содержащееся в сообщении, в соответствии с кибернетическим и объемным подходом.

Решение:

1. Кибернетический подход:

Определим общее количество символов в сообщении и количество повторений каждого символа:

n = 30; n_a = 1; n_b = 4; n_c = 3; n_d = 8; n_e = 6; n_f = 4; n_g = 3; n_h = 1.

Найдем частоту появления каждого символа, которую можно рассматривать как вероятность:

p_a = n_a/n = 1/30 ≈ 0,03333; p_b = 4/30 ≈ 0,13333; p_c = 3/30 = 0,1;

p_d = 8/30 ≈ 0,26666; p_e = 6/30 = 0,2; p_f = 4/30 ≈ 0,13333;

p_g = 3/30 = 0,1; p_h = 1/30 ≈ 0,03333;

и подставим значения в формулу Шеннона:

I = – (0,03333log₂ 0,03333 + 0,13333log₂ 0,13333 + 0,1log₂ 0,1 +

+ 0,26666log₂ 0,26666 + 0,2log₂ 0,2 + 0,13333log₂ 0,13333 +

+ 0,1log₂ 0,1 + 0,03333log₂ 0,03333) = 2,73953 бит

Объемный подход:

В представленном алфавите 8 букв. Значит количество двоичных символов, необходимое для кодирования каждого из них найдем по формуле:

N = log₂ 8 = 3

Действительно, эти буквы можно закодировать, например, следующим образом: a – 000; b – 001; c – 010; d – 011; e – 100; f – 101; g – 110; h – 111.

Таким образом каждый символ содержит 3 бита информации.

2. Определив количество информации, приходящееся на один символ сообщения, и количество символов в сообщении, найдем общее количество информации:

Кибернетический подход: I = 30  2,73953 = 82,1859 бит

Объемный подход: I = 30  3 = 90 бит

8. Вопросы по теме занятия.

1. Как зависит количество возможных сообщений от количества используемых в алфавите символов и количества символов в сообщении?

2. Как связаны между собой понятия энтропии и информации?

3. При каком условии достигается максимальная энтропия опытов?

4. В чем разница между методами измерения количества информации, предложенных Хартли и Шенноном?

5. Почему в формулах Хартли и Шеннона используется логарифм?

6. Почему основанием логарифмов в формулах Хартли и Шеннона выбрано число 2?

studfiles.net

Вычисление количества информации

Вычисление количества информации

Теория

С помощью K бит можно закодировать Q=2^K различных вариантов (чисел):

K, бит	1	2	3	4	5	6	7	8	9	10
Q, вариантов	2	4	8	16	32	64	128	256	512	1024

При измерении количества информации принимается, что в одном байте 8 бит, а в одном килобайте (1 Кбайт) – 1024 байта, в мегабайте (1 Мбайт) – 1024 Кбайта = 1048576 байт

Чтобы найти информационный объем сообщения (текста) I, нужно умножить количество символов (отсчетов) N на число бит на символ (отсчет) K:     

I = N • K

Мощность алфавита M  – это количество символов в этом алфавите

если алфавит имеет мощность M, то количество всех возможных «слов» (символьных цепочек) длиной N (без учета смысла) равно Q = M^N ; для двоичного кодирования (мощность алфавита M  – 2 символа) получаем известную формулу: Q = 2^N  

Задача

При регистрации в компьютерной системе каждому пользователю выдаётся пароль, состоящий из 9 символов и содержащий только символы А, В, И, Р, Ф, Э, Ю, Я (таким образом, используется 9 различных символов). Каждый такой пароль в компьютерной системе записывается минимально возможным и одинаковым целым количеством байт (при этом используют посимвольное кодирование и все символы кодируются одинаковым и минимально возможным количеством бит).

Укажите объём памяти в байтах, отводимый этой системой для записи 12 паролей. В ответе запишите только число, слово «байт» писать не нужно.

Решение

Согласно условию, в пароле можно использовать 9 символов
Для кодирования номера одного из 9 символов нужно выделить 4 бита памяти (они позволяют закодировать 2⁴ = 16 вариантов)
Для хранения всех 9 символов пароля нужно 9 • 4 = 36 бит
Поскольку пароль должен занимать целое число байт, берем ближайшее большее (точнее, не меньшее) значение, которое кратно 8: это 40 = 5 • 8; то есть один пароль занимает 5 байт
Тогда 12 паролей занимают 5 • 12 = 60 байт

Правильный ответ: 60.

Подробности

Опубликовано: 29 Апрель 2015

Просмотров: 6187

kursypk.ru

Количество информации

Процесс познания приводит к накоплению информации (знаний), то есть к уменьшению неопределенности знания.

Измерить объём накопленных знаний нельзя, а вот оценить уменьшение незнания можно, если известно количество возможных вариантов исхода.

Количество информации - мера уменьшения неопределённости знаний при получении информационных сообщений.

Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несёт полученное сообщение:

 - формула Хартли,

где N - количество вариантов исхода;

I - количество информации, которое несёт сообщение.

В своей деятельности человек постоянно использует различные единицы измерения. Например, время измеряется в секундах, минутах, часах; расстояние — в метрах, километрах; температура — в градусах и т.д.

Для измерения количества информации тоже существуют свои единицы. Минимальную единицу количества информации называют битом.

Давайте рассмотрим примеры:

1. При бросании монеты возможны два варианта исхода (орёл или решка). Заранее не известен результат, мы имеем некоторую неопределённость. После падения монеты виден один вариант вместо двух (неопределённость исчезла).

2. До проверки контрольной работы учителем возможны четыре вариант исхода («2», «3», «4», «5»). После получения оценки остался один вариант (неопределённость исчезла).

Рассмотренные примеры позволяют сделать вывод: чем больше неопределённости первоначальной ситуации (чем больше вариантов исхода), тем больше количество информации содержится в сообщении, снимающем эту неопределённость.

1 бит — это количество информации в сообщении, которое уменьшает неопределённость в 2 раза.

Следующей по величине единицей является байт. Байт — это единица измерения количества информации, состоящая из восьми последовательных и взаимосвязанных битов.

Т.к. в компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2ⁿ.

Существуют кратные байту единицы измерения количества информации:

1 килобайт (Кбайт) = 2¹⁰ байтов  = 1024 байтов;

1 мегабайт (Мбайт) = 2¹⁰ Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2¹⁰ Мбайт = 1024 Мбайт.

В этих единицах измеряются объемы памяти компьютера, размеры файлов.

Задача 1.

На экзамене вы берете экзаменационный билет, и учитель сообщает вам, что зрительное информационное сообщение о его номере несет 5 битов информации. Определите количество экзаменационных билетов.

Для того чтобы определить количество экзаменационных билетов, достаточно определить количество возможных информационных сообщений об их номерах. Для этого воспользуемся формулой Хартли:

Таким образом, количество экзаменационных билетов равно 32.

Задача 2.

Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: «север», «северо-восток», «восток», «юго-восток», «юг», «юго-запад», «запад» и «северо-запад». Какое количество информации будет получать робот после каждого сообщения?

Исходя из условия задачи всего возможных информационных сообщений 8, т.е. N=8. Тогда, воспользовавшись формулой Хартли, мы получим:

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

Итак, мы получили:

Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.

videouroki.net

Единицы измерения объема информации

Для измерения длины есть такие единицы, как миллиметр, сантиметр, метр, километр. Известно, что масса измеряется в граммах, килограммах, центнерах и тоннах. Бег времени выражается в секундах, минутах, часах, днях, месяцах, годах, веках. Компьютер работает с информацией и для измерения ее объема также имеются соответствующие единицы измерения.

Мы уже знаем, что компьютер воспринимает всю информацию через нули и единички. Бит – это минимальная единица измерения информации, соответствующая одной двоичной цифре («0» или «1»).

Байт состоит из восьми бит. Используя один байт, можно закодировать один символ из 256 возможных (256 = 2⁸). Таким образом, один байт равен одному символу, то есть 8 битам:

1 символ = 8 битам = 1 байту.

Изучение компьютерной грамотности предполагает рассмотрение и других, более крупных единиц измерения информации.

Таблица байтов:

1 байт = 8 бит

1 Кб (1 Килобайт) =  2¹⁰ байт = 2*2*2*2*2*2*2*2*2*2 байт =
= 1024 байт (примерно 1 тысяча байт – 10³ байт)

1 Мб (1 Мегабайт) = 2²⁰ байт = 1024 килобайт (примерно 1 миллион байт – 10⁶ байт)

1 Гб (1 Гигабайт) =   2³⁰ байт = 1024 мегабайт (примерно 1 миллиард байт – 10⁹ байт)

1 Тб (1 Терабайт) =    2⁴⁰ байт = 1024 гигабайт (примерно 10¹² байт). Терабайт иногда называют тонна.

1 Пб (1 Петабайт) =   2⁵⁰ байт = 1024 терабайт (примерно 10¹⁵ байт).

1 Эксабайт =              2⁶⁰ байт = 1024 петабайт (примерно 10¹⁸ байт).

1 Зеттабайт =            2⁷⁰ байт = 1024 эксабайт (примерно 10²¹ байт).

1 Йоттабайт =           2⁸⁰ байт = 1024 зеттабайт (примерно 10²⁴ байт).

В приведенной выше таблице степени двойки (2¹⁰, 2²⁰, 2³⁰ и т.д.) являются точными значениями килобайт, мегабайт, гигабайт. А вот степени числа 10 (точнее, 10³, 10⁶, 10⁹ и т.п.) будут уже приблизительными значениями, округленными в сторону уменьшения. Таким образом, 2¹⁰ = 1024 байта представляет точное значение килобайта, а 10³ = 1000 байт является приблизительным значением килобайта.

Такое приближение (или округление) вполне допустимо и является общепринятым.

Ниже приводится таблица байтов с английскими сокращениями (в левой колонке):

1 Kb ~ 10³ b = 10*10*10 b= 1000 b – килобайт

1 Mb ~ 10⁶ b = 10*10*10*10*10*10 b = 1 000 000 b – мегабайт

1 Gb ~ 10⁹ b – гигабайт

1 Tb ~ 10¹² b – терабайт

1 Pb ~ 10¹⁵ b – петабайт

1 Eb ~ 10¹⁸ b – эксабайт

1 Zb ~ 10²¹ b – зеттабайт

1 Yb ~ 10²⁴ b – йоттабайт

Выше в правой колонке приведены так называемые «десятичные приставки», которые используются не только с байтами, но и в других областях человеческой деятельности. Например, приставка «кило» в слове «килобайт» означает тысячу байт, также как в случае с километром она соответствует тысяче метров, а в примере с килограммом она равна тысяче грамм.

Возникает вопрос: есть ли продолжение у таблицы байтов? В математике есть понятие бесконечности, которое обозначается как перевернутая восьмерка: ∞.

Понятно, что в таблице байтов можно и дальше добавлять нули, а точнее, степени к числу 10 таким образом: 10²⁷, 10³⁰, 10³³ и так до бесконечности. Но зачем это надо? В принципе, пока хватает терабайт и петабайт. В будущем, возможно, уже мало будет и йоттабайта.

Напоследок парочка примеров по устройствам, на которые можно записать терабайты и гигабайты информации.

Есть удобный «терабайтник» – внешний жесткий диск, который подключается через порт USB к компьютеру. На него можно записать терабайт информации. Особенно удобно для ноутбуков (где смена жесткого диска бывает проблематична) и для резервного копирования информации. Лучше заранее делать резервные копии информации, а не после того, как все пропало.

Флешки бывают 1 Гб, 2 Гб, 4 Гб, 8 Гб, 16 Гб, 32 Гб , 64 Гб и даже 1 терабайт.

CD-диски могут вмещать 650 Мб, 700 Мб, 800 Мб и 900 Мб.

DVD-диски рассчитаны на большее количество информации: 4.7 Гб, 8.5 Гб, 9.4 Гб и 17 Гб.

Упражнения по компьютерной грамотности

описаны в статье “Байт, килобайт, мегабайт…”

P.S. Статья закончилась, но можно еще прочитать:

Представление информации в компьютере

Кодирование текстовой информации

Проверяем, кодирует ли компьютер текст

Кодирование цветовой информации

Получайте актуальные статьи по компьютерной грамотности прямо на ваш почтовый ящик.
Уже более 3.000 подписчиков

.

Важно: необходимо подтвердить свою подписку! В своей почте откройте письмо для активации и кликните по указанной там ссылке. Если письма нет, проверьте папку Спам.

Автор: Надежда

6 июля 2010

www.compgramotnost.ru

Информационный объем текста и единицы измерения информации

Современный компьютер может обрабатывать числовую, текстовую, графическую, звуковую и видео информацию. Все эти виды информации в компьютере представлены в двоичном коде, т. е. используется всего два символа 0 и 1. Связано это с тем, что удобно представлять информацию в виде последовательности электрических импульсов: импульс отсутствует (0), импульс есть (1).

Такое кодирование принято называть двоичным, а сами логические последовательности нулей и единиц — машинным языком.

Какой длины должен быть двоичный код, чтобы с его помощью можно было закодировать васе символы клавиатуры компьютера?

Информационный объем текста

Информационный объем текста складывается из информационных весов составляющих его символов.

Достаточный алфавит

В алфавит мощностью 256 символов можно поместить практически все символы, которые есть на клавиатуре. Такой алфавит называется достаточным.

Т.к. 256 = 2⁸, то вес 1 символа – 8 бит.

Единице в 8 бит присвоили свое название — байт.

1 байт = 8 бит.

Таким образом, информационный вес одного символа достаточного алфавита равен 1 байту.

Для измерения больших информационных объемов используются более крупные единицы измерения информации:

Единицы измерения количества информации:

1 байт = 8 бит

1 килобайт = 1 Кб = 1024 байта

1 мегабайт = 1 Мб = 1024 Кб

1 гигабайт = 1 Гб = 1024 Гб

В вашем браузере отключен Javascript.
Чтобы произвести расчеты, необходимо разрешить элементы ActiveX!

Поделитесь с другими:

Если материал понравился Вам и оказался для Вас полезным, поделитесь им со своими друзьями!

calcsbox.com