Свойства информации: а репрезентативность

Примеры-иллюстрации:

1. 
   Система целых чисел является дискретной в противоположность системе действительных чисел.
   
2. 
   Память компьютера состоит из отдельных ячеек — битов, то есть, она — дискретна. Следовательно, компьютер работает исключительно с дискретной (цифровой) информацией, а непрерывные сигналы, поступающие в компьютер, подвергаются процессу дискретизации, или оцифровке аналогового сигнала.
   

Единицы количества информации: вероятностный и объёмный подходы.
Объемный - измерение информации в технике (информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств). В технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания. Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. В двоичной системе счисления знаки 0 и 1 будем называть единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов
Вероятностный - получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности. За единицу количества информации принимают выбор одного из двух равновероятных сообщений (“да” или “нет”, “1” или “0”). Она также названа бит.
Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,... N.Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью:H = log₂ N. Это – формула Хартли.