Як знайти кількість інформації в одному символі?

Таким чином, інформаційна вага одного символу достатнього алфавіту дорівнює 1 байт.

Одиницею виміру кількості інформації є біт. 1 біт – це кількість інформації, що міститься в повідомленні, що вдвічі зменшує невизначеність знань про щось. Зв'язок між кількістю можливих подій N та кількістю інформації I визначається Формулою Хартлі: N = 2I.

Кожен символ деякого повідомлення має певну інформаційну вагу – несе фіксоване кількість інформації. Щоб визначити кількість інформації у повідомленні потрібно знати інформаційну вагу одного символу. Інформаційна вага символу залежить від кількості символів у алфавіті.