Точно так же, как энтропия является мерой дезорганизации, информация, которую несет набор сообщений, является мерой организации. На самом деле можно интерпретировать информацию, которую несет сообщение, по существу, как отрицательную величину его энтропии и отрицательный логарифм его вероятности. То есть чем вероятнее сообщение, тем меньше информации оно дает. Клише, например, менее информативны, чем великие стихи.