Связь информации и энтропии

При передаче информации происходит уменьшение энтропии – неопределенности знания результата события. Если при этом происходит искажение информации, то энтропия снижается на меньшую величину. То есть информация и энтропия – по сути различные стороны одного и того же явления и различаются только тем, что с ростом одной из них (как правило энтропии) другая уменьшается.

Среднее значение энтропии в замкнутой системе всегда возрастает. Информация (в среднем) может только искажаться и теряться. Восстановление ее в сообщениях, не содержащих избыточной информации, невозможно никакими преобразованиями.

Следовательно, не существует механизмов создания информации. Ее можно только извлекать из окружающей среды в процессе ее изучения. Вся информация уже существует.

Для поддержания тела в нагретом состоянии, когда его температура выше температуры окружающей среды, необходимо постоянно подводить к этому телу тепло. Это положение справедливо и для информации. То есть для поддержания организованной системы (общества, государства, предприятия, транспортной системы) в устойчивом состоянии необходимо постоянно снабжать ее информацией, получаемой из окружающей среды.

Такая взаимосвязь энтропии и информации позволяет объяснить возможность существования и механизм функционирования организованных или управляемых систем.

Узнай цену консультации

"Да забей ты на эти дипломы и экзамены!” (дворник Кузьмич)