Часть 6. Еще энтропия
Sep. 15th, 2011 11:55 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
thedeemon(этот пост следует читать только после предыдущих)
К этому моменту столько раз было произнесено слово "энтропия", что стоит взглянуть, что за ним скрывается в физике, и есть ли у нее связь с информационной энтропией помимо схожести формул.
Понятие энтропии впервые было введено Клаузиусом в классической термодинамике в середине 19-го века для того, чтобы нельзя было поставить кондиционер на паровоз и получить вечный двигатель. Если у нас есть тепловая машина, где газу сообщается тепловая энергия, и он совершает работу, то не вся эта энергия может быть использована для механической работы, часть уйдет на внутренние процессы в газе и всем механизме. В простом случае это выражается формулой
dE = -p * dV + T * dS
где dE - изменение энергии, которое складывается из механической работы давления p по изменению объема dV и произведения температуры Т на изменение энтропии dS. При таком определении энтропия, будучи отношением теплоты (энергии) к температуре, имеет размерность Дж/К (Джоуль на Кельвин). Для простоты будем работать в системе единиц, где постоянная Больцмана k равна единице. В идеальном газе из N частиц давление p = (N/V)*T, E = 3/2 * N * T, поэтому
отсюда интегрированием получаем
Теперь давайте проведем мысленный эксперимент. Возьмем коробок объема V с "газом" из единственной частицы (N=1). Формально к ней неприменимы понятия температуры и давления, но за длительное время она случайным блужданием много раз ударится о стенки и в среднем будет вести себя как газ. Тогда p=T/V и при изотермическом процессе без подвода энергии
T * dS = p * dV = T * dV / V
т.е.
dS = dV / V
а значит
S = ln V + const = log2 (V/V0)
Т.е. энтропия изменяется как логарифм объема. В физике обычно используют натуральный логарифм и наты вместо битов, но в данном примере нагляднее с двоичным логарифмом. Теперь предположим, что мы перегородили коробок посередине, разделив на две одинаковых части. Наша частица окажется в одной из них с равной вероятностью P1=P2=1/2, неопределенность такого распределения H(P1, P2) = 1 бит. Допустим, каким-то измерением мы смогли узнать, в какой из половин находится частица. Тем самым мы получили 1 бит информации и получили такую же систему, как была до измерения, но объемом в два раза меньше, а значит с энтропией S2 = log2 (V/2V0) = log2 (V/V0) - log2(2) = S-1. Энтропия уменьшилась ровно на 1 бит. Повторяя этот эксперимент с различными разбиениями, мы увидим, что каждый раз энтропия будет уменьшаться на столько же бит, сколько будет извлечено информации при измерении.
Во второй половине 19-го века стала появляться статистическая термодинамика, где система рассматривалась не просто как нечто с общими параметрами, вроде температуры и давления, а как множество частиц со своими скоростями, массами и другими свойствами, и общие параметры вроде температуры и давления выводились из статистики свойств множества частиц. Когда Максвелл вывел распределение скоростей частиц, Гиббс нашел выражение, которое оказалось равно энтропии из классической термодинамики. Выглядело оно так:
Где Kb - постоянная Больцмана, а Pi - вероятность нахождения системы в микросостоянии i, сумма идет по всем возможным микросостояниям, имеющим заданные макросвойства (температура, давление, энергия...), т.е. соответствующим заданному макросостоянию. Пусть для текущего макросостояния таких возможных микросостояний W штук. Когда система находится в состоянии равновесия, все эти микросостояния равновероятны, поэтому Pi = 1/W и формула превращается в
S = k * log W
(эта формула высечена на могиле Больцмана)
С точки зрения теории информации формулу энтропии Гиббса можно проинтерпретировать следующим образом: энтропия системы есть мера нашего незнания/неопределенности относительно ее актуального микросостояния (с точностью до константы Больцмана). Если мы точно знаем ее микросостояние, то одна из Pi = 1, а остальные 0, и энтропия равна 0. Если мы точно знаем микросостояние в какой-то момент, а потом отпускаем систему в свободное плавание в состоянии равновесия, то за счет случайных флуктуаций распределение вероятностей будет "расползаться", через небольшое время она будет с большой вероятностью в микросостояниях близких к начальному, и с маленькой вероятностью в более дальних микросостояниях. Энтропия в этот момент будет ненулевой, но еще небольшой. С течением времени мы совсем потеряем представление, в каком из микросостояний находится система, все они станут равновероятными, и энтропия примет максимальное свое значение. Неудивительно, что очень часто энтропию называют мерой беспорядка.
Но как такая информационная и в некотором роде субъективная мера оказывается связана с потерей тепловой энергии, за которую изначально она должна отвечать? Интуитивно я себе это так представляю: чем больше данному макросостоянию соответствует различных микросостояний, тем больше можно совершить работы по переходу из одного микросостояния в другое, не меняя макросостояния. Туда-то и уходит часть тепловой энергии. Классический пример - таяние льда в стакане. То же самое количество частиц, та же температура, примерно тот же объем, но в жидком состоянии мы можем потратить на движение частиц и изменение их состояний гораздо больше энергии, сохраняя при этом внешние (макро) параметры вроде температуры и давления без изменений. Поэтому у воды больше энтропия и больше потери энергии на внутреннюю тепловую работу при той же температуре (dQ/T, определение энтропии в классической термодинамике).
Помимо термодинамики понятие энтропии можно встретить в квантовой механике. Там формула очень похожа:
где P - матрица плотности, а Tr - взятие ее следа.
Когда квантовая система находится в чистом состоянии (для которого существует измерение, однозначно его определяющее), квантовая энтропия равна нулю. Для смешанных же состояний (в частности, запутанных частиц), квантовая энтропия положительна и описывает степень запутанности или смешанности, вполне в духе меры неопределенности относительно того, в каком из чистых состояний окажется система при измерении.
Итак, что же после всего изложенного можно сказать об информации? Мы видим, что получение информации имеет место там, где присутствует некоторая неопределенность. Когда у получающего есть некоторая вероятностная модель, и результат измерения (очередной символ файла, физическое измерение, некоторое событие) не известен заранее со 100% вероятностью, тогда в момент разрешения этой неопределенности им получается некоторое количество информации. И количество ее, как видно из примера с энтропией частицы и как в частности подсказывает формула взаимной информации (I(X,X)=H(X)), соответствует степени неопределенности. Без получателя и его вероятностной модели, его картины мира мы ни о каком количестве извлекаемой информации говорить не можем, и потому без получателя никакие данные сами по себе информации не содержат. А количество информации и факт ее получения - это все, что ее определяет, все, что о ней можно сказать. Нет никакого физического объекта, который бы можно было назвать информацией. Поэтому разумнее всего считать, что слово информация, как и многие похожие по форме слова (телепортация, обфускация, левитация...), обозначает процесс, действие. Как телепортация = телепортирование, обфускация = обфусцирование, левитация = левитирование, так информация = информирование. И определить этот процесс можно как уменьшение/разрешение неопределенности.
К этому моменту столько раз было произнесено слово "энтропия", что стоит взглянуть, что за ним скрывается в физике, и есть ли у нее связь с информационной энтропией помимо схожести формул.
Понятие энтропии впервые было введено Клаузиусом в классической термодинамике в середине 19-го века для того, чтобы нельзя было поставить кондиционер на паровоз и получить вечный двигатель. Если у нас есть тепловая машина, где газу сообщается тепловая энергия, и он совершает работу, то не вся эта энергия может быть использована для механической работы, часть уйдет на внутренние процессы в газе и всем механизме. В простом случае это выражается формулой
dE = -p * dV + T * dS
где dE - изменение энергии, которое складывается из механической работы давления p по изменению объема dV и произведения температуры Т на изменение энтропии dS. При таком определении энтропия, будучи отношением теплоты (энергии) к температуре, имеет размерность Дж/К (Джоуль на Кельвин). Для простоты будем работать в системе единиц, где постоянная Больцмана k равна единице. В идеальном газе из N частиц давление p = (N/V)*T, E = 3/2 * N * T, поэтому
отсюда интегрированием получаем
Теперь давайте проведем мысленный эксперимент. Возьмем коробок объема V с "газом" из единственной частицы (N=1). Формально к ней неприменимы понятия температуры и давления, но за длительное время она случайным блужданием много раз ударится о стенки и в среднем будет вести себя как газ. Тогда p=T/V и при изотермическом процессе без подвода энергии
T * dS = p * dV = T * dV / V
т.е.
dS = dV / V
а значит
S = ln V + const = log2 (V/V0)
Т.е. энтропия изменяется как логарифм объема. В физике обычно используют натуральный логарифм и наты вместо битов, но в данном примере нагляднее с двоичным логарифмом. Теперь предположим, что мы перегородили коробок посередине, разделив на две одинаковых части. Наша частица окажется в одной из них с равной вероятностью P1=P2=1/2, неопределенность такого распределения H(P1, P2) = 1 бит. Допустим, каким-то измерением мы смогли узнать, в какой из половин находится частица. Тем самым мы получили 1 бит информации и получили такую же систему, как была до измерения, но объемом в два раза меньше, а значит с энтропией S2 = log2 (V/2V0) = log2 (V/V0) - log2(2) = S-1. Энтропия уменьшилась ровно на 1 бит. Повторяя этот эксперимент с различными разбиениями, мы увидим, что каждый раз энтропия будет уменьшаться на столько же бит, сколько будет извлечено информации при измерении.
Во второй половине 19-го века стала появляться статистическая термодинамика, где система рассматривалась не просто как нечто с общими параметрами, вроде температуры и давления, а как множество частиц со своими скоростями, массами и другими свойствами, и общие параметры вроде температуры и давления выводились из статистики свойств множества частиц. Когда Максвелл вывел распределение скоростей частиц, Гиббс нашел выражение, которое оказалось равно энтропии из классической термодинамики. Выглядело оно так:
Где Kb - постоянная Больцмана, а Pi - вероятность нахождения системы в микросостоянии i, сумма идет по всем возможным микросостояниям, имеющим заданные макросвойства (температура, давление, энергия...), т.е. соответствующим заданному макросостоянию. Пусть для текущего макросостояния таких возможных микросостояний W штук. Когда система находится в состоянии равновесия, все эти микросостояния равновероятны, поэтому Pi = 1/W и формула превращается в
S = k * log W
(эта формула высечена на могиле Больцмана)
С точки зрения теории информации формулу энтропии Гиббса можно проинтерпретировать следующим образом: энтропия системы есть мера нашего незнания/неопределенности относительно ее актуального микросостояния (с точностью до константы Больцмана). Если мы точно знаем ее микросостояние, то одна из Pi = 1, а остальные 0, и энтропия равна 0. Если мы точно знаем микросостояние в какой-то момент, а потом отпускаем систему в свободное плавание в состоянии равновесия, то за счет случайных флуктуаций распределение вероятностей будет "расползаться", через небольшое время она будет с большой вероятностью в микросостояниях близких к начальному, и с маленькой вероятностью в более дальних микросостояниях. Энтропия в этот момент будет ненулевой, но еще небольшой. С течением времени мы совсем потеряем представление, в каком из микросостояний находится система, все они станут равновероятными, и энтропия примет максимальное свое значение. Неудивительно, что очень часто энтропию называют мерой беспорядка.
Но как такая информационная и в некотором роде субъективная мера оказывается связана с потерей тепловой энергии, за которую изначально она должна отвечать? Интуитивно я себе это так представляю: чем больше данному макросостоянию соответствует различных микросостояний, тем больше можно совершить работы по переходу из одного микросостояния в другое, не меняя макросостояния. Туда-то и уходит часть тепловой энергии. Классический пример - таяние льда в стакане. То же самое количество частиц, та же температура, примерно тот же объем, но в жидком состоянии мы можем потратить на движение частиц и изменение их состояний гораздо больше энергии, сохраняя при этом внешние (макро) параметры вроде температуры и давления без изменений. Поэтому у воды больше энтропия и больше потери энергии на внутреннюю тепловую работу при той же температуре (dQ/T, определение энтропии в классической термодинамике).
Помимо термодинамики понятие энтропии можно встретить в квантовой механике. Там формула очень похожа:
где P - матрица плотности, а Tr - взятие ее следа.
Когда квантовая система находится в чистом состоянии (для которого существует измерение, однозначно его определяющее), квантовая энтропия равна нулю. Для смешанных же состояний (в частности, запутанных частиц), квантовая энтропия положительна и описывает степень запутанности или смешанности, вполне в духе меры неопределенности относительно того, в каком из чистых состояний окажется система при измерении.
Итак, что же после всего изложенного можно сказать об информации? Мы видим, что получение информации имеет место там, где присутствует некоторая неопределенность. Когда у получающего есть некоторая вероятностная модель, и результат измерения (очередной символ файла, физическое измерение, некоторое событие) не известен заранее со 100% вероятностью, тогда в момент разрешения этой неопределенности им получается некоторое количество информации. И количество ее, как видно из примера с энтропией частицы и как в частности подсказывает формула взаимной информации (I(X,X)=H(X)), соответствует степени неопределенности. Без получателя и его вероятностной модели, его картины мира мы ни о каком количестве извлекаемой информации говорить не можем, и потому без получателя никакие данные сами по себе информации не содержат. А количество информации и факт ее получения - это все, что ее определяет, все, что о ней можно сказать. Нет никакого физического объекта, который бы можно было назвать информацией. Поэтому разумнее всего считать, что слово информация, как и многие похожие по форме слова (телепортация, обфускация, левитация...), обозначает процесс, действие. Как телепортация = телепортирование, обфускация = обфусцирование, левитация = левитирование, так информация = информирование. И определить этот процесс можно как уменьшение/разрешение неопределенности.
