Ну, в сжатии данных мы имеем дело только с конечными алфавитами. В принципе, в алгоритме PPM мы накапливаем статистику по встреченным символам и имеем специальный символ, отвечающий за еще не встреченные. В этом подходе размер алфавита не фиксирован, новые символы могут все появляться и появляться. Пока не упремся в ограничение по памяти. Энтропию в каждый момент можно вычислить через вероятности встреченных символов и оценку вероятности еще невстреченных.
Что же до вычисления энтропии и информации в физике, то в стат.физике и квантовой механике нередко подразумевают бесконечное число состояний и сумму по ним, но такой ряд должен сходиться. И обычно он сходится, т.к. распределение вероятностей по состояниям там подчиняется определенным законам, например, распределению Больцмана в стат.физике.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
no subject
Date: 2011-09-17 03:33 am (UTC)Что же до вычисления энтропии и информации в физике, то в стат.физике и квантовой механике нередко подразумевают бесконечное число состояний и сумму по ним, но такой ряд должен сходиться. И обычно он сходится, т.к. распределение вероятностей по состояниям там подчиняется определенным законам, например, распределению Больцмана в стат.физике.