Ну, в сжатии данных мы имеем дело только с конечными алфавитами. В принципе, в алгоритме PPM мы накапливаем статистику по встреченным символам и имеем специальный символ, отвечающий за еще не встреченные. В этом подходе размер алфавита не фиксирован, новые символы могут все появляться и появляться. Пока не упремся в ограничение по памяти. Энтропию в каждый момент можно вычислить через вероятности встреченных символов и оценку вероятности еще невстреченных.

Что же до вычисления энтропии и информации в физике, то в стат.физике и квантовой механике нередко подразумевают бесконечное число состояний и сумму по ним, но такой ряд должен сходиться. И обычно он сходится, т.к. распределение вероятностей по состояниям там подчиняется определенным законам, например, распределению Больцмана в стат.физике.