Да, в этом случае новая порция данных может быть весьма неожиданной. Все зависит от модели: к получению новых символов нужно заранее быть готовым и какую-то ненулевую вероятность им отводить. Причем, технически новые символы будут первое время нести больше информации, т.к. неопределенность их велика, мы о них мало знаем, пока не наберем статистику.