Да, в начале мы считали статистику по всему файлу, он должен был быть конечным. Но потом перешли к адаптивным методам, накоплению статистики по ходу. Там заранее все данные знать не надо, можно сжимать поступающий извне поток.