В данном случае идет работа в ASCII. Символ переводится в число, и это число используется в качестве индекса в таблице действий для данного состояния конечного автомата. В данном случае конец строки считается отдельным символом, чтобы можно было его включить в описание парсера, который бы решал позволителен тут конец строки или нет. Но можно так и не делать, а при доходе до конца строки заканчивать весь цикл и делать что-то еще - тут полная свобода реализации.

В случае юникода таблица получится сильно больше, и будет ли смысл в ее применении неясно - надо пробовать и смотреть на скорость.