Pzz>Если грамматика задана просто перечислением возможных лексем, это тривиальный случай.
итого, собственно, токенайзер + вместо рекурсивного обхода — построение сразу всех цепочек.
но имеем более сложный алгоритм, аллокации и сомнительный выигрыш на коротких словах.
Веру-ю-у! В авиацию, в научную революци-ю-у, в механизацию сельского хозяйства, в космос и невесомость! Веру-ю-у! Ибо это объективно-о! (Шукшин)