Как чисто академическое упражнение, я пишу рекурсивный парсер спуска с нуля - без использования ANTLR или lex/yacc.
Я пишу простую функцию, которая преобразует математические выражения в их эквивалентные АСТ. У меня есть следующее:
// grammar
type expr =
| Lit of float
| Add of expr * expr
| Mul of expr * expr
| Div of expr * expr
| Sub of expr * expr
// tokens
type tokens =
| Num of float
| LParen | RParen
| XPlus | XStar | XMinus | XSlash
let tokenize (input : string) =
Regex.Matches(input.Replace(" ", ""), "\d+|[+/*\-()]")
|> Seq.cast<Match>
|> Seq.map (fun x -> x.Value)
|> Seq.map (function
| "+" -> XPlus
| "-" -> XMinus
| "/" -> XSlash
| "*" -> XStar
| "(" -> LParen
| ")" -> RParen
| num -> Num(float num))
|> Seq.to_list
Итак, tokenize "10 * (4 + 5) - 1"
возвращает следующий токен:
[Num 10.0; XStar; LParen; Num 4.0; XPlus; Num 5.0; RParen; XMinus; Num 1.0]
В этот момент я хотел бы сопоставить токен потока с его AST по отношению к приоритету оператора:
Sub(
Mul(
Lit 10.0
,Add(Lit 4.0, Lit 5.0)
)
,Lit 1.0
)
Однако я рисую пробел. Я никогда не писал парсер с нуля, и я даже не знаю, как начать.
Как преобразовать поток токенов в его представитель AST?