词法分析器

• 输入: 由字符(ASCII码)组成的字符串
• 输出: token
• 任务: 读取输入, 并且按规则输出token
• token: 想简单点, 就是一个字符串和它的类型(比如说关键字, 变量名,非法字符串…)

所以说我们现在需要, read_char, skip_whitespace和next_token函数以及当前字符ch和下标left(position),right(read_position). 当然只有next_token是pub的.
next_token工作原理: 读取一个字符, 如果是空格就读取下一个char, 不是空格就判断该字符属于哪一种token(需要一个大match)来生成token.
接下来结合代码讲解next_token函数

pub fn next_token(&mut self) -> token::Token {
        let mut tok: token::Token;
        self.skip_whitespace(); //1.首先跳过空格
        match self.ch { //2.判断当前字符类型
            '=' => { //2.1赋值'='是还是等于'=='
                if self.peek_char() == '=' {
                    let ch = self.ch;
                    self.read_char();
                    tok = token::Token::new_with_string(token::EQ, {
                        let mut x = ch.to_string();