编译原理第三章——词法分析

一、词法分析总结

    词法分析的任务：

从左至右逐个字符的对源程序进行扫描，产生一个个的单词符号，

把作为字符串的源程序改造成为由单词符号串组成的程序。

    词法分析器是执行词法分析的程序。

    

输入：源程序 

    输出：单词符号。

二、词法分析器要求与设计

    源程序 -》à 词法分析器 -》à 单词符号

    1.单词符号：
指语言中具有独立意义的最小的语法符号

    

    2.单词的种类

       （1）基本字（保留字，关键字）

       （2）标识符

       （3）常数

       （4）运算符

       （5）界符

        词法分析器输出的单词符号常常用二元式来表示：

<单词种别，单词符号的属性值>

三、单词符号的识别

     1. 超前搜索 2. 直接分析法 3. 状态转换图法

四、正规式与正规集  

    正规集：具有相同特征的字放在一起组成一个集合正规集

    正规式

：使用一种形式化的方法来表示正规集

    注意：

    正规式是描述单词结构的一种形式     正规集是该类单词的全集

    正规式的性质:正规式的性质   即正规式的运算法则

    设U，V，W是上的∑正规式，则

    (1) U | V = V | U 或的交换律

    (2) U | ( V|W ) = ( U|V ) | W 或的结合律

    (3) U ( VW ) = ( UV ) W 连接积的结合律

    (4) U ( V | W ) = ( UV ) | ( UW ) 分配律

         ( V | W ) U = VU | WU

    (5) εU = Uε = U

五、确定的有限自动机（DFA）

    1.定义：一个确定有限自动机（DFA）M是一个五元式：
M = (S, ∑, f, s0, F)

    S是一个有限的状态集合，它的每个元素我们称为一个状态

    ∑是一个有穷的输入符号的字母表，它的每个元素我们称为一个输入字符

    f是从 S×∑ →S的单值部分映射

    s0是S的一个元素，为初始状态，它是唯一的

    状态集合F是终止状态的集合，它是S的子集(可空)

    2.DFA M的表示方法

    状态转换矩阵表示法(用一个“表”来表示)

    设矩阵的行表示状态，列表示输入字符，矩阵元素是f（s，a）的值

六、非确定的有限自动机(NFA)

    1.定义:一个非确定有限自动机（NFA）M是一个五元式

         M = (S, ∑, f, S0, F)

    2.NFA M表示方法

    (1) 用状态矩阵表示

    (2) 用状态转换图表示

七、正规式与有限自动机的等价性

    定理1：对于任何∑上NFA M都可构造一个∑上的正规式V，使得  L(V) = L(M) 

    定理2. 对于∑上的每一个正规式V，存在一个∑上的DFA M，使得L(M) = L(V)  

八、心得体会

    这一章的知识点明显细化，对比第二章，这一章的明显更加抽象化，讨论的主要问题也聚焦在词法分析上。词法分析就是将输入的程序识别成一个个具体的单词符号。可以通过有限自动机去构造词法分析器，也就是写程序，让程序去识别代码中的单词符号，并且要细化单词符号，顺序一般是由左到右。也可以采用工具去解决。

    单词的细化课本介绍了超前搜索，直接分析法和转态转换图法。最重要的就是状态转换图法。
这也是本章习题要用到的方法之一。将有限自动机和正则表达式结合，也就是简化dfa类型的题目是这章的难点。

九、课后习题