LEMON源码分析笔记——压缩分析表

LEMON源码分析笔记——压缩分析表

2011-4-1
陕师大长安区
小雨
在几乎没有注释的情况下分析此段代码，是一件令人头疼的事！分析表本来是一个二维数组。为了节省空间，LEMON对分析表进行了巧妙的压缩。

压缩过程
一、
线性化二维表
分析表的行标为状态，列标为文法符号的编号。假设有m个状态，与n个文法符号。则每个状态对应一个长度为n的一维数组，这里把它叫状态数组，分析表为二维数组：

S0 S1 Sm-1	D0	…	Dn-1
D0	…	Dn-1
…	…	…
D0	…	Dn-1

压缩最后要得到一个一维数组。这里称之为线性表。压缩第一步将二维数组线性代。

S0 S2 … Sm-1
D0	…	Dn-1	D0	…	Dn-1	…	D0	…	Dn-1

二、
削两端

状态数组存放的是可接收文法符号的动作。显然，状态不可能一定能接收所有文法符号。也就是说状态数组中，可能有没有动作的元素，这里称之为空档（嗜打球，惯用空档一词，呵呵）。削两端的意思是，在状态数组并入线性表之前，削去两端空档。要注意的时，中间还可能存在空档。
比如某一状态数组如下，蓝色表示已经存放了动作，白的表示空档。

削去两端之后为:

削去两端之后，带来索引麻烦是显然的。经过第三步处理之后，我们才着手解决这个问题。
三、
犬牙交错或融入其中

削完两端之后，每个状态数组中依然可能存在着空档。不能让这些空档在那耗着呀。为了利用这些空档，在状态数组依次并入过程中，如果存在一个块区域，其中的空档可以放入削去两端后的状态数组，那么这个数组就放入这块区域，使得状态数组之间形成犬牙交错的状态。

下面是并入过程中，线性表的某一状态

null

null

null

此时要加入前面示例中的状态数组，此时标有null的区域刚好可以放下并入数组，于是并入此区域。

若当状态为：

V

V

V

若标有V字样的区域与待并入状态数组完全一致，就将状态数组融入其中。

问题及解决方案
一、
从何下手
削去了状态数组两端空档后，将状态将如何索引线性表呢？用一个变量mnLookahead记下状态数组前端削去的空档个数。再记下状态数组插入点的位置i，那么状态数组中的元素在线性表中就从i-mnLookahead数起了。可以将这个偏移量i-mnLookahead作为状态的属性。当要在线性表中索引状态数组文法符号j的动作时，只需将j加上状态偏移量作索引即可。
二、
来者不拒
状态数组中的空档并不是没有用的，空档表示文法符号不被状态接收。于是状态数组中的空档不占用则罢了，一旦被占用，万一碰到被占用空档所对应文法符号，岂不是误解成可接收符号！导致一些本来状态拒绝的文法符号被接收了。解决的方法是，在动作中增加一个属性——lookahead。用来表示该动作处理文法符号的编号。这个属性在没有压缩的二维表中是没须要的。因为动作的索引号就是文法符号的编号。当任取一个文法符号j塞给一状态时，可以由状态取得偏移量，再加上文法符号编号，再到线性表中索引得动作，若动作的lookahead域与j不同，说明这个位置不是此状态赋值的，是由别的状态填入的。这个文法符号是不能接收的。每次“问取”某个文法符号动作时，都会进行这样的判断，下面是yy_find_reduce_action中的一个语句：

assert(
yy_lookahead[i]==iLookAhead );
问题还是显然的，万一别的状态填入的动作的lookahead也跟j一样，那么不一样出错吗？
三、
鸠占鹊巢
自家的空档被它人占用了，别人还假冒成自家人，这是新问题所在。
先看看状态数组融入线性表中的情况。融入不会对已经并入线性表中的元素产生任何影响，因为没有添加任何新元素，也就不可能占用别人家的空档。此时需要考虑的是，没有没可能被线性表已有的动作占了自己的空档。查找线性表中，是否还有动作会被当成自己人，只要有，那就不能融入，换个位置再试。
这段代码反映了这个事实（acttab_insert函数中）：

for(j=0;
j<p->nAction;
j++)

{

if( p->aAction[j].lookahead<0 )
continue;

if( p->aAction[j].lookahead==j+p->mnLookahead-i
) n++; }

if( n==p->nLookahead )

{

break; /* Same as a prior transaction set */

}
以犬牙交错方式嵌入时，是考虑的是自己是否会破坏线性表，还是线性表是否会欺骗自己呢？如果考虑自己是否会破坏线性表的话，你将会不堪其扰。因为你得为前面并入的每个状态数组考虑。于是，我们转向考虑，线性表是否会有动作欺骗自己。若有的话，换下一个位置试试。但这样做，对已并入状态是否会产生影响呢？答案是否定的。因为若新来状态数组中有一个位置占用并欺骗了另一个状态数组。那么这两个状态一定重叠，也就是新状态一定不会挑中这个位置的。所以新状态数组不可能欺骗到线性表中已有的任何一个状态数组。
关键源码如下（acttab_insert函数中）：

for(j=0;
j<p->nAction;
j++)

{

if( p->aAction[j].lookahead==j+p->mnLookahead-i
) break;

}

if( j==p->nAction )

{

break; /* Fits in empty slots */

}
最头疼的莫过于这句话：

p->aAction[j].lookahead==j+p->mnLookahead-i
这块代码就就连《LEMON语法分析生成器源代码情景分析》作者虞森林，也没有解释好，还说是作者留下的“盲肠”。这句话其实是在判断线性表中是否有会欺骗状态数组的动作。这样写可能好理解一些：
yy_lookahead[i-p->mnLookahead+k]==k//状态数组的第k个元素是k的话就会有欺骗
但要遍历的不是状态数组呀，而是线性表。于是作一个“简单的”变量替换：
令j = i-p->mnLookahead+k则k
= j+p->mnLookahead-i，再代入上式，不就明白了吗？
好一个变量替换，整整弄了两天才想通。看来代数确实推动了数学的发展，这么
“复杂”的问题用几个式子就搞定了。