欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

双数组Trie树 Double-arrayTrie

程序员文章站 2022-04-17 21:27:42
...

Tire 树结构存在较大的数据稀疏,造成了空间浪费。Double-array结合了array查询效率高、list节省空间的优点,可以有效降低空间浪费,具体是通过两个数组base、check来实现。Trie树可以等同于一个自动机,状态为树节点的编号,边为字符。

  • base数组中每个元素对应trie中的一个节点即状态;
  • check数组表示的事某个状态的前驱状态,用来验证转移的有效性;
  • 两个数组满足如下转移方程:
    base[s] + c = t [1]
    check[t] = s [2]
    s 是当前状态下标 c 是输入字符的数值(或编码)。

double array trie 在构造时 base 数组中的值如何确定:

  1. 首先预处理需要构造的文件,将首字相同的词条排列在一起,首字不同的词条按照首字词条数两由大到小排列,首字相同的按照次字 UTF 编码有小到大排序,依次类推,形成有序的词条集合。 比如:“lie”、“人民”、“浙江”、“民生”,“like” ,排序后为:lie、like、人民、民生、浙江
'浙'.encode('utf-8') > '民'.encode('utf-8') > '人'.encode('utf-8')
True

在构造英文或中英文混合Double-array Trie 时英文可以使用 ACSII编码,如果以中文 UTF 编码作为输入数值的话,会造成树严重的稀疏;中文 ‘人’.encode('utf-8') 输出b'\xe4\xba\xba' 数值比较大,所以要对其进行重新编码:比如说所有字符从数字 1 开始递增编码;
就拿上面排序好的词条:lie、like、人民、民生、浙江 ----->> l -- 1, 人 -- 2, 民 -- 2, 浙 -- 4, i -- 5, 生 -- 6, 江 -- 7, e -- 8, k -- 9

构造 Double-array Trie字典时,初始化数组为0;根节点对应于0位置并且base和check都为0:

  • 首先确定所有词条深度为1(首字,‘中国’中深度1,国深度为2)的字符对应位置的base值;
  • 确定base值时要确保其后深度为2的字符都能存入数组;
  • 然后根据深度2的字符的编码来确定其对应的位置以及check值;
  • 以此类推确定2层base值,直至字符结束。

对上面已将编码的词条来确定其base和check值:

  • 确定四个首字符的对应的位置:
    根据上面状态转移公式 [1] 可以得出:base[0] + code[l] = 0 + 1base[0] + code[人] = 0 + 2 = 2base[0] + code[民] = 0 + 3 = 3base[0] + code[浙] = 0 + 4 = 4, 根据状态转移公式 [2] 可以得出:check[1] = check[2] = check[3] = check[4] = 0
s&t 0 1 2 3 4
base 0
check 0 0 0 0 0
l
  • 有了开头我们继续确定接下来的 base 和 check:
    • base[l] + code[i] = x + 5check[x + 5] = x,,取x=1,那么base[l] = 1check[1 + 5] = 1;
s&t 0 1 2 3 4 5 6
base 0 1
check 0 0 0 0 0 1
l li
    • base[人] + code[民] = x + 3check[x + 3] = x,check 位置0、1、2、3、4、6已经被用,那么x可以取 x = 2,那么 base[人] = 2 (base[2] = 2)check[2 + 3] = 2,此时人民已经组成了一个词条并且不是其他词条的前缀(在当前上下文中), 所以 base[5] = -5;
s&t 0 1 2 3 4 5 6
base 0 1 2 -5
check 0 0 0 0 0 2 1
l 人民 li
    • base[民] + code[生] = x + 6check[x + 6] = x, 可以取x = 1, 那么base[民] = 1check[1 + 6] = 3,注意 民生已经是一个词条了,并且不是其他词条的前缀,所以base[7] = -7
s&t 0 1 2 3 4 5 6 7
base 0 1 2 1 -5 -7
check 0 0 0 0 0 2 1 3
l 人民 li 民生
    • base[浙] + code[江] = x + 7check[x + 7] = x, 可以取x = 1, 那么base[浙] = 1check[1 + 7] = 4,注意 浙江已经是一个词条了,并且不是其他词条的前缀,所以base[8] = -8
s&t 0 1 2 3 4 5 6 7 8
base 0 1 2 1 1 -5 -7 -8
check 0 0 0 0 0 2 1 3 4
l 人民 li 民生 浙江
    • base[i] + code[e] = x + 8check[x + 8] = x, 可以取x = 1, 那么base[i] = 1check[1 + 9] = 6,注意 lie已经是一个词条了,并且不是其他词条的前缀,所以base[9] = -9
s&t 0 1 2 3 4 5 6 7 8 9
base 0 1 2 1 1 -5 1 -7 -8 -9
check 0 0 0 0 0 2 1 3 4 6
l 人民 li 民生 浙江 lie
    • base[i] + code[k] = 1 + 9check[1 + 9] = 6,这里base[i] 已知了;
s&t 0 1 2 3 4 5 6 7 8 9 10
base 0 1 2 1 1 -5 1 -7 -8 -9
check 0 0 0 0 0 2 1 3 4 6 6
l 人民 li 民生 浙江 lie lik
    • base[k] + code[e] = x + 8check[x + 8] = x,取x = 3,那么check[3 + 8] = 10, 注意 like已经是一个词条了,并且不是其他词条的前缀,所以base[11] = -11

最终:

s&t 0 1 2 3 4 5 6 7 8 9 10 11
base 0 1 2 1 1 -5 1 -7 -8 -9 3 -11
check 0 0 0 0 0 2 1 3 4 6 6 10
l 人民 li 民生 浙江 lie lik like

查找“人民”这个词为例:

状态转移公式:
base[s] + c = t [1]
check[t] = s [2]

t1 = base[0] + code[人] = 0 + 2 = 2
check[2] = 0并且base[2] !< 0,继续往下找;
base[2] + code[民] = 2 + 3 = 5, check[5] = 2并且base[5] < 0,所以人民这个词在Double-array Trie树中;
并且base[5] = -5 说明树中没有以人民为前缀的词,如果来查找人民大会堂就会查找失败;

参考文献

[1] 戴耿毅、佘静涛,基于双数组Trie树算法的字典改进和实现 2012

相关标签: Trie