Python自然语言处理之词干,词形与最大匹配算法代码详解
本文主要对词干提取及词形还原以及最大匹配算法进行了介绍和代码示例,Python实现,下面
最大匹配算法主要包括正向最大匹配算法、逆向最大匹配算法、双向匹配算法等。 其主要原理都是切分出单字串,然后和词库进行比对,如果是一个词就记录下来, 否则通过增加或者减少一个单字,继续比较,一直还剩下一个单字则终止,如果该单字串无法切分,则作为未登录处理。...
本文主要对词干提取及词形还原以及最大匹配算法进行了介绍和代码示例,Python实现,下面