这个疫情整的,胖了好几斤~ 因为最近业务非常繁忙,系统迭代的非常快,手中需求已经排到2个月后了,所以NLP相关知识产出缓慢,浩姐又不让我占用工作时间,我&%¥#%%……& 上次文章简单总结了一下NLP相关的知识。具体到实际的中文NLP还是有些不同的。写篇文章总结一波。 中文NLP语料预处理的四个步骤 中文分词 – Chinese Word Segmentation 三大难点 没有统计的标准 歧义如何切分 新词如何识别 三种典型的分词方式 常见的分词器都是使用机器学习算法和词典相结合,一方面能够提高分…