dict_slim
版本发布时间: 2020-01-08 20:53:37
houbb/sensitive-word最新发布版本:stopword_all(2020-01-08 16:12:48)
格式统一化
-
将所有的大写字母统一转换为小写
-
将所有的全角转换为半角
-
移除所有【空格】【符号】(这个就是各种符号的过滤了)
-
繁体字统一转换为简体字
最后保证信息的去重。
移除大量的信息
-
移除 QQ 号的类似数字
-
移除所有网址（.com、cn、.org）
-
移除纯英文
-
移除乱码
�
备份相关信息。
1、 dict.txt 2.67MB
2、 dict_format.txt 2.5MB
3、 dict_remove.txt 1.22MB