文本去重工具

平哥 · 发表于 2025-5-8 23:45:13

最近在做字模时，使用PyQt5做了一个字符去重工具，方便追加语言时使用，现分享给大家，有需要的自取试用~~

界面如下：

功能演示：
选择需要去重的文本（仅支持utf-8格式）后，点击开始去重按钮，提示去重完成，打开去重后的文件即可。
下载 (1).png

原文和去重后的对比图如下：
下载 (2).png

可以看到原文出现多个“一”，去重后仅有一个，且按照unicode的大小进行排序。
使用该文件，可以在制作字模时，方便追加字库。
还有一个选项是否删除Basic Latin，勾上，就会把uinocde值小于128也就是Basic Latin字符删除。不选中，就默认全部参与去重，可以根据需要设置。

平哥 · 发表于 2025-5-8 23:52:26

粘贴的图片没有显示出来谁知道怎么弄一下

eric2013 · 发表于 2025-5-9 01:18:16

平哥发表于 2025-5-8 23:52
粘贴的图片没有显示出来谁知道怎么弄一下

谢谢楼主分享，已经让论坛管理员把图片上传上去。

平哥 · 发表于 2025-5-9 08:40:38

eric2013 发表于 2025-5-9 01:18
谢谢楼主分享，已经让论坛管理员把图片上传上去。

jackhbkarm · 发表于 2025-5-9 08:57:17

感谢分享

平哥 · 发表于 2025-5-9 09:03:06

jackhbkarm 发表于 2025-5-9 08:57
感谢分享

欢迎试用如遇到问题可以找我

		自动登录	找回密码
密码			立即注册

[辅助工具] 文本去重工具