fix(tn): 全角数字 (#157)

wenet-e2e · Nov 15, 2023 · 2c0e38f · 2c0e38f
1 parent 3d3cb80
commit 2c0e38f
Show file tree

Hide file tree

Showing 5 changed files with 24 additions and 1 deletion.
diff --git a/tn/chinese/data/number/digit.tsv b/tn/chinese/data/number/digit.tsv
@@ -7,3 +7,12 @@
 7	七
 8	八
 9	九
+１	一
+２	二
+３	三
+４	四
+５	五
+６	六
+７	七
+８	八
+９	九
diff --git a/tn/chinese/data/number/teen.tsv b/tn/chinese/data/number/teen.tsv
@@ -7,3 +7,12 @@
 7	七
 8	八
 9	九
+１	
+２	二
+３	三
+４	四
+５	五
+６	六
+７	七
+８	八
+９	九
diff --git a/tn/chinese/data/number/zero.tsv b/tn/chinese/data/number/zero.tsv
@@ -1 +1,2 @@
 0	零
+０	零
diff --git a/tn/chinese/rules/cardinal.py b/tn/chinese/rules/cardinal.py
@@ -34,7 +34,7 @@ def build_tagger(self):
         sign = string_file('tn/chinese/data/number/sign.tsv')
         dot = string_file('tn/chinese/data/number/dot.tsv')
 
-        rmzero = delete('0')
+        rmzero = delete('0') | delete('０')
         rmpunct = delete(',').ques
         digits = zero | digit
         self.digits = digits

diff --git a/tn/chinese/test/data/normalizer.txt b/tn/chinese/test/data/normalizer.txt
@@ -42,3 +42,7 @@ B2B => B to B
 当场票数≥100万 => 当场票数大于等于一百万
 独得300w张 => 独得三百万张
 面积是10km² => 面积是十平方千米
+仅仅是２０１５年 => 仅仅是二零一五年
+包含３０００余件 => 包含三千余件
+查处４５０余名 => 查处四百五十余名
+查处450余名 => 查处四百五十余名
-Original file line number
+Diff line change
@@ Expand Up / @@ -7,3 +7,12 @@ @@
 	七
 	八
 	九
+    １	一
+    ２	二
+    ３	三
+    ４	四
+    ５	五
+    ６	六
+    ７	七
+    ８	八
+    ９	九