🔥 不要だったお正規化処理を削除いたしましたわ 🔥

ojosama.go

@@ -45,18 +45,6 @@ func init() {
 // opt は挙動を微調整するためのオプショナルなパラメータ。不要であれば nil を渡せ
 // ば良い。
 func Convert(src string, opt *ConvertOption) (string, error) {
-	// 正規化
-	// ！？だと「！」と「？」に分割されるが
-	// ！？!?❗❓とかだと、1つのサ変接続として解釈されてしまう。
-	// この辺の文字のばらつきで処理がばらつくのが面倒なので
-	// 形態素解析するまえに表記ゆれを統一してしまう。
-	src = strings.ReplaceAll(src, "!", "！")
-	src = strings.ReplaceAll(src, "?", "？")
-	src = strings.ReplaceAll(src, "❗", "！")
-	src = strings.ReplaceAll(src, "❓", "？")
-	src = strings.ReplaceAll(src, "‼", "！！")
-	src = strings.ReplaceAll(src, "⁉", "！？")
-
 	t, err := tokenizer.New(ipa.Dict(), tokenizer.OmitBosEos())
 	if err != nil {
 		return "", err

ojosama_test.go

@@ -515,6 +515,13 @@ func TestConvert(t *testing.T) {
 			},
 			wantErr: false,
 		},
+		{
+			desc:    "正常系: 意味のない文章のテストですわ",
+			src:     "あ！い❓❗う",
+			want:    "あ！い❓❗う",
+			opt:     nil,
+			wantErr: false,
+		},
 	}
 
 	for _, tt := range tests {