v2.1.0

- 文字コードの自動判定アルゴリズムを改善。

Author: natade-jp

HISTORY.md

@@ -1,5 +1,10 @@
 # History
 
+## v2.1.0
+
+### 機能改善
+- 文字コードの自動判定アルゴリズムを改善。
+
 ## v2.0.0
 
 ### 仕様変更

build/mojijs.mjs.js build/esm/index.js

@@ -10,6 +10,9 @@
 
 /**
  * Unicode を扱うクラス
+ * 
+ * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
+ * @deprecated
  */
 class Unicode {
 
@@ -587,6 +590,9 @@ class Unicode {
 
 /**
  * Shift_JIS を扱うクラス
+ * 
+ * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
+ * @deprecated
  */
 class SJIS {
 
@@ -595,6 +601,7 @@ class SJIS {
 	 * @param {String} text - 変換したいテキスト
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {{encode : Array<number>, ng_count : number}} Shift_JIS のデータが入った配列
+	 * @ignore
 	 */
 	static toSJISArray(text, unicode_to_sjis) {
 		const map = unicode_to_sjis;
@@ -624,6 +631,7 @@ class SJIS {
 	 * @param {String} text - 変換したいテキスト
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {Array<number>} Shift_JIS のデータが入ったバイナリ配列
+	 * @ignore
 	 */
 	static toSJISBinary(text, unicode_to_sjis) {
 		const sjis = SJIS.toSJISArray(text, unicode_to_sjis).encode;
@@ -645,6 +653,7 @@ class SJIS {
 	 * @param {Array<number>} sjis - 変換したいテキスト
 	 * @param {Object<number, number|Array<number>>} sjis_to_unicode - Shift_JIS から Unicode への変換マップ
 	 * @returns {{decode : String, ng_count : number}} 変換後のテキスト
+	 * @ignore
 	 */
 	static fromSJISArray(sjis, sjis_to_unicode) {
 		const map = sjis_to_unicode;
@@ -704,6 +713,7 @@ class SJIS {
 	 * @param {String} text - カウントしたいテキスト
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {Number} 文字の横幅
+	 * @ignore
 	 */
 	static getWidthForSJIS(text, unicode_to_sjis) {
 		return SJIS.toSJISBinary(text, unicode_to_sjis).length;
@@ -717,6 +727,7 @@ class SJIS {
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @param {Object<number, number|Array<number>>} sjis_to_unicode - Shift_JIS から Unicode への変換マップ
 	 * @returns {String} 切り出したテキスト
+	 * @ignore
 	 */
 	static cutTextForSJIS(text, offset, size, unicode_to_sjis, sjis_to_unicode) {
 		const sjisbin = SJIS.toSJISBinary(text, unicode_to_sjis);
@@ -786,6 +797,7 @@ class SJIS {
 	 * @param {Number} unicode_codepoint - Unicodeのコードポイント
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {Number} 符号化数値(変換できない場合はnullとなる)
+	 * @ignore
 	 */
 	static toSJISCodeFromUnicode(unicode_codepoint, unicode_to_sjis) {
 		if(!unicode_to_sjis[unicode_codepoint]) {
@@ -879,6 +891,7 @@ class SJIS {
 	 * @param {Number} unicode_codepoint - Unicodeのコードポイント
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS-2004 への変換マップ
 	 * @returns {MenKuTen} 面区点番号(存在しない場合（1バイトのJISコードなど）はnullを返す)
+	 * @ignore
 	 */
 	static toMenKuTenFromUnicode(unicode_codepoint, unicode_to_sjis) {
 		if(!unicode_to_sjis[unicode_codepoint]) {
@@ -975,6 +988,7 @@ class SJIS {
 	 * @param {MenKuTen|string} menkuten - 面区点番号
 	 * @param {Object<number, number|Array<number>>} sjis_to_unicode - Shift_JIS-2004 から Unicode への変換マップ
 	 * @returns {Array<number>} UTF-32の配列(存在しない場合はnullを返す)
+	 * @ignore
 	 */
 	static toUnicodeCodeFromMenKuTen(menkuten, sjis_to_unicode) {
 		const sjis_code = SJIS.toSJIS2004CodeFromMenKuTen(menkuten);
@@ -1055,6 +1069,7 @@ class SJIS {
 	 * @param {Number} unicode_codepoint - Unicodeのコードポイント
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {Object} 面区点番号(存在しない場合（1バイトのJISコードなど）はnullを返す)
+	 * @ignore
 	 */
 	static toKuTenFromUnicode(unicode_codepoint, unicode_to_sjis) {
 		if(!unicode_to_sjis[unicode_codepoint]) {
@@ -1081,6 +1096,7 @@ class SJIS {
 	 * @param {MenKuTen|string} kuten - 区点番号
 	 * @param {Object<number, number|Array<number>>} sjis_to_unicode - Shift_JIS-2004 から Unicode への変換マップ
 	 * @returns {Array<number>} UTF-32の配列(存在しない場合はnullを返す)
+	 * @ignore
 	 */
 	static toUnicodeCodeFromKuTen(kuten, sjis_to_unicode) {
 		const sjis_code = SJIS.toSJISCodeFromKuTen(kuten);
@@ -1162,6 +1178,7 @@ class SJIS {
 	 * @param {Number} unicode_codepoint - Unicodeのコードポイント
 	 * @param {Object<number, number>} unicode_to_sjis - Unicode から Shift_JIS への変換マップ
 	 * @returns {Number} -1...変換不可, 0...水準なし, 1...第1水準, ...
+	 * @ignore
 	 */
 	static toJISKanjiSuijunFromUnicode(unicode_codepoint, unicode_to_sjis) {
 		if(!unicode_to_sjis[unicode_codepoint]) {
@@ -2610,6 +2627,9 @@ CP932MAP.unicode_to_cp932_map = null;
 
 /**
  * CP932, Windows-31J を扱うクラス
+ * 
+ * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
+ * @deprecated
  */
 class CP932 {
 
@@ -4256,6 +4276,9 @@ SJIS2004MAP.unicode_to_sjis2004_map = null;
 
 /**
  * Shift_JIS-2004 を扱うクラス
+ * 
+ * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
+ * @deprecated
  */
 class SJIS2004 {
 
@@ -4438,6 +4461,9 @@ class EUCJPTools {
 
 /**
  * EUC-JP を扱うクラス
+ * 
+ * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
+ * @deprecated
  */
 class EUCJP {
 
@@ -4533,6 +4559,49 @@ class EncodeTools {
 		return charset;
 	}
 
+	/**
+	 * 同一の種別の文字列の重なりをカウントする
+	 * @param {Array<number>} utf32_array 
+	 * @returns {number} 
+	 */
+	static countWord(utf32_array) {
+		let count = 0;
+		let type = 0;
+		let old_type = -1;
+		for(let i = 0; i < utf32_array.length; i++) {
+			const ch = utf32_array[i];
+			// a-zA-Z
+			if(((0x41 <= ch) && (ch <= 0x5A)) || ((0x61 <= ch) && (ch <= 0x6A))) {
+				type = 1;
+			}
+			// 0-9
+			else if((0x30 <= ch) && (ch <= 0x39)) {
+				type = 2;
+			}
+			// ぁ-ん
+			else if((0x3041 <= ch) && (ch <= 0x3093)) {
+				type = 3;
+			}
+			// ァ-ン
+			else if((0x30A1 <= ch) && (ch <= 0x30F3)) {
+				type = 4;
+			}
+			// CJK統合漢字拡張A - CJK統合漢字, 追加漢字面
+			else if(((0x3400 <= ch) && (ch < 0xA000)) || ((0x20000 <= ch) && (ch < 0x2FA20))) {
+				type = 5;
+			}
+			else {
+				old_type = -1;
+				continue;
+			}
+			if(type === old_type) {
+				count++;
+			}
+			old_type = type;
+		}
+		return count;
+	}
+
 }
 
 /**
@@ -4605,28 +4674,46 @@ class Encode {
 					return Unicode.fromUTF32Array(ret);
 				}
 			}
-			// 有名な文字コードで試していく
-			// UTF-8
+			// 有名な文字コードで試す
+			let max_data = "";
+			let max_count = -1;
+			// Shift_JIS
 			{
-				const text = Unicode.fromUTF32Array(Unicode.toCodePointFromUTFBinary(binary, "utf-8"));
-				if(CP932.toCP932Array(text).ng_count === 0) {
-					return text;
+				const text = CP932.fromCP932Array(binary).decode;
+				const count = EncodeTools.countWord(Unicode.toUTF32Array(text));
+				if(max_count < count) {
+					max_data = text;
+					max_count = count;
 				}
 			}
-			// UTF-16LE
+			// EUC-JP-2004
 			{
-				const text = Unicode.fromUTF32Array(Unicode.toCodePointFromUTFBinary(binary, "utf-16"));
-				if(CP932.toCP932Array(text).ng_count === 0) {
-					return text;
+				const text = EUCJP.fromEUCJIS2004Binary(binary).decode;
+				const count = EncodeTools.countWord(Unicode.toUTF32Array(text));
+				if(max_count < count) {
+					max_data = text;
+					max_count = count;
 				}
 			}
-			// Shift_JIS
+			// UTF-8
+			{
+				const utf32 = Unicode.toCodePointFromUTFBinary(binary, "utf-8");
+				const count = EncodeTools.countWord(utf32);
+				if(max_count < count) {
+					max_data = Unicode.fromUTF32Array(utf32);
+					max_count = count;
+				}
+			}
+			// UTF-16LE
 			{
-				const text = CP932.fromCP932Array(binary);
-				if(text.ng_count === 0) {
-					return text.decode;
+				const utf32 = Unicode.toCodePointFromUTFBinary(binary, "utf-16");
+				const count = EncodeTools.countWord(utf32);
+				if(max_count < count) {
+					max_data = Unicode.fromUTF32Array(utf32);
+					max_count = count;
 				}
 			}
+			return max_data;
 		}
 		return null;
 	}
@@ -6953,39 +7040,54 @@ class MojiJS {
 
 	/**
 	 * Unicode専用の内部関数を利用する
+	 * 
+	 * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
 	 * @returns {typeof Unicode}
+	 * @deprecated
 	 */
 	static get Unicode() {
 		return Unicode;
 	}
 
 	/**
 	 * Shift_JIS専用の内部関数を利用する
+	 * 
+	 * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
 	 * @returns {typeof SJIS}
+	 * @deprecated
 	 */
 	static get SJIS() {
 		return SJIS;
 	}
 
 	/**
 	 * CP932専用の内部関数を利用する
+	 * 
+	 * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
 	 * @returns {typeof CP932}
+	 * @deprecated
 	 */
 	static get CP932() {
 		return CP932;
 	}
 
 	/**
 	 * Shift_JIS-2004専用の内部関数を利用する
+	 * 
+	 * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
 	 * @returns {typeof SJIS2004}
+	 * @deprecated
 	 */
 	static get SJIS2004() {
 		return SJIS2004;
 	}
 
 	/**
 	 * EUC-JP専用の内部関数を利用する
+	 * 
+	 * 内部処理用の関数のため変更する可能性が高く、直接利用することをお勧めしません。
 	 * @returns {typeof EUCJP}
+	 * @deprecated
 	 */
 	static get EUCJP() {
 		return EUCJP;