`metas`出力時に話者情報をマージする #728

qryxip · 2024-01-21T18:02:21Z

内容

次の2つにおいて、話者が分散しないようにします。

Synthesizer::metas
compatible engineのmetas()

~~また話者とスタイルを、次の値をキーとしてソートするようにします。~~

~~話者: 持っているスタイルのうち最小のスタイルID~~
~~スタイル: ID~~

(追記) このPR内での議論の結果、話者およびスタイルにorder: Option<u32>を持たせることにしました。

その他

qryxip · 2024-01-21T18:14:17Z

crates/voicevox_core/src/infer/status.rs

+                    && !loaded.eq_except_styles(external)
+            })
+        {
+            todo!("same `speaker_uuid` but different properties");


エラーを一つ増設するか悩みます。別に検査しなくてもいいような気がしますし。

どっちでもって感じかなと！
人為的なミスには気づきやすくなるので、実装があるならありがたいかもです。
todoが何するかわかってないのですが、エラー取り回し面倒という感じだと思うので、stderrにwarn吐くかpanicでも良いのかもとか思いました！

todo!はパニックを起こすものですが、これをやめてwarning止まりにするようにしました。

25a918c (#728)

qryxip · 2024-01-21T18:18:29Z

crates/voicevox_core/src/metas.rs

+pub fn merge<'a>(metas: impl IntoIterator<Item = &'a SpeakerMeta>) -> Vec<SpeakerMeta> {
+    metas
+        .into_iter()
+        .into_grouping_map_by(|speaker| &speaker.speaker_uuid)
+        .aggregate::<_, SpeakerMeta>(|acc, _, speaker| {
+            Some(
+                acc.map(|mut acc| {
+                    acc.styles.extend(speaker.styles.clone());
+                    acc
+                })
+                .unwrap_or_else(|| speaker.clone()),
+            )
+        })
+        .into_values()
+        .map(|mut speaker| {
+            speaker
+                .styles
+                .sort_unstable_by_key(|&StyleMeta { id, .. }| id);
+            speaker
+        })
+        .sorted_unstable_by_key(|SpeakerMeta { styles, .. }| {
+            styles.first().map(|&StyleMeta { id, .. }| id)
+        })
+        .collect()
+}


実装になんかコメントを付けようと考えましたが、別に要らないかも...

この関数の役割兼、何するかの１行ドキュメントくらいはあると道標になるかもとは思いました！
よくよく見直すと、単純なarrayのconcatenateなのか、何かをkeyにして名寄せするのかとかは関数名からじゃわからないかもです。
「同じ話者IDのものを集約しつつ結合」とか…？

（まぁ、多少知識があるとspeaker idで名寄せなのはすぐ想像できるので、なくても良いという方針でもあまり問題ないかなとも思います。）

書きました。
9d2b1a2 (#728)

Hiroshiba

あ、話者がVVMを跨ぐ場合のテストパターン増やしとくと安心かもとか思いました！
どのレイヤーでテストできるかパッとわからないのですが、もしVVMがもう一つ必要ならsampleのVVM複製してmetas書き換えればいける気がします。重いけど。

あるいはあとでモック挿せる形にして（Rustでどう実現するのか全く想像つかないですが…）、VoiceModel辺りのモック作ってからテスト実装でも良いかなとか思いました！

sevenc-nanashi · 2024-01-21T21:10:47Z

また話者とスタイルを、次の値をキーとしてソートするようにします。

話者: 持っているスタイルのうち最小のスタイルID

スタイル: ID

compatible engineでは切った方が良さそうです、というのもずんだもんがたしか2（あまあま）->0（ノーマル）->4（セクシー）->6（ツンツン）みたいな感じ（後半二つは自信ない）のStyleIdだった記憶があるので

Hiroshiba · 2024-01-21T21:42:42Z

あっ　ほんとですね。。。ソートがあると不自然な並びになるかもです。

modelディレクトリのファイルをバージョンソートしてvvmリストを作るとして、指定されたlistの順に後ろに足されていく感じだと合うと思います🙇

qryxip · 2024-01-22T11:44:42Z

今VVMの割り当てを見たのですが、VVMの順番をもって並び順を再現するのは少なくとも話者レベルでは厳しくないでしょうか？
(3.vvmが波音リツ, もち子さん, 中国うさぎという構成)

metas.jsonとかにspeaker_order: numberとstyle_orders: Map<number, number>を持たせるとかしないといけない気がします。

qryxip · 2024-01-22T11:54:58Z

あ、話者を今のPRの状態の

話者: 持っているスタイルのうち最小のスタイルID

みたいな方向にして、スタイルもVVM単位でまとめながら各styles[0].idだけソートのキーにするようにすれば上手くいく? (初期のあまあま事件を除けばtypeとstyle_idで降順になっていると期待できそうなので)

Hiroshiba · 2024-01-22T20:47:09Z

おおお。。ほんとですね。。
model_indexのマップ辺りが順番も持ってたのを失念していました。

順序に関してはスタイルIDの番号に依存せず持ってたいかもです。
スタイルIDにID以外の情報をなるべく持たせたくないので…。

あ、metas.jsonにorder持たせるのいいですね！！
思いつきませんでした。個人的にはそれで十分な気がします。
@y-chan にも意見聞きたみです。

qryxip · 2024-01-27T15:58:56Z

SpeakerMeta::{speaker_order,style_order}を導入しました。
178d5ac (#728)

あとmergeに対するユニットテストを一つ入れました。
e78dd4f (#728)

qryxip · 2024-01-27T16:02:25Z

おっと何もしていないのに壊れた的な...?
https://github.com/VOICEVOX/voicevox_core/actions/runs/7679657706/job/20930795908?pr=728

qryxip · 2024-01-27T16:16:16Z

あーーーー

-# This file is automatically @generated by Poetry 1.6.1 and should not be changed by hand.
+# This file is automatically @generated by Poetry 1.7.1 and should not be changed by hand.

qryxip · 2024-01-27T16:25:55Z

いや正確にはこっちか。Poetry 1.7.1は昨年11月に出てる。

@@ -808,6 +808,7 @@ files = [
     {file = "PyYAML-6.0.1-cp311-cp311-win_amd64.whl", hash = "sha256:bf07ee2fef7014951eeb99f56f39c9bb4af143d8aa3c21b1677805985307da34"},
     {file = "PyYAML-6.0.1-cp312-cp312-macosx_10_9_x86_64.whl", hash = "sha256:855fb52b0dc35af121542a76b9a84f8d1cd886ea97c84703eaa6d88e37a2ad28"},
     {file = "PyYAML-6.0.1-cp312-cp312-macosx_11_0_arm64.whl", hash = "sha256:40df9b996c2b73138957fe23a16a4f0ba614f4c0efce1e9406a184b6d07fa3a9"},
+    {file = "PyYAML-6.0.1-cp312-cp312-manylinux_2_17_aarch64.manylinux2014_aarch64.whl", hash = "sha256:a08c6f0fe150303c1c6b71ebcd7213c2858041a7e01975da3a99aed1e7a378ef"},
     {file = "PyYAML-6.0.1-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl", hash = "sha256:6c22bec3fbe2524cde73d7ada88f6566758a8f7227bfbf93a408a9d86bcc12a0"},
     {file = "PyYAML-6.0.1-cp312-cp312-musllinux_1_1_x86_64.whl", hash = "sha256:8d4e9c88387b0f5c7d5f281e55304de64cf7f9c0021a3525bd3b1c542da3b0e4"},
     {file = "PyYAML-6.0.1-cp312-cp312-win32.whl", hash = "sha256:d483d2cdf104e7c9fa60c544d92981f12ad66a457afae824d146093b8c294c54"},

qryxip · 2024-01-27T16:39:47Z

#735

sevenc-nanashi · 2024-01-27T23:11:42Z

crates/voicevox_core/src/metas.rs

+    fn key(order: Option<u32>) -> impl Ord {
+        order
+            .map(Into::into)
+            .unwrap_or_else(|| u64::from(u32::MAX) + 1)


一応、「style_orderにないスタイルは一番後ろに足していく」みたいなことを書いておいた方がいいかも？
あとスタイルIDを足すようにしておくと順番が変わるのを抑えられる気がします。

「style_orderにないスタイルは一番後ろに足していく」みたいなことを書いておいた方がいいかも？

mergeのdocstringに書いたやつでいいかなと思っています。

あとスタイルIDを足すようにしておくと順番が変わるのを抑えられる気がします。

無い/衝突した場合のフォールバック的な意味でしょうか? 私としてはそのような場合は元々の挿入順に対して安定ソートでいいかなと思っていたのですが、 @Hiroshiba どうしましょう?

mergeのdocstringに書いたやつでいいかなと思っています。

おっと、書いてありました（ごめんなさい）

無い/衝突した場合のフォールバック的な意味で

自分が意味したのは無い時のフォールバックですね。衝突時はそもそも原理的に起こらなさそう？

無い場合は元の順序にしましょう！
個人的には必須でも全然OKだと思います。ボイボはおそらく全部に付けるので。リリース前にミスに気づけるかもしれない。どっちでも！

衝突時も元の順序で良さそうかなと。
warn出るとちょっと嬉しいかも、くらい。（warn出すのどれくらい大変かわからずに言ってます 🙇 ）

VVMのロード時にwarn_diff_except_styles内でwarnするようにしています。マージ時にもう一度出す必要は無いかなと。

Hiroshiba

素晴らしいですね！！！！
相変わらずRustは型がしっかりしたコードが何でも書けて羨ましいです。

ちょっと１個設計周りでコメントしました！！

crates/voicevox_core/src/metas.rs

Hiroshiba

LGTM！！

@y-chan vvmからスタイルにorderが入るので共有です。
song系は300番始まりくらいにしようかとか考えてます。
ちょっと迷い中です。

qryxip added 2 commits January 22, 2024 02:59

metas出力時に話者情報をマージする

7d0aa00

スタイルもソートする

2b41763

qryxip commented Jan 21, 2024

View reviewed changes

qryxip mentioned this pull request Jan 21, 2024

同一話者に対してスタイルが複数のVVMにまたがった際にC API「metas」の情報が想定外のものとなる #727

Closed

3 tasks

Hiroshiba reviewed Jan 21, 2024

View reviewed changes

qryxip added 4 commits January 28, 2024 00:08

SpeakerMeta::{speaker_order,style_order}を導入

178d5ac

テストを追加

e78dd4f

mergeにdoc

9d2b1a2

話者情報が食い違うやつはwarning止まりにする

25a918c

qryxip requested review from Hiroshiba and sevenc-nanashi January 27, 2024 16:39

sevenc-nanashi approved these changes Jan 27, 2024

View reviewed changes

Merge branch 'main' into merge-speakers

d2f418d

Hiroshiba reviewed Feb 4, 2024

View reviewed changes

crates/voicevox_core/src/metas.rs Outdated Show resolved Hide resolved

StyleMeta自体にorderを持たせる

4061678

Hiroshiba approved these changes Feb 8, 2024

View reviewed changes

Merge branch 'main' into merge-speakers

75e55b2

qryxip merged commit 0f2c3b2 into VOICEVOX:main Feb 9, 2024
33 checks passed

qryxip deleted the merge-speakers branch February 9, 2024 14:10

sevenc-nanashi mentioned this pull request Apr 15, 2024

perf: 非同期処理を改良 VOICEVOX/voicevox#1973

Merged

sevenc-nanashi mentioned this pull request May 14, 2024

歌手のみのキャラクターがcharacterInfosの一番後ろに配置されてしまう VOICEVOX/voicevox#2079

Open

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

`metas`出力時に話者情報をマージする #728

`metas`出力時に話者情報をマージする #728

qryxip commented Jan 21, 2024 •

edited

Loading

qryxip Jan 21, 2024

Hiroshiba Jan 21, 2024 •

edited

Loading

qryxip Jan 27, 2024

qryxip Jan 21, 2024

Hiroshiba Jan 21, 2024 •

edited

Loading

qryxip Jan 27, 2024

Hiroshiba left a comment •

edited

Loading

sevenc-nanashi commented Jan 21, 2024 •

edited

Loading

Hiroshiba commented Jan 21, 2024 •

edited

Loading

qryxip commented Jan 22, 2024

qryxip commented Jan 22, 2024 •

edited

Loading

Hiroshiba commented Jan 22, 2024 •

edited

Loading

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024 •

edited

Loading

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024

sevenc-nanashi Jan 27, 2024

qryxip Jan 28, 2024

sevenc-nanashi Jan 28, 2024

Hiroshiba Feb 4, 2024

qryxip Feb 6, 2024

Hiroshiba left a comment

Hiroshiba left a comment •

edited

Loading

metas出力時に話者情報をマージする #728

metas出力時に話者情報をマージする #728

Conversation

qryxip commented Jan 21, 2024 • edited Loading

内容

関連 Issue

その他

Choose a reason for hiding this comment

Hiroshiba Jan 21, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba Jan 21, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

sevenc-nanashi commented Jan 21, 2024 • edited Loading

Hiroshiba commented Jan 21, 2024 • edited Loading

qryxip commented Jan 22, 2024

qryxip commented Jan 22, 2024 • edited Loading

Hiroshiba commented Jan 22, 2024 • edited Loading

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024 • edited Loading

qryxip commented Jan 27, 2024

qryxip commented Jan 27, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

`metas`出力時に話者情報をマージする #728

`metas`出力時に話者情報をマージする #728

qryxip commented Jan 21, 2024 •

edited

Loading

Hiroshiba Jan 21, 2024 •

edited

Loading

Hiroshiba Jan 21, 2024 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

sevenc-nanashi commented Jan 21, 2024 •

edited

Loading

Hiroshiba commented Jan 21, 2024 •

edited

Loading

qryxip commented Jan 22, 2024 •

edited

Loading

Hiroshiba commented Jan 22, 2024 •

edited

Loading

qryxip commented Jan 27, 2024 •

edited

Loading

Hiroshiba left a comment •

edited

Loading