We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
acceleration_mode=Auto
ONNX Runtimeのセッション開始時にExecution Provider (EP)に問題がある(例: 正しいバージョンのCUDAが入ってないのにCUDA版を使おうとする)場合、現在の挙動ではそのままエラーになります。acceleration_mode=Gpu時ではこれは望ましい挙動です。
acceleration_mode=Gpu
ここでacceleration_mode=Auto時に限っては、EPに問題があった場合にエラーではなくCPUExecutionProviderにフォールバックするようにすることを提案します。
CPUExecutionProvider
#725 (comment)
AccelerationMode::Autoが"auto"らしくなる
AccelerationMode::Auto
Autoはデフォルトの値であり、VOICEVOX COREに初めて触れる人が選ぶ(というよりデフォルトのままにする)であろう値です。その役割が何なのかというと「その場で最適なEPを選択する」となると思います。CPUにフォールバックする方がこの役割に合致すると思います。
Auto
#725 の実装をベースに、acceleration_mode=Autoのときに限りort::SessionBuilder::with_execution_providerでEPを登録する。ortはCPUにフォールバックした旨をwarningレベルのログで教えてくれる。
ort::SessionBuilder::with_execution_provider
warning
https://github.com/pykeio/ort/blob/v2.0.0-rc.2/src/execution_providers/mod.rs#L229-L231
N/A
The text was updated successfully, but these errors were encountered:
良いと思います!!
ortはCPUにフォールバックした旨をwarningレベルのログで教えてくれる。
まさにこれ(フォールバック時はログを出す)を提案しようと思ってました・・・!
Sorry, something went wrong.
Successfully merging a pull request may close this issue.
内容
ONNX Runtimeのセッション開始時にExecution Provider (EP)に問題がある(例: 正しいバージョンのCUDAが入ってないのにCUDA版を使おうとする)場合、現在の挙動ではそのままエラーになります。
acceleration_mode=Gpu
時ではこれは望ましい挙動です。ここで
acceleration_mode=Auto
時に限っては、EPに問題があった場合にエラーではなくCPUExecutionProvider
にフォールバックするようにすることを提案します。#725 (comment)
Pros 良くなる点
AccelerationMode::Auto
が"auto"らしくなるAuto
はデフォルトの値であり、VOICEVOX COREに初めて触れる人が選ぶ(というよりデフォルトのままにする)であろう値です。その役割が何なのかというと「その場で最適なEPを選択する」となると思います。CPUにフォールバックする方がこの役割に合致すると思います。Cons 悪くなる点
実現方法
#725 の実装をベースに、
acceleration_mode=Auto
のときに限りort::SessionBuilder::with_execution_provider
でEPを登録する。ortはCPUにフォールバックした旨をwarning
レベルのログで教えてくれる。https://github.com/pykeio/ort/blob/v2.0.0-rc.2/src/execution_providers/mod.rs#L229-L231
VOICEVOXのバージョン
N/A
OSの種類/ディストリ/バージョン
その他
The text was updated successfully, but these errors were encountered: