-
-
Notifications
You must be signed in to change notification settings - Fork 63
Language russian
Category: Cyrillic Languages Script: Cyrillic
| Metric | Value |
|---|---|
| Average Score | 🟠 6.8/10 |
| Accuracy | 7.3/10 |
| Fluency | 6.9/10 |
| Style | 6.4/10 |
| Total Tests | 120 |
| Best Model | mistralai/mistral-medium-3.1 |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| mistralai/mistral-medium-3.1 | 🟡 8.2 | 8.4 | 7.8 | 7.8 |
| google/gemini-2.0-flash-001 | 🟡 8.2 | 8.2 | 8.2 | 7.6 |
| google/gemini-3-flash-preview | 🟡 8.2 | 8.2 | 8.2 | 7.4 |
| translategemma:27b | 🟡 8.2 | 8.5 | 8.3 | 7.4 |
| gemma3:27b | 🟡 7.6 | 7.8 | 7.6 | 7.0 |
| ministral-3:14b | 🟡 7.6 | 7.8 | 7.8 | 7.2 |
| gemma3:27b-it-qat | 🟡 7.4 | 7.6 | 7.4 | 7.2 |
| ministral-3 | 🟡 7.4 | 7.4 | 7.6 | 6.8 |
| translategemma:12b-it-q4_K_M | 🟡 7.4 | 7.8 | 7.4 | 6.8 |
| translategemma:27b-it-q8_0 | 🟡 7.4 | 7.6 | 7.6 | 6.6 |
| qwen3:30b | 🟡 7.2 | 7.6 | 7.4 | 6.6 |
| mistral-small:24b | 🟡 7.0 | 7.6 | 6.8 | 7.0 |
| gemma3:12b | 🟡 7.0 | 7.8 | 7.0 | 6.8 |
| qwen3:30b-instruct | 🟡 7.0 | 7.6 | 7.0 | 6.6 |
| translategemma:12b | 🟡 7.0 | 7.8 | 7.0 | 6.8 |
| qwen3:14b | 🟠 6.4 | 7.0 | 6.6 | 6.2 |
| gemma3:4b | 🟠 6.4 | 7.2 | 6.2 | 6.2 |
| translategemma:4b | 🟠 6.4 | 7.0 | 6.6 | 5.6 |
| translategemma:4b-it-q4_K_M | 🟠 6.4 | 6.6 | 6.6 | 5.4 |
| qwen3:8b | 🟠 6.0 | 7.0 | 6.0 | 5.8 |
| qwen3:4b | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| llama3.1:8b | 🔴 4.6 | 5.6 | 4.6 | 4.4 |
| llama3.2 | ⚫ 1.0 | 1.8 | 1.0 | 1.0 |
Model: translategemma:27b Score: 🟢 10.0/10
View Translation
Original (English):
Translation (Russian):
— Похоже, вы побывали в Афганистане, — заметил он. — Откуда вы узнали? — спросил я, поражённый. — Неважно, — ответил он, усмехаясь. — Сейчас вопрос в другом: речь идёт о гемоглобине. Несомненно, вы понимаете, какое значение имеет моё открытие? — С химической точки зрения это, безусловно, интересно, — ответил я, — но на практике… — Да как же! Это самое практичное медико-криминалистическое открытие за последние годы. Разве вы не понимаете, что оно даёт нам безошибочный способ определения наличия п
Evaluator Feedback:
The translation is exceptionally accurate and captures the formal yet sharp tone of the original characters. The choice of 'медико-криминалистическое' for 'medico-legal' is a precise and professional adaptation for the Russian context.
Model: translategemma:27b Score: 🟢 9.5/10
View Translation
Original (English):
Translation (Russian):
Всем известно, что одинокий мужчина, обладающий состоянием, непременно нуждается в жене. И хотя чувства и намерения такого мужчины могут быть совершенно неизвестны окружающим, когда он впервые появляется в каком-либо районе, эта истина настолько прочно укоренилась в сознании местных семей, что он считается законной добычей для одной из их дочерей.
Evaluator Feedback:
The translation is exceptionally accurate and fluent, capturing the dry irony of the original. The choice of 'законной добычей' for 'rightful property' is a clever stylistic adaptation that preserves Austen's predatory undertones in a natural Russian idiom.
Model: ministral-3:14b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Russian):
Это общеизвестная истина, что человек, обладающий значительным состоянием, непременно должен искать себе жену. Как бы ни были скрыты его чувства и взгляды при первом появлении в новой местности, эта истина так прочно укоренилась в умах окружающих семей, что он сразу же считается законной добычей одной из их дочерей.
Evaluator Feedback:
The translation faithfully preserves Austen's ironic opening with excellent semantic fidelity, capturing the satirical tone through phrases like 'законной добычей' (rightful property/prey). The prose flows naturally in Russian with period-appropriate formality, though 'сразу же' adds slight immediacy not present in the original.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 9 | 7.5% |
| 🟡 Good (7-8) | 75 | 62.5% |
| 🟠 Acceptable (5-6) | 28 | 23.3% |
| 🔴 Poor (3-4) | 3 | 2.5% |
| ⚫ Failed (1-2) | 5 | 4.2% |