-
-
Notifications
You must be signed in to change notification settings - Fork 65
Language hindi
Category: Asian Languages Script: Devanagari
| Metric | Value |
|---|---|
| Average Score | 🟠 5.8/10 |
| Accuracy | 6.7/10 |
| Fluency | 5.8/10 |
| Style | 5.4/10 |
| Total Tests | 130 |
| Best Model | google/gemini-3-flash-preview |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-3-flash-preview | 🟡 7.4 | 7.8 | 7.0 | 7.2 |
| google/gemini-2.0-flash-001 | 🟡 7.0 | 7.8 | 6.8 | 6.8 |
| gemma3:27b | 🟠 6.8 | 7.8 | 6.8 | 6.6 |
| mistralai/mistral-medium-3.1 | 🟠 6.8 | 7.8 | 6.8 | 7.0 |
| translategemma:27b | 🟠 6.8 | 7.4 | 7.1 | 6.3 |
| gemma3:27b-it-qat | 🟠 6.6 | 7.6 | 6.6 | 6.4 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.6 | 6.2 |
| translategemma:12b | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| translategemma:27b-it-q8_0 | 🟠 6.6 | 7.4 | 6.6 | 6.2 |
| qwen3:30b | 🟠 6.4 | 7.2 | 6.4 | 6.2 |
| gemma3:12b | 🟠 6.4 | 7.4 | 6.4 | 6.2 |
| translategemma:12b-it-q4_K_M | 🟠 6.2 | 7.2 | 6.2 | 6.0 |
| qwen3.5:35b | 🟠 6.2 | 7.2 | 6.2 | 5.4 |
| qwen3:30b-instruct | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| mistral-small:24b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| translategemma:4b-it-q4_K_M | 🟠 5.6 | 6.4 | 5.6 | 5.0 |
| qwen3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.2 |
| gemma3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.0 |
| translategemma:4b | 🟠 5.4 | 6.4 | 5.4 | 4.8 |
| qwen3:14b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| ministral-3 | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| qwen3:8b | 🔴 4.0 | 5.0 | 4.0 | 3.4 |
| llama3.1:8b | 🔴 3.8 | 4.8 | 3.8 | 3.4 |
| qwen3.5:9b | 🔴 3.8 | 4.6 | 3.8 | 3.0 |
| llama3.2 | ⚫ 2.6 | 3.4 | 2.6 | 2.6 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Hindi):
“मुझे लगता है कि आप अफगानिस्तान में रहे हैं।” “आपने यह कैसे जाना?” मैंने आश्चर्य से पूछा। “कोई बात नहीं,” उसने मुस्कुराते हुए कहा। “अब सवाल हीमोग्लोबिन के बारे में है। क्या आप मेरी इस खोज के महत्व को समझते हैं?” “यह रासायनिक रूप से दिलचस्प है, इसमें कोई शक नहीं,” मैंने उत्तर दिया, “लेकिन व्यावहारिक रूप से—” “नहीं, मेरे दोस्त, यह वर्षों में की गई सबसे व्यावहारिक चिकित्सा-कानूनी खोज है। क्या आपको नहीं लगता कि यह हमें रक्त के धब्बों के लिए एक अचूक परीक्षण प्रदान करता है?”
Evaluator Feedback:
The translation is highly accurate and captures the essence of the dialogue well. While 'Why, man' is translated as 'नहीं, मेरे दोस्त' (No, my friend), which slightly alters the tone of Holmes's exclamation, the overall flow and technical terminology like 'medico-legal' are handled excellently.
Model: translategemma:27b Score: 🟡 8.5/10
View Translation
Original (English):
Translation (Hindi):
स्टूडियो में गुलाब की मनमोहक खुशबू फैली हुई थी, और जब हल्की गर्मी की हवा बगीचे के पेड़ों के बीच से गुजरती, तो खुले दरवाजे से लिलेक की तीखी सुगंध या गुलाबी फूलों वाले कांटेदार पौधे की अधिक सूक्ष्म खुशबू आती थी। फ़ारसी सैडल-बैग से बने सोफे के कोने में, जिस पर वह लेटा हुआ था और हमेशा की तरह, ढेर सारी सिगरेट पी रहा था, लॉर्ड हेनरी वॉटसन मुश्किल से लेबर्नम के शहद जैसे मीठे और शहद के रंग के फूलों की चमक देख सकता था।
Evaluator Feedback:
The translation is highly accurate and captures the sensory details well, though 'Wotton' was incorrectly rendered as 'Watson'. The prose is fluent, though some of the decadent aestheticism of Wilde's phrasing feels slightly more literal in Hindi.
Model: google/gemini-2.0-flash-001 Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Hindi):
मैं जंगल इसलिए गया क्योंकि मैं जानबूझकर जीना चाहता था, केवल जीवन के आवश्यक तथ्यों का सामना करना चाहता था, और देखना चाहता था कि क्या मैं वह सीख सकता हूँ जो उसे सिखाना है, और मरने पर यह पता न चले कि मैं जिया ही नहीं। मैं वह नहीं जीना चाहता था जो जीवन नहीं था, जीना इतना प्यारा है; और मैं त्याग का अभ्यास भी नहीं करना चाहता था, जब तक कि यह बिल्कुल आवश्यक न हो। मैं गहराई से जीना चाहता था और जीवन के सारे मज्जा को चूस लेना चाहता था।
Evaluator Feedback:
The translation preserves Thoreau's philosophical meaning and existential concerns with strong fidelity, capturing key concepts like deliberate living and extracting life's essence. Minor fluency issues exist ("उसे सिखाना है" is slightly awkward; "जीना इतना प्यारा है" could be more idiomatic), but the philosophical tone and contemplative style are well-maintained throughout.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 1 | 0.8% |
| 🟡 Good (7-8) | 46 | 35.4% |
| 🟠 Acceptable (5-6) | 63 | 48.5% |
| 🔴 Poor (3-4) | 14 | 10.8% |
| ⚫ Failed (1-2) | 6 | 4.6% |