-
-
Notifications
You must be signed in to change notification settings - Fork 63
Language bengali
Category: Asian Languages Script: Bengali
| Metric | Value |
|---|---|
| Average Score | 🟠 5.3/10 |
| Accuracy | 6.2/10 |
| Fluency | 5.3/10 |
| Style | 5.0/10 |
| Total Tests | 120 |
| Best Model | google/gemini-3-flash-preview |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-3-flash-preview | 🟡 7.4 | 8.0 | 7.0 | 7.6 |
| mistralai/mistral-medium-3.1 | 🟡 7.0 | 7.6 | 6.6 | 7.0 |
| translategemma:27b | 🟠 6.9 | 7.6 | 7.4 | 6.3 |
| google/gemini-2.0-flash-001 | 🟠 6.8 | 7.4 | 6.4 | 6.8 |
| ministral-3:14b | 🟠 6.6 | 7.2 | 6.2 | 6.6 |
| translategemma:27b-it-q8_0 | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| gemma3:27b-it-qat | 🟠 6.4 | 7.2 | 6.2 | 6.2 |
| translategemma:12b-it-q4_K_M | 🟠 6.2 | 7.0 | 6.2 | 5.8 |
| gemma3:27b | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| translategemma:12b | 🟠 5.6 | 6.6 | 5.6 | 5.4 |
| translategemma:4b-it-q4_K_M | 🟠 5.6 | 6.4 | 5.6 | 5.0 |
| qwen3:4b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| qwen3:30b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| qwen3:30b-instruct | 🟠 5.2 | 6.2 | 5.2 | 5.0 |
| gemma3:12b | 🟠 5.0 | 6.0 | 5.0 | 4.8 |
| translategemma:4b | 🟠 5.0 | 6.0 | 5.0 | 4.8 |
| qwen3:14b | 🔴 4.8 | 5.8 | 4.6 | 4.6 |
| mistral-small:24b | 🔴 4.8 | 5.8 | 4.8 | 4.4 |
| ministral-3 | 🔴 4.8 | 5.8 | 4.8 | 4.4 |
| qwen3:8b | 🔴 4.0 | 5.0 | 4.0 | 3.8 |
| gemma3:4b | 🔴 3.2 | 4.2 | 3.2 | 3.0 |
| llama3.1:8b | ⚫ 1.2 | 2.0 | 1.2 | 1.2 |
| llama3.2 | ⚫ 1.0 | 1.8 | 1.0 | 1.0 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Bengali):
“আপনি আফগানিস্তানে ছিলেন, তাই তো?” আমি বিস্মিত হয়ে জানতে চাইলাম, “আপনি কী করে জানলেন?” তিনি মুচকি হেসে বললেন, “সেটা এখন গুরুত্বপূর্ণ নয়। আসল কথা হল, হিমোগ্লোবিন নিয়ে আমার এই আবিষ্কারের তাৎপর্য আপনি নিশ্চয়ই বুঝতে পারছেন?” আমি উত্তর দিলাম, “রাসায়নিকভাবে এটা নিঃসন্দেহে আকর্ষণীয়, তবে কার্যত—” “আরে, এটা বছরের সেরা ব্যবহারিক চিকিৎসা ও আইন বিষয়ক আবিষ্কার। আপনি কি বুঝতে পারছেন না যে, এটা আমাদের রক্তের দাগ শনাক্ত করার জন্য একটি নির্ভুল উপায় সরবরাহ করে?”
Evaluator Feedback:
The translation is highly accurate and captures the essence of the dialogue well, though 'medico-legal' is translated slightly formally as 'চিকিৎসা ও আইন বিষয়ক' instead of the more standard 'চিকিৎসা-আইনঘটিত'. The flow is natural and maintains the Victorian detective tone effectively.
Model: gemma3:27b-it-qat Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Bengali):
স্টুডিওর ঘরটি গোলাপের গাঢ় সুবাসে পরিপূর্ণ ছিল, আর হালকা গ্রীষ্মের বাতাস যখন বাগানের গাছগুলোর মধ্যে খেলা করত, তখন খোলা দরজা দিয়ে লাইলাকের ভারি সুগন্ধ ভেসে আসত, অথবা গোলাপি রঙের কাঁটাঝোপের আরও মিষ্টি সৌরভ আসত। পার্সিয়ান স্যাডল-ব্যাগের ডিভানের কোণে যেখানে তিনি শুয়েছিলেন, ধূমপান করছিলেন—যেমন তার অভ্যাস ছিল, অসংখ্য সিগারেট টেনে—লর্ড হেনরি ওটটন কেবল ল্যাবর্ণামের মধু-মিষ্টি এবং মধু-রঙের ফুলের চকচকে আভা দেখতে পাচ্ছিলেন।
Evaluator Feedback:
The translation faithfully preserves the sensory richness and aesthetic focus of Wilde's prose, with accurate rendering of botanical imagery and atmospheric details. Minor fluency issues arise from the complex sentence structure and some awkward phrasing (e.g., 'খেলা করত' for 'stirred'), but the poetic tone and Victorian sensibility are well maintained.
Model: ministral-3:14b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Bengali):
আমি বনে গিয়েছিলাম কারণ আমি জীবনকে সুস্পষ্টভাবে বাঁচতে চেয়েছিলাম—জীবনের মৌলিক সত্যগুলিকেই মুখোমুখি হতে, দেখতে চেয়েছিলাম কি শিখতে পারি তার কাছ থেকে, এবং যখন মৃত্যুর মুখোমুখি হব, তখন জানতে পারি যে আমি জীবনকে বাঁচিনি। আমি এমন জীবন বাঁচতে চাইনি যা জীবন নয়; জীবন তো এতই মূল্যবান! আর আমি এমনই আত্মসমর্পণ করতে চাইনি, যদি তা সম্পূর্ণ প্রয়োজনীয় না হয়। আমি গভীরভাবে বাঁচতে চেয়েছিলাম, জীবনের প্রতিটি রস আহরণ করতে—জীবনের মজ্জা শুষে নিতে।
Evaluator Feedback:
The translation captures Thoreau's philosophical intent and key concepts with strong fidelity, preserving the emphasis on deliberate living and existential depth. Minor fluency issues arise from slightly awkward phrasing ("যখন মৃত্যুর মুখোমুখি হব" for "when I came to die") and the somewhat convoluted structure in places, though the poetic style and contemplative tone are well-maintained overall.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 1 | 0.8% |
| 🟡 Good (7-8) | 28 | 23.3% |
| 🟠 Acceptable (5-6) | 63 | 52.5% |
| 🔴 Poor (3-4) | 13 | 10.8% |
| ⚫ Failed (1-2) | 15 | 12.5% |