-
-
Notifications
You must be signed in to change notification settings - Fork 63
Language arabic
| Metric | Value |
|---|---|
| Average Score | 🟠 6.3/10 |
| Accuracy | 6.9/10 |
| Fluency | 6.3/10 |
| Style | 5.8/10 |
| Total Tests | 120 |
| Best Model | translategemma:27b |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| translategemma:27b | 🟡 7.8 | 8.1 | 8.1 | 7.1 |
| gemma3:27b-it-qat | 🟡 7.6 | 7.8 | 7.4 | 7.2 |
| gemma3:27b | 🟡 7.6 | 8.0 | 7.6 | 7.4 |
| translategemma:27b-it-q8_0 | 🟡 7.4 | 7.4 | 7.4 | 6.4 |
| google/gemini-2.0-flash-001 | 🟡 7.2 | 7.8 | 7.2 | 7.0 |
| google/gemini-3-flash-preview | 🟡 7.2 | 7.6 | 7.4 | 7.0 |
| translategemma:12b | 🟡 7.2 | 7.4 | 7.2 | 6.4 |
| qwen3:30b | 🟡 7.0 | 7.6 | 7.0 | 6.4 |
| mistralai/mistral-medium-3.1 | 🟡 7.0 | 7.6 | 6.8 | 6.8 |
| gemma3:12b | 🟠 6.8 | 7.6 | 6.8 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟠 6.8 | 7.2 | 7.0 | 6.4 |
| qwen3:30b-instruct | 🟠 6.6 | 7.2 | 6.6 | 6.0 |
| translategemma:4b-it-q4_K_M | 🟠 6.6 | 7.0 | 6.8 | 6.0 |
| qwen3:14b | 🟠 6.2 | 6.8 | 6.2 | 5.8 |
| translategemma:4b | 🟠 6.2 | 6.4 | 6.6 | 5.4 |
| ministral-3 | 🟠 5.8 | 6.8 | 5.8 | 5.6 |
| ministral-3:14b | 🟠 5.8 | 6.8 | 5.8 | 5.8 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.4 | 5.4 |
| mistral-small:24b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| gemma3:4b | 🟠 5.4 | 6.4 | 5.4 | 5.2 |
| qwen3:8b | 🟠 5.2 | 6.0 | 5.2 | 4.8 |
| llama3.1:8b | 🔴 3.0 | 3.8 | 3.0 | 2.4 |
| llama3.2 | ⚫ 1.2 | 2.0 | 1.2 | 1.0 |
Model: translategemma:27b Score: 🟢 9.5/10
View Translation
Original (English):
Translation (Arabic):
"يبدو أنك قضيت فترة في أفغانستان." "كيف عرفت ذلك تحديدًا؟" سألتُ باندهاش. "لا يهم"، قال وهو يضحك لنفسه. "السؤال الآن يتعلق بالهيموجلوبين. لا شك أنك تدرك أهمية هذا الاكتشاف الذي توصلت إليه، أليس كذلك؟" "إنه اكتشاف مثير للاهتمام من الناحية الكيميائية، لا شك في ذلك"، أجبتُ، "ولكن من الناحية العملية—" "يا رجل، إنه أهم اكتشاف طبي-قانوني عملي على الإطلاق في السنوات الأخيرة. ألا ترى أنه يمنحنا اختبارًا لا يقبل الخطأ للكشف عن بقع الدم؟"
Evaluator Feedback:
The translation is exceptionally accurate and captures the clinical yet enthusiastic tone of Sherlock Holmes perfectly. The choice of 'طبي-قانوني' for 'medico-legal' is precise, and the flow of the dialogue feels natural and period-appropriate in Arabic.
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Arabic):
ذهبت إلى الغابة لأنني أردت أن أعيش حياة واعية ومدروسة، وأن أواجه الحقائق الأساسية للحياة فحسب، وأن أرى ما إذا كان بإمكاني أن أتعلم ما يمكن أن تعلمني إياه، وألا أكتشف، عندما يحين موعد موتي، أنني لم أكن قد عشت حقًا. لم أكن أريد أن أعيش حياة باهتة، فالحياة ثمينة للغاية؛ ولم أكن أريد أن أتدرب على الاستسلام، إلا إذا كان ذلك ضروريًا للغاية. أردت أن أعيش بعمق وأن أستخلص كل جوهر الحياة.
Evaluator Feedback:
The translation is highly accurate and captures the philosophical weight of Thoreau's prose, though 'suck out all the marrow' is slightly softened to 'extract the essence' (أستخلص كل جوهر) rather than a more literal or visceral anatomical metaphor.
Model: translategemma:27b Score: 🟡 8.5/10
View Translation
Original (English):
Translation (Arabic):
نادوني بإيشمايل. منذ سنوات، لا يهم تحديدًا كم سنة مضت، وبسبب قلة المال أو انعدامه، وعدم وجود ما يثير اهتمامي على اليابسة، فكرت في أن أبحر قليلًا وأستكشف الأجزاء المائية من العالم. إنها طريقة أتبعها للتخلص من الكآبة وتنظيم الدورة الدموية. كلما شعرت بأنني أصبحت متجهّم الوجه؛ وكلما كان الجو في داخلي كئيبًا ورطبًا كشهر نوفمبر الممطر، أعتبر ذلك إشارة إلى أنه قد حان الوقت للانطلاق إلى البحر في أقرب وقت ممكن.
Evaluator Feedback:
The translation is highly accurate and captures the melancholic tone of the original, though it slightly modernizes Melville's archaic prose. The rendering of 'damp, drizzly November in my soul' is particularly evocative and well-handled in Arabic.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 2 | 1.7% |
| 🟡 Good (7-8) | 62 | 51.7% |
| 🟠 Acceptable (5-6) | 41 | 34.2% |
| 🔴 Poor (3-4) | 8 | 6.7% |
| ⚫ Failed (1-2) | 7 | 5.8% |