-
-
Notifications
You must be signed in to change notification settings - Fork 63
Language korean
Category: Asian Languages Script: Hangul
| Metric | Value |
|---|---|
| Average Score | 🟠 5.8/10 |
| Accuracy | 6.6/10 |
| Fluency | 5.8/10 |
| Style | 5.4/10 |
| Total Tests | 120 |
| Best Model | google/gemini-2.0-flash-001 |
| Worst Model | llama3.2 |
| Model | Overall | Accuracy | Fluency | Style |
|---|---|---|---|---|
| google/gemini-2.0-flash-001 | 🟡 7.2 | 7.8 | 7.0 | 6.8 |
| google/gemini-3-flash-preview | 🟡 7.2 | 7.8 | 7.0 | 7.0 |
| translategemma:27b | 🟡 7.1 | 7.8 | 7.3 | 6.4 |
| mistralai/mistral-medium-3.1 | 🟡 7.0 | 7.4 | 6.8 | 6.6 |
| gemma3:27b-it-qat | 🟠 6.8 | 7.4 | 6.8 | 6.4 |
| gemma3:27b | 🟠 6.8 | 7.6 | 6.8 | 6.6 |
| translategemma:12b-it-q4_K_M | 🟠 6.4 | 7.2 | 6.4 | 6.0 |
| translategemma:27b-it-q8_0 | 🟠 6.4 | 7.0 | 6.4 | 5.8 |
| gemma3:12b | 🟠 6.2 | 7.0 | 6.0 | 5.8 |
| qwen3:30b | 🟠 6.0 | 7.0 | 6.0 | 5.6 |
| mistral-small:24b | 🟠 6.0 | 6.8 | 6.2 | 5.6 |
| qwen3:30b-instruct | 🟠 6.0 | 6.8 | 6.0 | 5.6 |
| ministral-3:14b | 🟠 6.0 | 6.8 | 6.0 | 5.6 |
| translategemma:12b | 🟠 6.0 | 6.8 | 6.0 | 5.4 |
| ministral-3 | 🟠 5.8 | 6.6 | 5.8 | 5.2 |
| qwen3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.2 |
| qwen3:14b | 🟠 5.6 | 6.4 | 5.8 | 5.2 |
| gemma3:4b | 🟠 5.6 | 6.6 | 5.6 | 5.4 |
| translategemma:4b-it-q4_K_M | 🟠 5.6 | 6.4 | 5.6 | 5.0 |
| translategemma:4b | 🟠 5.4 | 6.2 | 5.6 | 4.8 |
| qwen3:8b | 🟠 5.2 | 6.2 | 5.2 | 4.8 |
| llama3.1:8b | ⚫ 2.2 | 3.2 | 2.2 | 2.0 |
| llama3.2 | ⚫ 1.0 | 1.8 | 1.0 | 1.0 |
Model: translategemma:27b Score: 🟢 9.0/10
View Translation
Original (English):
Translation (Korean):
“아프가니스탄에 다녀오신 것 같습니다.” “어떻게 그렇게 아셨습니까?” 저는 깜짝 놀라 물었습니다. 그는 웃으며 “신경 쓰지 마세요.”라고 말했습니다. “이제 문제는 헤모글로빈입니다. 제가 발견한 이 사실이 얼마나 중요한지 아시겠죠?” “화학적으로는 흥미롭지만, 실제로 적용하기에는…”이라고 대답했습니다. “아, 이 발견은 수년간 가장 실용적인 의학 및 법의학적 발견입니다. 이것이 혈흔을 완벽하게 식별할 수 있는 방법을 제공한다는 것을 모르십니까?”
Evaluator Feedback:
The translation is highly accurate and captures the core meaning of the dialogue perfectly. While the tone is appropriately formal, the use of '신경 쓰지 마세요' for 'Never mind' is slightly modern, though it remains clear and functional within the context.
Model: gemma3:12b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Korean):
방 안은 장미 향기로 가득했고, 여름날 가벼운 바람이 정원의 나무들 사이를 스치고 지나갈 때마다 열린 문틈으로 짙은 라일락 향이나 분홍빛 꽃잎을 지닌 가시나무의 은은한 향기가 실려 들어왔다. 페르시아 안마의자처럼 덧대어진 소파 구석에서, 그는 늘 하던 대로 수많은 담배를 피워 물고 있는데, 눈을 돌리면 꿀처럼 달콤하고 황금빛 꽃들이 피어 있는 금단나무의 윤기가 엿보였다.
Evaluator Feedback:
The translation captures the sensory richness and aesthetic focus of Wilde's prose effectively, with accurate rendering of floral imagery and atmospheric details. Minor fluency issues arise from slightly awkward phrasing in the final clause, and some nuance of 'honey-sweet and honey-coloured' is somewhat compressed, but overall the luxurious, decadent tone is well-preserved.
Model: gemma3:27b Score: 🟡 8.0/10
View Translation
Original (English):
Translation (Korean):
아틀리에 안은 장미의 농렬한 향기로 가득했고, 가벼운 여름 바람이 정원의 나무들 사이를 스쳐 지나갈 때마다 열린 문을 통해 짙은 라일락 향기나, 섬세한 분홍빛 가시덤불의 은은한 꽃향기가 스며들었다. 그는 페르시아 안장 가방으로 만든 디반 구석에 누워 늘 하던 대로 담배를 무수히 피우면서, 달콤하고 꿀색을 띤 금낭화의 꽃잎이 반짝이는 것을 어렴풋이 볼 수 있었다.
Evaluator Feedback:
The translation faithfully preserves Wilde's sensory-rich aesthetic prose with accurate rendering of botanical imagery and atmospheric details. Minor fluency variations in phrasing structure and slight stylistic adjustments are present, but the overall elegance and sensory immersion of the original are well-maintained in Korean.
| Score Range | Count | Percentage |
|---|---|---|
| 🟢 Excellent (9-10) | 1 | 0.8% |
| 🟡 Good (7-8) | 41 | 34.2% |
| 🟠 Acceptable (5-6) | 64 | 53.3% |
| 🔴 Poor (3-4) | 5 | 4.2% |
| ⚫ Failed (1-2) | 9 | 7.5% |