From 9b328dced666cc056b984aa32fd07c4fbe11ccd9 Mon Sep 17 00:00:00 2001
From: Mughaira Mir <mugariya.farooq@tii.ae>
Date: Tue, 20 Aug 2024 11:04:11 +0000
Subject: [PATCH] multilingual results

---
 11B_falcon_mlresults.out | 32526 +++++++++++++++++++++++++++++++++++++
 1 file changed, 32526 insertions(+)
 create mode 100644 11B_falcon_mlresults.out

diff --git a/11B_falcon_mlresults.out b/11B_falcon_mlresults.out
new file mode 100644
index 0000000..ee9840d
--- /dev/null
+++ b/11B_falcon_mlresults.out
@@ -0,0 +1,32526 @@
+hendrycksTest-abstract_algebra
+hendrycksTest-anatomy
+hendrycksTest-astronomy
+hendrycksTest-business_ethics
+hendrycksTest-clinical_knowledge
+hendrycksTest-college_biology
+hendrycksTest-college_chemistry
+hendrycksTest-college_computer_science
+hendrycksTest-college_mathematics
+hendrycksTest-college_medicine
+hendrycksTest-college_physics
+hendrycksTest-computer_security
+hendrycksTest-conceptual_physics
+hendrycksTest-econometrics
+hendrycksTest-electrical_engineering
+hendrycksTest-elementary_mathematics
+hendrycksTest-formal_logic
+hendrycksTest-global_facts
+hendrycksTest-high_school_biology
+hendrycksTest-high_school_chemistry
+hendrycksTest-high_school_computer_science
+hendrycksTest-high_school_european_history
+hendrycksTest-high_school_geography
+hendrycksTest-high_school_government_and_politics
+hendrycksTest-high_school_macroeconomics
+hendrycksTest-high_school_mathematics
+hendrycksTest-high_school_microeconomics
+hendrycksTest-high_school_physics
+hendrycksTest-high_school_psychology
+hendrycksTest-high_school_statistics
+hendrycksTest-high_school_us_history
+hendrycksTest-high_school_world_history
+hendrycksTest-human_aging
+hendrycksTest-human_sexuality
+hendrycksTest-international_law
+hendrycksTest-jurisprudence
+hendrycksTest-logical_fallacies
+hendrycksTest-machine_learning
+hendrycksTest-management
+hendrycksTest-marketing
+hendrycksTest-medical_genetics
+hendrycksTest-miscellaneous
+hendrycksTest-moral_disputes
+hendrycksTest-moral_scenarios
+hendrycksTest-nutrition
+hendrycksTest-philosophy
+hendrycksTest-prehistory
+hendrycksTest-professional_accounting
+hendrycksTest-professional_law
+hendrycksTest-professional_medicine
+hendrycksTest-professional_psychology
+hendrycksTest-public_relations
+hendrycksTest-security_studies
+hendrycksTest-sociology
+hendrycksTest-us_foreign_policy
+hendrycksTest-virology
+hendrycksTest-world_religions
+len(HENDRYCKS_TASKS)=57
+['cb', 'rte', 'boolq', 'wsc', 'copa', 'wic', 'hellaswag', 'truthfulqa_mc', 'arc_easy', 'arc_challenge', 'winogrande', 'gsm8k', 'hendrycksTest-abstract_algebra', 'hendrycksTest-anatomy', 'hendrycksTest-astronomy', 'hendrycksTest-business_ethics', 'hendrycksTest-clinical_knowledge', 'hendrycksTest-college_biology', 'hendrycksTest-college_chemistry', 'hendrycksTest-college_computer_science', 'hendrycksTest-college_mathematics', 'hendrycksTest-college_medicine', 'hendrycksTest-college_physics', 'hendrycksTest-computer_security', 'hendrycksTest-conceptual_physics', 'hendrycksTest-econometrics', 'hendrycksTest-electrical_engineering', 'hendrycksTest-elementary_mathematics', 'hendrycksTest-formal_logic', 'hendrycksTest-global_facts', 'hendrycksTest-high_school_biology', 'hendrycksTest-high_school_chemistry', 'hendrycksTest-high_school_computer_science', 'hendrycksTest-high_school_european_history', 'hendrycksTest-high_school_geography', 'hendrycksTest-high_school_government_and_politics', 'hendrycksTest-high_school_macroeconomics', 'hendrycksTest-high_school_mathematics', 'hendrycksTest-high_school_microeconomics', 'hendrycksTest-high_school_physics', 'hendrycksTest-high_school_psychology', 'hendrycksTest-high_school_statistics', 'hendrycksTest-high_school_us_history', 'hendrycksTest-high_school_world_history', 'hendrycksTest-human_aging', 'hendrycksTest-human_sexuality', 'hendrycksTest-international_law', 'hendrycksTest-jurisprudence', 'hendrycksTest-logical_fallacies', 'hendrycksTest-machine_learning', 'hendrycksTest-management', 'hendrycksTest-marketing', 'hendrycksTest-medical_genetics', 'hendrycksTest-miscellaneous', 'hendrycksTest-moral_disputes', 'hendrycksTest-moral_scenarios', 'hendrycksTest-nutrition', 'hendrycksTest-philosophy', 'hendrycksTest-prehistory', 'hendrycksTest-professional_accounting', 'hendrycksTest-professional_law', 'hendrycksTest-professional_medicine', 'hendrycksTest-professional_psychology', 'hendrycksTest-public_relations', 'hendrycksTest-security_studies', 'hendrycksTest-sociology', 'hendrycksTest-us_foreign_policy', 'hendrycksTest-virology', 'hendrycksTest-world_religions']
+(tasks) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=68
+{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>}
+(tasks+fewshots) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=129
+{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'arc_challenge_25shots': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag_10shots': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande_5shots': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k_5shots': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>}Starting eval.
+Starting eval.
+checkpoint_str='s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/' endpoint='250GT-4k-2024-02-12-08-13-38'
+Tasks: ['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh']
+
+['cb', 'rte', 'boolq', 'wsc', 'copa', 'wic', 'hellaswag', 'truthfulqa_mc', 'arc_easy', 'arc_challenge', 'winogrande', 'gsm8k', 'arc_challenge_25shots', 'gsm8k_5shots', 'hellaswag_10shots', 'hendrycksTest-abstract_algebra_5shots', 'hendrycksTest-anatomy_5shots', 'hendrycksTest-astronomy_5shots', 'hendrycksTest-business_ethics_5shots', 'hendrycksTest-clinical_knowledge_5shots', 'hendrycksTest-college_biology_5shots', 'hendrycksTest-college_chemistry_5shots', 'hendrycksTest-college_computer_science_5shots', 'hendrycksTest-college_mathematics_5shots', 'hendrycksTest-college_medicine_5shots', 'hendrycksTest-college_physics_5shots', 'hendrycksTest-computer_security_5shots', 'hendrycksTest-conceptual_physics_5shots', 'hendrycksTest-econometrics_5shots', 'hendrycksTest-electrical_engineering_5shots', 'hendrycksTest-elementary_mathematics_5shots', 'hendrycksTest-formal_logic_5shots', 'hendrycksTest-global_facts_5shots', 'hendrycksTest-high_school_biology_5shots', 'hendrycksTest-high_school_chemistry_5shots', 'hendrycksTest-high_school_computer_science_5shots', 'hendrycksTest-high_school_european_history_5shots', 'hendrycksTest-high_school_geography_5shots', 'hendrycksTest-high_school_government_and_politics_5shots', 'hendrycksTest-high_school_macroeconomics_5shots', 'hendrycksTest-high_school_mathematics_5shots', 'hendrycksTest-high_school_microeconomics_5shots', 'hendrycksTest-high_school_physics_5shots', 'hendrycksTest-high_school_psychology_5shots', 'hendrycksTest-high_school_statistics_5shots', 'hendrycksTest-high_school_us_history_5shots', 'hendrycksTest-high_school_world_history_5shots', 'hendrycksTest-human_aging_5shots', 'hendrycksTest-human_sexuality_5shots', 'hendrycksTest-international_law_5shots', 'hendrycksTest-jurisprudence_5shots', 'hendrycksTest-logical_fallacies_5shots', 'hendrycksTest-machine_learning_5shots', 'hendrycksTest-management_5shots', 'hendrycksTest-marketing_5shots', 'hendrycksTest-medical_genetics_5shots', 'hendrycksTest-miscellaneous_5shots', 'hendrycksTest-moral_disputes_5shots', 'hendrycksTest-moral_scenarios_5shots', 'hendrycksTest-nutrition_5shots', 'hendrycksTest-philosophy_5shots', 'hendrycksTest-prehistory_5shots', 'hendrycksTest-professional_accounting_5shots', 'hendrycksTest-professional_law_5shots', 'hendrycksTest-professional_medicine_5shots', 'hendrycksTest-professional_psychology_5shots', 'hendrycksTest-public_relations_5shots', 'hendrycksTest-security_studies_5shots', 'hendrycksTest-sociology_5shots', 'hendrycksTest-us_foreign_policy_5shots', 'hendrycksTest-virology_5shots', 'hendrycksTest-world_religions_5shots', 'winogrande_5shots']
+(tasks+fewshots: huggingface) len(_TMP_TASK_REGISTRY_HUGGINGFACE)=72
+{'rte': <class 'lm_eval.tasks.glue.RTE'>, 'boolq': <class 'lm_eval.tasks.superglue.BoolQ'>, 'cb': <class 'lm_eval.tasks.superglue.CommitmentBank'>, 'copa': <class 'lm_eval.tasks.superglue.Copa'>, 'wic': <class 'lm_eval.tasks.superglue.WordsInContext'>, 'wsc': <class 'lm_eval.tasks.superglue.SGWinogradSchemaChallenge'>, 'arc_easy': <class 'lm_eval.tasks.arc.ARCEasy'>, 'arc_challenge': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'arc_challenge_25shots': <class 'lm_eval.tasks.arc.ARCChallenge'>, 'hellaswag_10shots': <class 'lm_eval.tasks.hellaswag.HellaSwag'>, 'winogrande_5shots': <class 'lm_eval.tasks.winogrande.Winogrande'>, 'gsm8k_5shots': <class 'lm_eval.tasks.gsm8k.GradeSchoolMath8K'>, 'hendrycksTest-abstract_algebra_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-anatomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-astronomy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-business_ethics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-clinical_knowledge_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-college_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-computer_security_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-conceptual_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-econometrics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-electrical_engineering_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-elementary_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-formal_logic_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-global_facts_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_biology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_chemistry_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_computer_science_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_european_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_geography_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_government_and_politics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_macroeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_mathematics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_microeconomics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_physics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_statistics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_us_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-high_school_world_history_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_aging_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-human_sexuality_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-international_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-jurisprudence_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-logical_fallacies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-machine_learning_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-management_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-marketing_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-medical_genetics_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-miscellaneous_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_disputes_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-moral_scenarios_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-nutrition_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-philosophy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-prehistory_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_accounting_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_law_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_medicine_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-professional_psychology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-public_relations_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-security_studies_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-sociology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-us_foreign_policy_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-virology_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>, 'hendrycksTest-world_religions_5shots': <class 'lm_eval.tasks.hendrycks_test.create_task.<locals>.HendrycksTest'>}
+['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh']
+
ALL TASKS:   0%|                                                                                                                             | 0/124 [00:00<?, ?it/s]['arc_ar']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:47:31,386 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:47:31,386 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:47:31,516 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:47:31,516 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:47:31,646 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:47:31,646 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:47:31,776 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:47:31,787 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 06:47:31,787 INFO sqlalchemy.engine.Engine [generated in 0.00022s] {'name_1_1': 'arc_ar'}
+2024-05-29 06:47:31,918 INFO sqlalchemy.engine.Engine ROLLBACK
+/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_arc contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_arc/m_arc.py
+You can avoid this message in future by passing the argument `trust_remote_code=True`.
+Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
+  warnings.warn(
+[Task(name=arc_ar task_provider=lm_eval)]
+Running loglikelihood requests
+
+
arc_ar:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_ar:   3%|███▎                                                                                                                     | 1/37 [00:07<04:30,  7.52s/it]
+
arc_ar:   5%|██████▌                                                                                                                  | 2/37 [00:15<04:30,  7.72s/it]
+
arc_ar:   8%|█████████▊                                                                                                               | 3/37 [00:22<04:14,  7.49s/it]
+
arc_ar:  11%|█████████████                                                                                                            | 4/37 [00:30<04:12,  7.64s/it]
+
arc_ar:  14%|████████████████▎                                                                                                        | 5/37 [00:39<04:15,  7.97s/it]
+
arc_ar:  16%|███████████████████▌                                                                                                     | 6/37 [00:46<04:03,  7.85s/it]
+
arc_ar:  19%|██████████████████████▉                                                                                                  | 7/37 [00:54<03:57,  7.90s/it]
+
arc_ar:  22%|██████████████████████████▏                                                                                              | 8/37 [01:03<03:58,  8.22s/it]
+
arc_ar:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:11<03:50,  8.22s/it]
+
arc_ar:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:19<03:34,  7.95s/it]
+
arc_ar:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:27<03:30,  8.09s/it]
+
arc_ar:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:35<03:23,  8.12s/it]
+
arc_ar:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:43<03:13,  8.07s/it]
+
arc_ar:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:51<03:05,  8.05s/it]
+
arc_ar:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:00<02:59,  8.18s/it]
+
arc_ar:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:08<02:50,  8.14s/it]
+
arc_ar:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:16<02:40,  8.05s/it]
+
arc_ar:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:24<02:34,  8.11s/it]
+
arc_ar:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:32<02:27,  8.21s/it]
+
arc_ar:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:41<02:22,  8.41s/it]
+
arc_ar:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:49<02:11,  8.24s/it]
+
arc_ar:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:57<02:01,  8.07s/it]
+
arc_ar:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:05<01:54,  8.17s/it]
+
arc_ar:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:13<01:44,  8.03s/it]
+
arc_ar:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:21<01:35,  8.00s/it]
+
arc_ar:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:28<01:27,  7.93s/it]
+
arc_ar:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:36<01:19,  7.90s/it]
+
arc_ar:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:44<01:11,  7.90s/it]
+
arc_ar:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:52<01:03,  7.95s/it]
+
arc_ar:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:00<00:55,  7.98s/it]
+
arc_ar:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:09<00:48,  8.11s/it]
+
arc_ar:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [04:16<00:39,  7.92s/it]
+
arc_ar:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [04:23<00:30,  7.72s/it]
+
arc_ar:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:32<00:23,  7.87s/it]
+
arc_ar:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:39<00:15,  7.85s/it]
+
arc_ar:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:47<00:07,  7.85s/it]
+
arc_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:54<00:00,  7.47s/it]
arc_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:54<00:00,  7.96s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ar_acc 0.2215568862275449
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ar_acc_norm 0.25320786997433703
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:52:27,085 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:52:27,085 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:27,212 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:52:27,212 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:27,339 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:52:27,340 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:27,467 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:52:27,468 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 06:52:27,468 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 06:52:27,597 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 06:52:27,597 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'arc_ar_acc'}
+2024-05-29 06:52:27,662 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 06:52:27,662 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1079, 'value': 0.2215568862275449}
+2024-05-29 06:52:27,728 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:52:28,377 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:52:28,377 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:28,504 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:52:28,504 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:28,632 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:52:28,632 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:28,759 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:52:28,760 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 06:52:28,760 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 06:52:28,889 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 06:52:28,889 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ar_acc_norm'}
+2024-05-29 06:52:28,954 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 06:52:28,954 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1080, 'value': 0.25320786997433703}
+2024-05-29 06:52:29,018 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   1%|▉                                                                                                                | 1/124 [04:58<10:11:33, 298.32s/it]['arc_bn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:52:29,670 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:52:29,670 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:29,799 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:52:29,799 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:29,927 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:52:29,927 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:52:30,055 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:52:30,055 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 06:52:30,056 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_bn'}
+2024-05-29 06:52:30,185 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_bn task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  4.17 examples/s]
Generating train split: 1107 examples [00:00, 3887.62 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  9.18 examples/s]
Generating validation split: 296 examples [00:00, 2463.29 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  6.31 examples/s]
Generating test split: 1169 examples [00:00, 5863.60 examples/s]
+Running loglikelihood requests
+
+
arc_bn:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_bn:   3%|███▎                                                                                                                     | 1/37 [00:11<06:54, 11.51s/it]
+
arc_bn:   5%|██████▌                                                                                                                  | 2/37 [00:21<06:14, 10.71s/it]
+
arc_bn:   8%|█████████▊                                                                                                               | 3/37 [00:32<05:58, 10.56s/it]
+
arc_bn:  11%|█████████████                                                                                                            | 4/37 [00:42<05:42, 10.38s/it]
+
arc_bn:  14%|████████████████▎                                                                                                        | 5/37 [00:53<05:46, 10.82s/it]
+
arc_bn:  16%|███████████████████▌                                                                                                     | 6/37 [01:04<05:37, 10.88s/it]
+
arc_bn:  19%|██████████████████████▉                                                                                                  | 7/37 [01:15<05:25, 10.84s/it]
+
arc_bn:  22%|██████████████████████████▏                                                                                              | 8/37 [01:26<05:17, 10.95s/it]
+
arc_bn:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:36<05:00, 10.72s/it]
+
arc_bn:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:47<04:45, 10.56s/it]
+
arc_bn:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:56<04:27, 10.30s/it]
+
arc_bn:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [02:08<04:25, 10.60s/it]
+
arc_bn:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [02:17<04:08, 10.37s/it]
+
arc_bn:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [02:28<03:59, 10.43s/it]
+
arc_bn:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:38<03:46, 10.29s/it]
+
arc_bn:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:50<03:44, 10.67s/it]
+
arc_bn:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:59<03:28, 10.45s/it]
+
arc_bn:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [03:10<03:20, 10.57s/it]
+
arc_bn:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [03:21<03:11, 10.66s/it]
+
arc_bn:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [03:32<02:59, 10.58s/it]
+
arc_bn:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [03:43<02:51, 10.72s/it]
+
arc_bn:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:54<02:41, 10.78s/it]
+
arc_bn:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [04:04<02:31, 10.79s/it]
+
arc_bn:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [04:15<02:20, 10.80s/it]
+
arc_bn:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [04:25<02:06, 10.55s/it]
+
arc_bn:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [04:36<01:56, 10.55s/it]
+
arc_bn:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [04:47<01:47, 10.75s/it]
+
arc_bn:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [04:58<01:37, 10.83s/it]
+
arc_bn:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [05:09<01:26, 10.77s/it]
+
arc_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [05:19<01:13, 10.56s/it]
+
arc_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [05:30<01:04, 10.69s/it]
+
arc_bn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [05:40<00:52, 10.46s/it]
+
arc_bn:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [05:50<00:41, 10.35s/it]
+
arc_bn:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [06:00<00:31, 10.40s/it]
+
arc_bn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [06:10<00:20, 10.34s/it]
+
arc_bn:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [06:21<00:10, 10.55s/it]
+
arc_bn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:29<00:00,  9.57s/it]
arc_bn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:29<00:00, 10.52s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_bn_acc 0.19846022241231823
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_bn_acc_norm 0.24379811804961504
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:59:00,701 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:59:00,701 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:00,829 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:59:00,829 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:00,956 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:59:00,956 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:01,083 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:59:01,084 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 06:59:01,084 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 06:59:01,213 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 06:59:01,213 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_bn_acc'}
+2024-05-29 06:59:01,278 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 06:59:01,278 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1081, 'value': 0.19846022241231823}
+2024-05-29 06:59:01,343 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:59:01,965 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:59:01,965 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:02,087 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:59:02,087 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:02,209 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:59:02,209 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:02,331 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:59:02,332 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 06:59:02,332 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 06:59:02,455 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 06:59:02,455 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_bn_acc_norm'}
+2024-05-29 06:59:02,517 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 06:59:02,517 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1082, 'value': 0.24379811804961504}
+2024-05-29 06:59:02,578 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   2%|█▊                                                                                                               | 2/124 [11:31<12:00:29, 354.34s/it]['arc_ca']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 06:59:03,199 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 06:59:03,199 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:03,321 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 06:59:03,321 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:03,443 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 06:59:03,443 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 06:59:03,565 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1_1': 'arc_ca'}
+2024-05-29 06:59:03,688 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ca task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  4.02 examples/s]
Generating train split: 1116 examples [00:00, 3873.12 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 19488.55 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  6.27 examples/s]
Generating test split: 1166 examples [00:00, 5852.65 examples/s]
+Running loglikelihood requests
+
+
arc_ca:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_ca:   3%|███▎                                                                                                                     | 1/37 [00:06<03:56,  6.58s/it]
+
arc_ca:   5%|██████▌                                                                                                                  | 2/37 [00:13<03:59,  6.84s/it]
+
arc_ca:   8%|█████████▊                                                                                                               | 3/37 [00:20<03:48,  6.73s/it]
+
arc_ca:  11%|█████████████                                                                                                            | 4/37 [00:27<03:44,  6.81s/it]
+
arc_ca:  14%|████████████████▎                                                                                                        | 5/37 [00:34<03:41,  6.92s/it]
+
arc_ca:  16%|███████████████████▌                                                                                                     | 6/37 [00:41<03:36,  6.97s/it]
+
arc_ca:  19%|██████████████████████▉                                                                                                  | 7/37 [00:48<03:27,  6.92s/it]
+
arc_ca:  22%|██████████████████████████▏                                                                                              | 8/37 [00:55<03:20,  6.92s/it]
+
arc_ca:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:01<03:06,  6.66s/it]
+
arc_ca:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:07<02:53,  6.42s/it]
+
arc_ca:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:13<02:49,  6.52s/it]
+
arc_ca:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:19<02:40,  6.43s/it]
+
arc_ca:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:26<02:35,  6.49s/it]
+
arc_ca:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:32<02:27,  6.43s/it]
+
arc_ca:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:39<02:22,  6.48s/it]
+
arc_ca:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:46<02:19,  6.64s/it]
+
arc_ca:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:52<02:07,  6.37s/it]
+
arc_ca:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:58<02:01,  6.42s/it]
+
arc_ca:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:04<01:52,  6.24s/it]
+
arc_ca:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:10<01:46,  6.28s/it]
+
arc_ca:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:17<01:42,  6.42s/it]
+
arc_ca:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:24<01:37,  6.52s/it]
+
arc_ca:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:31<01:31,  6.54s/it]
+
arc_ca:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:37<01:25,  6.57s/it]
+
arc_ca:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:43<01:16,  6.36s/it]
+
arc_ca:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:50<01:12,  6.60s/it]
+
arc_ca:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:57<01:06,  6.64s/it]
+
arc_ca:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:04<00:59,  6.64s/it]
+
arc_ca:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:11<00:55,  6.97s/it]
+
arc_ca:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:18<00:48,  6.90s/it]
+
arc_ca:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:26<00:42,  7.07s/it]
+
arc_ca:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:32<00:34,  6.85s/it]
+
arc_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:39<00:27,  6.82s/it]
+
arc_ca:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:45<00:20,  6.80s/it]
+
arc_ca:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:51<00:13,  6.52s/it]
+
arc_ca:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:58<00:06,  6.51s/it]
+
arc_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00,  6.00s/it]
arc_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00,  6.57s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ca_acc 0.34562607204116635
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ca_acc_norm 0.3833619210977702
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:03:07,969 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:03:07,969 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:08,098 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:03:08,099 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:08,227 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:03:08,227 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:08,356 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:03:08,357 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:03:08,357 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:03:08,488 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:03:08,488 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ca_acc'}
+2024-05-29 07:03:08,553 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:03:08,553 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1083, 'value': 0.34562607204116635}
+2024-05-29 07:03:08,618 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:03:09,256 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:03:09,257 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:09,381 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:03:09,381 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:09,505 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:03:09,505 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:03:09,630 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:03:09,756 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:03:09,756 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ca_acc_norm'}
+2024-05-29 07:03:09,819 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:03:09,819 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1084, 'value': 0.3833619210977702}
+2024-05-29 07:03:09,882 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   2%|██▋                                                                                                              | 3/124 [15:39<10:16:01, 305.47s/it]['arc_da']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:03:10,511 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:03:10,511 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:10,635 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:03:10,635 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:10,758 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:03:10,758 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:03:10,881 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:03:10,882 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:03:10,882 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_da'}
+2024-05-29 07:03:11,006 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_da task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  5.29 examples/s]
Generating train split: 1112 examples [00:00, 4871.01 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 23092.62 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  6.45 examples/s]
Generating test split: 1167 examples [00:00, 6017.24 examples/s]
+Running loglikelihood requests
+
+
arc_da:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_da:   3%|███▎                                                                                                                     | 1/37 [00:05<03:34,  5.97s/it]
+
arc_da:   5%|██████▌                                                                                                                  | 2/37 [00:12<03:37,  6.21s/it]
+
arc_da:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:35,  6.35s/it]
+
arc_da:  11%|█████████████                                                                                                            | 4/37 [00:25<03:28,  6.33s/it]
+
arc_da:  14%|████████████████▎                                                                                                        | 5/37 [00:31<03:25,  6.41s/it]
+
arc_da:  16%|███████████████████▌                                                                                                     | 6/37 [00:38<03:25,  6.64s/it]
+
arc_da:  19%|██████████████████████▉                                                                                                  | 7/37 [00:45<03:23,  6.79s/it]
+
arc_da:  22%|██████████████████████████▏                                                                                              | 8/37 [00:52<03:15,  6.73s/it]
+
arc_da:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:59<03:07,  6.71s/it]
+
arc_da:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:04<02:52,  6.39s/it]
+
arc_da:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:10<02:43,  6.30s/it]
+
arc_da:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:17<02:42,  6.48s/it]
+
arc_da:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:23<02:30,  6.28s/it]
+
arc_da:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:30<02:25,  6.33s/it]
+
arc_da:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:36<02:23,  6.50s/it]
+
arc_da:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:43<02:17,  6.53s/it]
+
arc_da:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:49<02:09,  6.47s/it]
+
arc_da:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:57<02:08,  6.76s/it]
+
arc_da:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:03<01:58,  6.59s/it]
+
arc_da:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:10<01:52,  6.64s/it]
+
arc_da:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:16<01:45,  6.60s/it]
+
arc_da:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:22<01:36,  6.43s/it]
+
arc_da:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:29<01:30,  6.48s/it]
+
arc_da:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:34<01:19,  6.15s/it]
+
arc_da:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:41<01:14,  6.23s/it]
+
arc_da:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:47<01:07,  6.14s/it]
+
arc_da:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:54<01:04,  6.48s/it]
+
arc_da:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [02:59<00:55,  6.16s/it]
+
arc_da:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:07<00:51,  6.46s/it]
+
arc_da:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:12<00:43,  6.27s/it]
+
arc_da:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:19<00:38,  6.47s/it]
+
arc_da:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:26<00:32,  6.57s/it]
+
arc_da:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:32<00:25,  6.27s/it]
+
arc_da:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:38<00:19,  6.44s/it]
+
arc_da:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:45<00:13,  6.51s/it]
+
arc_da:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:52<00:06,  6.51s/it]
+
arc_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00,  6.24s/it]
arc_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00,  6.43s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_da_acc 0.3264781491002571
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_da_acc_norm 0.34790059982862037
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:07:09,975 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:07:09,975 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:10,111 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:07:10,111 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:10,241 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:07:10,241 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:10,370 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:07:10,371 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:07:10,371 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:07:10,502 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:07:10,502 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_da_acc'}
+2024-05-29 07:07:10,568 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:07:10,568 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1085, 'value': 0.3264781491002571}
+2024-05-29 07:07:10,634 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:07:11,282 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:07:11,283 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:11,409 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:07:11,409 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:11,535 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:07:11,535 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:07:11,662 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:07:11,790 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:07:11,790 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_da_acc_norm'}
+2024-05-29 07:07:11,854 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:07:11,854 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1086, 'value': 0.34790059982862037}
+2024-05-29 07:07:11,918 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   3%|███▋                                                                                                              | 4/124 [19:41<9:20:51, 280.43s/it]['arc_de']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:07:12,539 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:07:12,539 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:12,661 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:07:12,661 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:12,783 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:07:12,783 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:07:12,905 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_de'}
+2024-05-29 07:07:13,028 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_de task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  8.57 examples/s]
Generating train split: 1116 examples [00:00, 7138.58 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  8.74 examples/s]
Generating validation split: 298 examples [00:00, 2378.29 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  6.03 examples/s]
Generating test split: 1169 examples [00:00, 5703.56 examples/s]
+Running loglikelihood requests
+
+
arc_de:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_de:   3%|███▎                                                                                                                     | 1/37 [00:06<03:42,  6.19s/it]
+
arc_de:   5%|██████▌                                                                                                                  | 2/37 [00:12<03:37,  6.20s/it]
+
arc_de:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:24,  6.01s/it]
+
arc_de:  11%|█████████████                                                                                                            | 4/37 [00:25<03:37,  6.58s/it]
+
arc_de:  14%|████████████████▎                                                                                                        | 5/37 [00:32<03:30,  6.57s/it]
+
arc_de:  16%|███████████████████▌                                                                                                     | 6/37 [00:39<03:33,  6.89s/it]
+
arc_de:  19%|██████████████████████▉                                                                                                  | 7/37 [00:46<03:24,  6.80s/it]
+
arc_de:  22%|██████████████████████████▏                                                                                              | 8/37 [00:53<03:20,  6.92s/it]
+
arc_de:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:59<03:09,  6.78s/it]
+
arc_de:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:06<03:01,  6.74s/it]
+
arc_de:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:12<02:48,  6.47s/it]
+
arc_de:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:18<02:42,  6.48s/it]
+
arc_de:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:25<02:32,  6.34s/it]
+
arc_de:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:30<02:23,  6.22s/it]
+
arc_de:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:37<02:16,  6.21s/it]
+
arc_de:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:43<02:14,  6.40s/it]
+
arc_de:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:50<02:10,  6.54s/it]
+
arc_de:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:57<02:04,  6.56s/it]
+
arc_de:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:04<01:59,  6.64s/it]
+
arc_de:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:10<01:51,  6.55s/it]
+
arc_de:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:17<01:44,  6.55s/it]
+
arc_de:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:23<01:38,  6.55s/it]
+
arc_de:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:29<01:29,  6.38s/it]
+
arc_de:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:35<01:21,  6.25s/it]
+
arc_de:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:42<01:16,  6.37s/it]
+
arc_de:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:48<01:08,  6.23s/it]
+
arc_de:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:54<01:02,  6.23s/it]
+
arc_de:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:00<00:56,  6.25s/it]
+
arc_de:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:07<00:50,  6.34s/it]
+
arc_de:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:13<00:44,  6.37s/it]
+
arc_de:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:19<00:37,  6.29s/it]
+
arc_de:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:26<00:31,  6.38s/it]
+
arc_de:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:32<00:25,  6.28s/it]
+
arc_de:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:38<00:18,  6.19s/it]
+
arc_de:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:44<00:12,  6.16s/it]
+
arc_de:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:51<00:06,  6.33s/it]
+
arc_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:56<00:00,  5.97s/it]
arc_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:56<00:00,  6.39s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_de_acc 0.40633019674935844
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_de_acc_norm 0.43627031650983744
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:11:10,617 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:11:10,617 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:10,745 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:11:10,745 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:10,872 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:11:10,872 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:10,999 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:11:11,000 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:11:11,000 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:11:11,128 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:11:11,129 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_de_acc'}
+2024-05-29 07:11:11,193 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:11:11,193 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1087, 'value': 0.40633019674935844}
+2024-05-29 07:11:11,258 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:11:11,908 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:11:11,908 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:12,036 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:11:12,036 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:12,163 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:11:12,163 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:12,290 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:11:12,291 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:11:12,291 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:11:12,419 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:11:12,419 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_de_acc_norm'}
+2024-05-29 07:11:12,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:11:12,484 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1088, 'value': 0.43627031650983744}
+2024-05-29 07:11:12,548 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   4%|████▌                                                                                                             | 5/124 [23:41<8:47:42, 266.08s/it]['arc_es']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:11:13,200 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:11:13,201 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:13,329 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:11:13,329 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:13,458 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:11:13,458 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:11:13,586 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:11:13,587 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:11:13,587 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_es'}
+2024-05-29 07:11:13,716 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_es task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  9.87 examples/s]
Generating train split: 1118 examples [00:00, 7932.98 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 4309.71 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1170 examples [00:00, 8675.11 examples/s]
Generating test split: 1170 examples [00:00, 8591.97 examples/s]
+Running loglikelihood requests
+
+
arc_es:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_es:   3%|███▎                                                                                                                     | 1/37 [00:07<04:19,  7.22s/it]
+
arc_es:   5%|██████▌                                                                                                                  | 2/37 [00:13<03:57,  6.77s/it]
+
arc_es:   8%|█████████▊                                                                                                               | 3/37 [00:20<03:46,  6.66s/it]
+
arc_es:  11%|█████████████                                                                                                            | 4/37 [00:27<03:42,  6.76s/it]
+
arc_es:  14%|████████████████▎                                                                                                        | 5/37 [00:33<03:31,  6.60s/it]
+
arc_es:  16%|███████████████████▌                                                                                                     | 6/37 [00:39<03:20,  6.46s/it]
+
arc_es:  19%|██████████████████████▉                                                                                                  | 7/37 [00:46<03:18,  6.61s/it]
+
arc_es:  22%|██████████████████████████▏                                                                                              | 8/37 [00:52<03:06,  6.42s/it]
+
arc_es:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:58<02:56,  6.31s/it]
+
arc_es:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:06<02:59,  6.65s/it]
+
arc_es:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:11<02:47,  6.43s/it]
+
arc_es:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:18<02:43,  6.53s/it]
+
arc_es:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:25<02:41,  6.74s/it]
+
arc_es:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:32<02:31,  6.60s/it]
+
arc_es:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:38<02:22,  6.46s/it]
+
arc_es:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:44<02:14,  6.40s/it]
+
arc_es:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:51<02:10,  6.52s/it]
+
arc_es:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:58<02:05,  6.62s/it]
+
arc_es:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:05<02:01,  6.74s/it]
+
arc_es:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:11<01:51,  6.57s/it]
+
arc_es:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:18<01:47,  6.69s/it]
+
arc_es:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:25<01:42,  6.81s/it]
+
arc_es:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:31<01:31,  6.51s/it]
+
arc_es:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:37<01:23,  6.39s/it]
+
arc_es:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:43<01:17,  6.44s/it]
+
arc_es:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:50<01:11,  6.51s/it]
+
arc_es:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:56<01:03,  6.38s/it]
+
arc_es:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:02<00:56,  6.31s/it]
+
arc_es:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:09<00:50,  6.33s/it]
+
arc_es:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:16<00:46,  6.67s/it]
+
arc_es:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:23<00:40,  6.80s/it]
+
arc_es:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:30<00:33,  6.80s/it]
+
arc_es:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:37<00:27,  6.79s/it]
+
arc_es:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:44<00:20,  6.81s/it]
+
arc_es:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:51<00:13,  6.86s/it]
+
arc_es:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:58<00:06,  6.95s/it]
+
arc_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00,  6.45s/it]
arc_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:03<00:00,  6.59s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_es_acc 0.441025641025641
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_es_acc_norm 0.46324786324786327
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:15:18,482 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:15:18,482 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:18,604 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:15:18,605 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:18,727 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:15:18,727 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:18,849 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:15:18,850 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:15:18,850 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:15:18,974 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:15:18,974 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_es_acc'}
+2024-05-29 07:15:19,036 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:15:19,036 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1089, 'value': 0.441025641025641}
+2024-05-29 07:15:19,099 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:15:19,746 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:15:19,746 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:19,873 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:15:19,874 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:20,001 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:15:20,001 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:20,129 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:15:20,130 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:15:20,130 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:15:20,259 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:15:20,259 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_es_acc_norm'}
+2024-05-29 07:15:20,323 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:15:20,323 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1090, 'value': 0.46324786324786327}
+2024-05-29 07:15:20,388 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   5%|█████▌                                                                                                            | 6/124 [27:49<8:31:05, 259.88s/it]['arc_eu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:15:21,047 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:15:21,047 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:21,177 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:15:21,177 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:21,307 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:15:21,307 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:15:21,437 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:15:21,438 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:15:21,438 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_eu'}
+2024-05-29 07:15:21,569 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_eu task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  8.68 examples/s]
Generating train split: 1104 examples [00:00, 7202.11 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 286 examples [00:00, 3338.17 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  4.63 examples/s]
Generating test split: 1138 examples [00:00, 4485.23 examples/s]
+Running loglikelihood requests
+
+
arc_eu:   0%|                                                                                                                                 | 0/36 [00:00<?, ?it/s]
+
arc_eu:   3%|███▎                                                                                                                     | 1/36 [00:06<03:34,  6.12s/it]
+
arc_eu:   6%|██████▋                                                                                                                  | 2/36 [00:12<03:28,  6.14s/it]
+
arc_eu:   8%|██████████                                                                                                               | 3/36 [00:18<03:22,  6.14s/it]
+
arc_eu:  11%|█████████████▍                                                                                                           | 4/36 [00:24<03:16,  6.14s/it]
+
arc_eu:  14%|████████████████▊                                                                                                        | 5/36 [00:30<03:10,  6.13s/it]
+
arc_eu:  17%|████████████████████▏                                                                                                    | 6/36 [00:36<03:01,  6.07s/it]
+
arc_eu:  19%|███████████████████████▌                                                                                                 | 7/36 [00:42<02:54,  6.02s/it]
+
arc_eu:  22%|██████████████████████████▉                                                                                              | 8/36 [00:48<02:49,  6.05s/it]
+
arc_eu:  25%|██████████████████████████████▎                                                                                          | 9/36 [00:54<02:43,  6.04s/it]
+
arc_eu:  28%|█████████████████████████████████▎                                                                                      | 10/36 [01:00<02:31,  5.84s/it]
+
arc_eu:  31%|████████████████████████████████████▋                                                                                   | 11/36 [01:05<02:23,  5.75s/it]
+
arc_eu:  33%|████████████████████████████████████████                                                                                | 12/36 [01:11<02:16,  5.68s/it]
+
arc_eu:  36%|███████████████████████████████████████████▎                                                                            | 13/36 [01:18<02:19,  6.07s/it]
+
arc_eu:  39%|██████████████████████████████████████████████▋                                                                         | 14/36 [01:24<02:15,  6.16s/it]
+
arc_eu:  42%|██████████████████████████████████████████████████                                                                      | 15/36 [01:30<02:07,  6.07s/it]
+
arc_eu:  44%|█████████████████████████████████████████████████████▎                                                                  | 16/36 [01:36<02:01,  6.08s/it]
+
arc_eu:  47%|████████████████████████████████████████████████████████▋                                                               | 17/36 [01:42<01:55,  6.07s/it]
+
arc_eu:  50%|████████████████████████████████████████████████████████████                                                            | 18/36 [01:48<01:51,  6.18s/it]
+
arc_eu:  53%|███████████████████████████████████████████████████████████████▎                                                        | 19/36 [01:55<01:46,  6.28s/it]
+
arc_eu:  56%|██████████████████████████████████████████████████████████████████▋                                                     | 20/36 [02:02<01:42,  6.38s/it]
+
arc_eu:  58%|██████████████████████████████████████████████████████████████████████                                                  | 21/36 [02:08<01:34,  6.27s/it]
+
arc_eu:  61%|█████████████████████████████████████████████████████████████████████████▎                                              | 22/36 [02:14<01:27,  6.28s/it]
+
arc_eu:  64%|████████████████████████████████████████████████████████████████████████████▋                                           | 23/36 [02:19<01:18,  6.04s/it]
+
arc_eu:  67%|████████████████████████████████████████████████████████████████████████████████                                        | 24/36 [02:25<01:12,  6.01s/it]
+
arc_eu:  69%|███████████████████████████████████████████████████████████████████████████████████▎                                    | 25/36 [02:32<01:07,  6.11s/it]
+
arc_eu:  72%|██████████████████████████████████████████████████████████████████████████████████████▋                                 | 26/36 [02:38<01:00,  6.08s/it]
+
arc_eu:  75%|██████████████████████████████████████████████████████████████████████████████████████████                              | 27/36 [02:43<00:52,  5.83s/it]
+
arc_eu:  78%|█████████████████████████████████████████████████████████████████████████████████████████████▎                          | 28/36 [02:49<00:46,  5.77s/it]
+
arc_eu:  81%|████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 29/36 [02:55<00:42,  6.10s/it]
+
arc_eu:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████                    | 30/36 [03:02<00:36,  6.12s/it]
+
arc_eu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 31/36 [03:08<00:30,  6.11s/it]
+
arc_eu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 32/36 [03:14<00:25,  6.27s/it]
+
arc_eu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 33/36 [03:20<00:18,  6.18s/it]
+
arc_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 34/36 [03:26<00:12,  6.10s/it]
+
arc_eu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 35/36 [03:32<00:06,  6.16s/it]
+
arc_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [03:37<00:00,  5.70s/it]
arc_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [03:37<00:00,  6.04s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_eu_acc 0.21441124780316345
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_eu_acc_norm 0.2530755711775044
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:19:00,385 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:19:00,386 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:00,514 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:19:00,514 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:00,643 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:19:00,643 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:00,772 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:19:00,773 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:19:00,773 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:19:00,903 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:19:00,903 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_eu_acc'}
+2024-05-29 07:19:00,968 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:19:00,968 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1091, 'value': 0.21441124780316345}
+2024-05-29 07:19:01,034 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:19:01,691 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:19:01,691 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:01,820 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:19:01,820 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:01,950 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:19:01,950 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:02,079 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:19:02,080 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:19:02,080 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:19:02,210 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:19:02,210 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_eu_acc_norm'}
+2024-05-29 07:19:02,276 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:19:02,276 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1092, 'value': 0.2530755711775044}
+2024-05-29 07:19:02,341 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   6%|██████▍                                                                                                           | 7/124 [31:31<8:02:34, 247.48s/it]['arc_fr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:19:02,968 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:19:02,968 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:03,091 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:19:03,091 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:03,213 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:19:03,213 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:19:03,336 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:19:03,336 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:19:03,337 INFO sqlalchemy.engine.Engine [generated in 0.00041s] {'name_1_1': 'arc_fr'}
+2024-05-29 07:19:03,460 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_fr task_provider=lm_eval)]
+Running loglikelihood requests
+
+
arc_fr:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_fr:   3%|███▎                                                                                                                     | 1/37 [00:07<04:28,  7.47s/it]
+
arc_fr:   5%|██████▌                                                                                                                  | 2/37 [00:13<03:42,  6.37s/it]
+
arc_fr:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:24,  6.02s/it]
+
arc_fr:  11%|█████████████                                                                                                            | 4/37 [00:24<03:21,  6.10s/it]
+
arc_fr:  14%|████████████████▎                                                                                                        | 5/37 [00:31<03:17,  6.18s/it]
+
arc_fr:  16%|███████████████████▌                                                                                                     | 6/37 [00:38<03:25,  6.61s/it]
+
arc_fr:  19%|██████████████████████▉                                                                                                  | 7/37 [00:45<03:15,  6.52s/it]
+
arc_fr:  22%|██████████████████████████▏                                                                                              | 8/37 [00:51<03:07,  6.47s/it]
+
arc_fr:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:57<02:59,  6.41s/it]
+
arc_fr:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:04<02:54,  6.45s/it]
+
arc_fr:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:10<02:45,  6.37s/it]
+
arc_fr:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:17<02:43,  6.55s/it]
+
arc_fr:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:23<02:33,  6.39s/it]
+
arc_fr:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:29<02:27,  6.42s/it]
+
arc_fr:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:35<02:17,  6.23s/it]
+
arc_fr:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:41<02:09,  6.15s/it]
+
arc_fr:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:47<01:59,  5.98s/it]
+
arc_fr:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:53<01:57,  6.19s/it]
+
arc_fr:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [01:59<01:51,  6.17s/it]
+
arc_fr:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:06<01:44,  6.13s/it]
+
arc_fr:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:12<01:37,  6.11s/it]
+
arc_fr:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:18<01:34,  6.28s/it]
+
arc_fr:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:24<01:26,  6.20s/it]
+
arc_fr:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:30<01:18,  6.06s/it]
+
arc_fr:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:36<01:12,  6.02s/it]
+
arc_fr:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:42<01:05,  5.97s/it]
+
arc_fr:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:48<01:00,  6.10s/it]
+
arc_fr:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [02:55<00:56,  6.23s/it]
+
arc_fr:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:01<00:49,  6.20s/it]
+
arc_fr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:07<00:42,  6.09s/it]
+
arc_fr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:13<00:36,  6.10s/it]
+
arc_fr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:19<00:30,  6.20s/it]
+
arc_fr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:25<00:24,  6.02s/it]
+
arc_fr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:31<00:18,  6.08s/it]
+
arc_fr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:38<00:12,  6.30s/it]
+
arc_fr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:44<00:06,  6.32s/it]
+
arc_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:49<00:00,  5.98s/it]
arc_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:49<00:00,  6.21s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_fr_acc 0.4388366124893071
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_fr_acc_norm 0.4593669803250642
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:22:54,389 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:22:54,389 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:54,518 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:22:54,518 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:54,646 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:22:54,647 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:54,775 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:22:54,776 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:22:54,776 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:22:54,906 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:22:54,906 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_fr_acc'}
+2024-05-29 07:22:54,971 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:22:54,971 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1093, 'value': 0.4388366124893071}
+2024-05-29 07:22:55,037 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:22:55,689 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:22:55,689 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:55,818 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:22:55,818 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:55,946 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:22:55,946 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:56,074 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:22:56,075 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:22:56,075 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:22:56,204 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:22:56,204 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_fr_acc_norm'}
+2024-05-29 07:22:56,269 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:22:56,270 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1094, 'value': 0.4593669803250642}
+2024-05-29 07:22:56,334 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   6%|███████▎                                                                                                          | 8/124 [35:25<7:50:09, 243.18s/it]['arc_gu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:22:56,967 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:22:56,967 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:57,091 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:22:57,091 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:57,215 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:22:57,215 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:22:57,339 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:22:57,340 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:22:57,340 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_gu'}
+2024-05-29 07:22:57,465 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_gu task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1110 examples [00:00, 8376.84 examples/s]
Generating train split: 1110 examples [00:00, 8295.68 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  9.36 examples/s]
Generating validation split: 287 examples [00:00, 2440.85 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.20 examples/s]
Generating test split: 1160 examples [00:00, 4987.69 examples/s]
+Running loglikelihood requests
+
+
arc_gu:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_gu:   3%|███▎                                                                                                                     | 1/37 [00:12<07:33, 12.60s/it]
+
arc_gu:   5%|██████▌                                                                                                                  | 2/37 [00:25<07:24, 12.69s/it]
+
arc_gu:   8%|█████████▊                                                                                                               | 3/37 [00:35<06:33, 11.58s/it]
+
arc_gu:  11%|█████████████                                                                                                            | 4/37 [00:47<06:26, 11.70s/it]
+
arc_gu:  14%|████████████████▎                                                                                                        | 5/37 [00:58<06:03, 11.37s/it]
+
arc_gu:  16%|███████████████████▌                                                                                                     | 6/37 [01:10<05:59, 11.61s/it]
+
arc_gu:  19%|██████████████████████▉                                                                                                  | 7/37 [01:20<05:37, 11.24s/it]
+
arc_gu:  22%|██████████████████████████▏                                                                                              | 8/37 [01:31<05:23, 11.15s/it]
+
arc_gu:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:43<05:15, 11.26s/it]
+
arc_gu:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:54<05:03, 11.26s/it]
+
arc_gu:  30%|███████████████████████████████████▋                                                                                    | 11/37 [02:06<04:59, 11.51s/it]
+
arc_gu:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [02:17<04:44, 11.39s/it]
+
arc_gu:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [02:29<04:37, 11.58s/it]
+
arc_gu:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [02:40<04:20, 11.34s/it]
+
arc_gu:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:52<04:10, 11.38s/it]
+
arc_gu:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [03:03<04:00, 11.43s/it]
+
arc_gu:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [03:14<03:45, 11.27s/it]
+
arc_gu:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [03:25<03:30, 11.08s/it]
+
arc_gu:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [03:34<03:10, 10.59s/it]
+
arc_gu:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [03:45<03:03, 10.80s/it]
+
arc_gu:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [03:56<02:53, 10.87s/it]
+
arc_gu:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [04:09<02:49, 11.30s/it]
+
arc_gu:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [04:20<02:37, 11.28s/it]
+
arc_gu:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [04:33<02:32, 11.72s/it]
+
arc_gu:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [04:43<02:17, 11.45s/it]
+
arc_gu:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [04:54<02:02, 11.14s/it]
+
arc_gu:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [05:06<01:54, 11.45s/it]
+
arc_gu:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [05:18<01:44, 11.64s/it]
+
arc_gu:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [05:30<01:33, 11.67s/it]
+
arc_gu:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [05:41<01:21, 11.61s/it]
+
arc_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [05:56<01:14, 12.39s/it]
+
arc_gu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [06:06<00:58, 11.74s/it]
+
arc_gu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [06:18<00:47, 11.84s/it]
+
arc_gu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [06:30<00:35, 11.89s/it]
+
arc_gu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [06:41<00:23, 11.75s/it]
+
arc_gu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [06:52<00:11, 11.38s/it]
+
arc_gu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:58<00:00,  9.89s/it]
arc_gu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [06:58<00:00, 11.32s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_gu_acc 0.2206896551724138
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_gu_acc_norm 0.2413793103448276
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:29:57,404 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:29:57,404 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:57,532 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:29:57,532 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:57,660 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:29:57,660 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:57,787 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:29:57,788 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:29:57,788 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:29:57,917 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:29:57,917 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_gu_acc'}
+2024-05-29 07:29:57,982 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:29:57,982 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1095, 'value': 0.2206896551724138}
+2024-05-29 07:29:58,048 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:29:58,677 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:29:58,678 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:58,801 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:29:58,801 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:58,925 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:29:58,925 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:29:59,048 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:29:59,049 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:29:59,049 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:29:59,173 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:29:59,173 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_gu_acc_norm'}
+2024-05-29 07:29:59,236 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:29:59,236 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1096, 'value': 0.2413793103448276}
+2024-05-29 07:29:59,299 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   7%|████████▎                                                                                                         | 9/124 [42:28<9:33:49, 299.39s/it]['arc_hi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:29:59,942 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:29:59,942 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:30:00,070 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:30:00,070 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:30:00,198 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:30:00,198 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:30:00,325 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:30:00,326 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:30:00,326 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_hi'}
+2024-05-29 07:30:00,454 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_hi task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  4.50 examples/s]
Generating train split: 1116 examples [00:00, 4232.69 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  4.68 examples/s]
Generating validation split: 298 examples [00:00, 1326.79 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.07 examples/s]
Generating test split: 1168 examples [00:00, 4903.52 examples/s]
+Running loglikelihood requests
+
+
arc_hi:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_hi:   3%|███▎                                                                                                                     | 1/37 [00:10<06:09, 10.25s/it]
+
arc_hi:   5%|██████▌                                                                                                                  | 2/37 [00:19<05:42,  9.80s/it]
+
arc_hi:   8%|█████████▊                                                                                                               | 3/37 [00:29<05:33,  9.80s/it]
+
arc_hi:  11%|█████████████                                                                                                            | 4/37 [00:38<05:14,  9.54s/it]
+
arc_hi:  14%|████████████████▎                                                                                                        | 5/37 [00:48<05:05,  9.54s/it]
+
arc_hi:  16%|███████████████████▌                                                                                                     | 6/37 [00:58<05:04,  9.83s/it]
+
arc_hi:  19%|██████████████████████▉                                                                                                  | 7/37 [01:08<04:57,  9.90s/it]
+
arc_hi:  22%|██████████████████████████▏                                                                                              | 8/37 [01:17<04:39,  9.63s/it]
+
arc_hi:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:27<04:34,  9.82s/it]
+
arc_hi:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:38<04:29,  9.99s/it]
+
arc_hi:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:47<04:15,  9.81s/it]
+
arc_hi:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:57<04:07,  9.92s/it]
+
arc_hi:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [02:07<03:57,  9.90s/it]
+
arc_hi:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [02:17<03:43,  9.74s/it]
+
arc_hi:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:27<03:37,  9.90s/it]
+
arc_hi:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:36<03:23,  9.69s/it]
+
arc_hi:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:45<03:09,  9.47s/it]
+
arc_hi:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:54<02:58,  9.41s/it]
+
arc_hi:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [03:05<02:55,  9.72s/it]
+
arc_hi:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [03:14<02:44,  9.68s/it]
+
arc_hi:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [03:24<02:32,  9.54s/it]
+
arc_hi:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:34<02:26,  9.77s/it]
+
arc_hi:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:43<02:12,  9.45s/it]
+
arc_hi:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:51<01:59,  9.22s/it]
+
arc_hi:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [04:00<01:50,  9.20s/it]
+
arc_hi:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [04:11<01:44,  9.49s/it]
+
arc_hi:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [04:20<01:35,  9.59s/it]
+
arc_hi:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [04:30<01:27,  9.72s/it]
+
arc_hi:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [04:40<01:17,  9.69s/it]
+
arc_hi:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:49<01:07,  9.60s/it]
+
arc_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [05:00<00:58,  9.80s/it]
+
arc_hi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [05:08<00:47,  9.45s/it]
+
arc_hi:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [05:18<00:37,  9.42s/it]
+
arc_hi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [05:28<00:28,  9.66s/it]
+
arc_hi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [05:38<00:19,  9.76s/it]
+
arc_hi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [05:48<00:09,  9.93s/it]
+
arc_hi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:55<00:00,  8.92s/it]
arc_hi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:55<00:00,  9.60s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hi_acc 0.2071917808219178
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hi_acc_norm 0.2517123287671233
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:35:57,206 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:35:57,206 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:57,336 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:35:57,336 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:57,466 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:35:57,466 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:57,595 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:35:57,596 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:35:57,596 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:35:57,727 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:35:57,727 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hi_acc'}
+2024-05-29 07:35:57,794 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:35:57,794 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1097, 'value': 0.2071917808219178}
+2024-05-29 07:35:57,860 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:35:58,482 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:35:58,482 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:58,603 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:35:58,603 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:58,724 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:35:58,724 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:58,845 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:35:58,846 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:35:58,846 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:35:58,968 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:35:58,968 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hi_acc_norm'}
+2024-05-29 07:35:59,030 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:35:59,030 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1098, 'value': 0.2517123287671233}
+2024-05-29 07:35:59,091 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   8%|█████████                                                                                                       | 10/124 [48:28<10:04:15, 318.03s/it]['arc_hr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:35:59,725 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:35:59,725 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:59,850 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:35:59,850 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:35:59,974 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:35:59,974 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:36:00,100 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:36:00,101 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:36:00,101 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_hr'}
+2024-05-29 07:36:00,226 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_hr task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1115 examples [00:00, 8256.84 examples/s]
Generating train split: 1115 examples [00:00, 8186.97 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  8.89 examples/s]
Generating validation split: 297 examples [00:00, 2413.09 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  8.31 examples/s]
Generating test split: 1169 examples [00:00, 7330.63 examples/s]
+Running loglikelihood requests
+
+
arc_hr:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_hr:   3%|███▎                                                                                                                     | 1/37 [00:06<04:09,  6.94s/it]
+
arc_hr:   5%|██████▌                                                                                                                  | 2/37 [00:14<04:09,  7.12s/it]
+
arc_hr:   8%|█████████▊                                                                                                               | 3/37 [00:21<04:02,  7.14s/it]
+
arc_hr:  11%|█████████████                                                                                                            | 4/37 [00:27<03:48,  6.93s/it]
+
arc_hr:  14%|████████████████▎                                                                                                        | 5/37 [00:34<03:40,  6.89s/it]
+
arc_hr:  16%|███████████████████▌                                                                                                     | 6/37 [00:42<03:37,  7.03s/it]
+
arc_hr:  19%|██████████████████████▉                                                                                                  | 7/37 [00:49<03:31,  7.06s/it]
+
arc_hr:  22%|██████████████████████████▏                                                                                              | 8/37 [00:56<03:27,  7.15s/it]
+
arc_hr:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:03<03:17,  7.05s/it]
+
arc_hr:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:10<03:06,  6.92s/it]
+
arc_hr:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:16<02:56,  6.80s/it]
+
arc_hr:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:23<02:48,  6.74s/it]
+
arc_hr:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:29<02:37,  6.57s/it]
+
arc_hr:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:36<02:34,  6.74s/it]
+
arc_hr:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:43<02:28,  6.75s/it]
+
arc_hr:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:50<02:22,  6.76s/it]
+
arc_hr:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:57<02:18,  6.91s/it]
+
arc_hr:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:04<02:11,  6.94s/it]
+
arc_hr:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:11<02:05,  6.97s/it]
+
arc_hr:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:18<02:01,  7.12s/it]
+
arc_hr:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:25<01:51,  6.94s/it]
+
arc_hr:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:31<01:42,  6.81s/it]
+
arc_hr:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:38<01:35,  6.80s/it]
+
arc_hr:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:44<01:24,  6.52s/it]
+
arc_hr:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:50<01:17,  6.50s/it]
+
arc_hr:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:57<01:11,  6.54s/it]
+
arc_hr:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:04<01:06,  6.70s/it]
+
arc_hr:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:11<01:00,  6.76s/it]
+
arc_hr:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:18<00:54,  6.84s/it]
+
arc_hr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:26<00:49,  7.09s/it]
+
arc_hr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:33<00:43,  7.25s/it]
+
arc_hr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:40<00:35,  7.16s/it]
+
arc_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:48<00:28,  7.23s/it]
+
arc_hr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:55<00:21,  7.29s/it]
+
arc_hr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:02<00:14,  7.31s/it]
+
arc_hr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:09<00:07,  7.20s/it]
+
arc_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00,  6.58s/it]
arc_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00,  6.89s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hr_acc 0.2668947818648417
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hr_acc_norm 0.2985457656116339
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:40:16,700 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:40:16,700 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:16,827 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:40:16,827 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:16,955 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:40:16,955 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:17,082 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:40:17,083 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:40:17,083 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:40:17,212 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:40:17,212 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_hr_acc'}
+2024-05-29 07:40:17,277 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:40:17,277 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1099, 'value': 0.2668947818648417}
+2024-05-29 07:40:17,342 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:40:17,974 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:40:17,974 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:18,102 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:40:18,102 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:18,226 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:40:18,226 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:18,350 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:40:18,351 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:40:18,351 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:40:18,476 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:40:18,476 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hr_acc_norm'}
+2024-05-29 07:40:18,539 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:40:18,539 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1100, 'value': 0.2985457656116339}
+2024-05-29 07:40:18,602 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:   9%|██████████                                                                                                       | 11/124 [52:47<9:25:13, 300.12s/it]['arc_hu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:40:19,251 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:40:19,251 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:19,379 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:40:19,379 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:19,507 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:40:19,507 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:40:19,635 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:40:19,636 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:40:19,636 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_hu'}
+2024-05-29 07:40:19,765 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_hu task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1117 examples [00:00, 8320.18 examples/s]
Generating train split: 1117 examples [00:00, 8242.63 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 22497.89 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  7.29 examples/s]
Generating test split: 1168 examples [00:00, 6605.11 examples/s]
+Running loglikelihood requests
+
+
arc_hu:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_hu:   3%|███▎                                                                                                                     | 1/37 [00:06<03:54,  6.51s/it]
+
arc_hu:   5%|██████▌                                                                                                                  | 2/37 [00:12<03:30,  6.01s/it]
+
arc_hu:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:28,  6.12s/it]
+
arc_hu:  11%|█████████████                                                                                                            | 4/37 [00:24<03:24,  6.21s/it]
+
arc_hu:  14%|████████████████▎                                                                                                        | 5/37 [00:31<03:19,  6.23s/it]
+
arc_hu:  16%|███████████████████▌                                                                                                     | 6/37 [00:37<03:13,  6.24s/it]
+
arc_hu:  19%|██████████████████████▉                                                                                                  | 7/37 [00:44<03:12,  6.43s/it]
+
arc_hu:  22%|██████████████████████████▏                                                                                              | 8/37 [00:50<03:04,  6.35s/it]
+
arc_hu:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:56<03:00,  6.43s/it]
+
arc_hu:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:03<02:53,  6.42s/it]
+
arc_hu:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:09<02:44,  6.33s/it]
+
arc_hu:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:16<02:44,  6.58s/it]
+
arc_hu:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:23<02:41,  6.74s/it]
+
arc_hu:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:30<02:33,  6.66s/it]
+
arc_hu:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:36<02:26,  6.67s/it]
+
arc_hu:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:43<02:18,  6.61s/it]
+
arc_hu:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:49<02:09,  6.48s/it]
+
arc_hu:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:56<02:03,  6.52s/it]
+
arc_hu:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:02<01:56,  6.46s/it]
+
arc_hu:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:08<01:48,  6.37s/it]
+
arc_hu:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:14<01:41,  6.33s/it]
+
arc_hu:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:21<01:35,  6.34s/it]
+
arc_hu:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:27<01:28,  6.34s/it]
+
arc_hu:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:33<01:21,  6.26s/it]
+
arc_hu:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:39<01:14,  6.21s/it]
+
arc_hu:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:46<01:11,  6.48s/it]
+
arc_hu:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:53<01:04,  6.50s/it]
+
arc_hu:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [02:59<00:58,  6.48s/it]
+
arc_hu:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:06<00:52,  6.52s/it]
+
arc_hu:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:12<00:45,  6.52s/it]
+
arc_hu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:19<00:39,  6.58s/it]
+
arc_hu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:26<00:32,  6.54s/it]
+
arc_hu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:32<00:26,  6.56s/it]
+
arc_hu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:39<00:19,  6.56s/it]
+
arc_hu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:45<00:12,  6.46s/it]
+
arc_hu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:51<00:06,  6.42s/it]
+
arc_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00,  6.13s/it]
arc_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:57<00:00,  6.41s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hu_acc 0.1840753424657534
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hu_acc_norm 0.24743150684931506
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:44:18,041 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:44:18,041 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:18,157 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:44:18,157 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:18,273 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:44:18,273 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:18,388 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:44:18,389 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:44:18,389 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:44:18,505 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:44:18,506 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_hu_acc'}
+2024-05-29 07:44:18,564 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:44:18,564 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1101, 'value': 0.1840753424657534}
+2024-05-29 07:44:18,624 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:44:19,231 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:44:19,231 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:19,351 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:44:19,351 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:19,470 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:44:19,470 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:19,590 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:44:19,591 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:44:19,591 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:44:19,712 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:44:19,712 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hu_acc_norm'}
+2024-05-29 07:44:19,773 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:44:19,773 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1102, 'value': 0.24743150684931506}
+2024-05-29 07:44:19,834 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  10%|██████████▉                                                                                                      | 12/124 [56:49<8:46:47, 282.21s/it]['arc_hy']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:44:20,452 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:44:20,452 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:20,573 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:44:20,573 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:20,694 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:44:20,694 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:44:20,815 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:44:20,816 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:44:20,816 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_hy'}
+2024-05-29 07:44:20,938 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_hy task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  7.80 examples/s]
Generating train split: 1088 examples [00:00, 6479.66 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 290 examples [00:00, 22053.67 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  7.27 examples/s]
Generating test split: 1100 examples [00:00, 6276.57 examples/s]
+Running loglikelihood requests
+
+
arc_hy:   0%|                                                                                                                                 | 0/35 [00:00<?, ?it/s]
+
arc_hy:   3%|███▍                                                                                                                     | 1/35 [00:10<06:05, 10.74s/it]
+
arc_hy:   6%|██████▉                                                                                                                  | 2/35 [00:22<06:23, 11.61s/it]
+
arc_hy:   9%|██████████▎                                                                                                              | 3/35 [00:34<06:10, 11.57s/it]
+
arc_hy:  11%|█████████████▊                                                                                                           | 4/35 [00:44<05:39, 10.94s/it]
+
arc_hy:  14%|█████████████████▎                                                                                                       | 5/35 [00:55<05:30, 11.00s/it]
+
arc_hy:  17%|████████████████████▋                                                                                                    | 6/35 [01:06<05:17, 10.94s/it]
+
arc_hy:  20%|████████████████████████▏                                                                                                | 7/35 [01:18<05:14, 11.24s/it]
+
arc_hy:  23%|███████████████████████████▋                                                                                             | 8/35 [01:29<05:05, 11.31s/it]
+
arc_hy:  26%|███████████████████████████████                                                                                          | 9/35 [01:41<04:58, 11.49s/it]
+
arc_hy:  29%|██████████████████████████████████▎                                                                                     | 10/35 [01:52<04:39, 11.18s/it]
+
arc_hy:  31%|█████████████████████████████████████▋                                                                                  | 11/35 [02:02<04:22, 10.92s/it]
+
arc_hy:  34%|█████████████████████████████████████████▏                                                                              | 12/35 [02:13<04:12, 10.99s/it]
+
arc_hy:  37%|████████████████████████████████████████████▌                                                                           | 13/35 [02:24<04:02, 11.02s/it]
+
arc_hy:  40%|████████████████████████████████████████████████                                                                        | 14/35 [02:36<03:54, 11.15s/it]
+
arc_hy:  43%|███████████████████████████████████████████████████▍                                                                    | 15/35 [02:47<03:43, 11.16s/it]
+
arc_hy:  46%|██████████████████████████████████████████████████████▊                                                                 | 16/35 [02:57<03:24, 10.76s/it]
+
arc_hy:  49%|██████████████████████████████████████████████████████████▎                                                             | 17/35 [03:08<03:18, 11.05s/it]
+
arc_hy:  51%|█████████████████████████████████████████████████████████████▋                                                          | 18/35 [03:20<03:10, 11.21s/it]
+
arc_hy:  54%|█████████████████████████████████████████████████████████████████▏                                                      | 19/35 [03:31<02:57, 11.10s/it]
+
arc_hy:  57%|████████████████████████████████████████████████████████████████████▌                                                   | 20/35 [03:44<02:53, 11.59s/it]
+
arc_hy:  60%|████████████████████████████████████████████████████████████████████████                                                | 21/35 [03:55<02:42, 11.58s/it]
+
arc_hy:  63%|███████████████████████████████████████████████████████████████████████████▍                                            | 22/35 [04:06<02:29, 11.47s/it]
+
arc_hy:  66%|██████████████████████████████████████████████████████████████████████████████▊                                         | 23/35 [04:17<02:15, 11.32s/it]
+
arc_hy:  69%|██████████████████████████████████████████████████████████████████████████████████▎                                     | 24/35 [04:27<01:59, 10.87s/it]
+
arc_hy:  71%|█████████████████████████████████████████████████████████████████████████████████████▋                                  | 25/35 [04:38<01:47, 10.78s/it]
+
arc_hy:  74%|█████████████████████████████████████████████████████████████████████████████████████████▏                              | 26/35 [04:49<01:37, 10.83s/it]
+
arc_hy:  77%|████████████████████████████████████████████████████████████████████████████████████████████▌                           | 27/35 [05:00<01:27, 10.89s/it]
+
arc_hy:  80%|████████████████████████████████████████████████████████████████████████████████████████████████                        | 28/35 [05:12<01:18, 11.22s/it]
+
arc_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 29/35 [05:22<01:06, 11.13s/it]
+
arc_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 30/35 [05:35<00:57, 11.43s/it]
+
arc_hy:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 31/35 [05:46<00:45, 11.43s/it]
+
arc_hy:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 32/35 [05:57<00:34, 11.40s/it]
+
arc_hy:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 33/35 [06:08<00:22, 11.17s/it]
+
arc_hy:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 34/35 [06:19<00:11, 11.21s/it]
+
arc_hy: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 35/35 [06:26<00:00,  9.90s/it]
arc_hy: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 35/35 [06:26<00:00, 11.05s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hy_acc 0.20636363636363636
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_hy_acc_norm 0.25727272727272726
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:50:48,636 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:50:48,636 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:48,754 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:50:48,754 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:48,872 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:50:48,872 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:48,990 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:50:48,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:50:48,991 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:50:49,110 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:50:49,110 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_hy_acc'}
+2024-05-29 07:50:49,170 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:50:49,170 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1103, 'value': 0.20636363636363636}
+2024-05-29 07:50:49,230 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:50:49,887 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:50:49,887 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:50,018 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:50:50,018 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:50,149 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:50:50,149 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:50:50,280 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:50:50,412 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:50:50,412 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_hy_acc_norm'}
+2024-05-29 07:50:50,479 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:50:50,479 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1104, 'value': 0.25727272727272726}
+2024-05-29 07:50:50,545 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  10%|███████████▋                                                                                                   | 13/124 [1:03:19<9:42:53, 315.08s/it]['arc_id']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:50:51,194 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:50:51,194 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:51,321 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:50:51,321 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:51,448 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:50:51,448 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:50:51,575 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:50:51,576 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:50:51,576 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_id'}
+2024-05-29 07:50:51,704 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_id task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  9.83 examples/s]
Generating train split: 1118 examples [00:00, 8018.18 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 298 examples [00:00, 2906.02 examples/s]
Generating validation split: 298 examples [00:00, 2849.41 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1170 examples [00:00, 10133.05 examples/s]
Generating test split: 1170 examples [00:00, 10031.02 examples/s]
+Running loglikelihood requests
+
+
arc_id:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_id:   3%|███▎                                                                                                                     | 1/37 [00:08<04:58,  8.28s/it]
+
arc_id:   5%|██████▌                                                                                                                  | 2/37 [00:15<04:33,  7.82s/it]
+
arc_id:   8%|█████████▊                                                                                                               | 3/37 [00:23<04:27,  7.87s/it]
+
arc_id:  11%|█████████████                                                                                                            | 4/37 [00:32<04:25,  8.06s/it]
+
arc_id:  14%|████████████████▎                                                                                                        | 5/37 [00:39<04:11,  7.87s/it]
+
arc_id:  16%|███████████████████▌                                                                                                     | 6/37 [00:47<04:01,  7.79s/it]
+
arc_id:  19%|██████████████████████▉                                                                                                  | 7/37 [00:54<03:51,  7.70s/it]
+
arc_id:  22%|██████████████████████████▏                                                                                              | 8/37 [01:03<03:48,  7.89s/it]
+
arc_id:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:11<03:43,  7.97s/it]
+
arc_id:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:18<03:31,  7.84s/it]
+
arc_id:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:26<03:21,  7.76s/it]
+
arc_id:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:34<03:16,  7.88s/it]
+
arc_id:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:42<03:06,  7.79s/it]
+
arc_id:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:50<03:00,  7.86s/it]
+
arc_id:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:57<02:50,  7.77s/it]
+
arc_id:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:05<02:41,  7.71s/it]
+
arc_id:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:13<02:36,  7.83s/it]
+
arc_id:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:20<02:27,  7.78s/it]
+
arc_id:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:28<02:19,  7.74s/it]
+
arc_id:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:36<02:11,  7.71s/it]
+
arc_id:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:44<02:05,  7.85s/it]
+
arc_id:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:51<01:56,  7.74s/it]
+
arc_id:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:59<01:46,  7.61s/it]
+
arc_id:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:06<01:38,  7.59s/it]
+
arc_id:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:14<01:30,  7.57s/it]
+
arc_id:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:22<01:25,  7.79s/it]
+
arc_id:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:29<01:16,  7.66s/it]
+
arc_id:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:37<01:09,  7.69s/it]
+
arc_id:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:45<01:02,  7.80s/it]
+
arc_id:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:53<00:54,  7.76s/it]
+
arc_id:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:00<00:45,  7.58s/it]
+
arc_id:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [04:07<00:37,  7.52s/it]
+
arc_id:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [04:15<00:30,  7.66s/it]
+
arc_id:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:23<00:23,  7.69s/it]
+
arc_id:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:31<00:15,  7.74s/it]
+
arc_id:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:39<00:07,  7.70s/it]
+
arc_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:45<00:00,  7.16s/it]
arc_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:45<00:00,  7.70s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_id_acc 0.3034188034188034
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_id_acc_norm 0.3418803418803419
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:55:37,877 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:55:37,877 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:38,004 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:55:38,004 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:38,131 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:55:38,131 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:38,258 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:55:38,259 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:55:38,259 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:55:38,387 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:55:38,387 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_id_acc'}
+2024-05-29 07:55:38,452 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:55:38,452 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1105, 'value': 0.3034188034188034}
+2024-05-29 07:55:38,517 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:55:39,164 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:55:39,164 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:39,291 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:55:39,291 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:39,419 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:55:39,419 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:39,546 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:55:39,547 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:55:39,547 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:55:39,675 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:55:39,675 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_id_acc_norm'}
+2024-05-29 07:55:39,740 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:55:39,740 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1106, 'value': 0.3418803418803419}
+2024-05-29 07:55:39,804 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  11%|████████████▌                                                                                                  | 14/124 [1:08:09<9:23:20, 307.28s/it]['arc_it']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:55:40,441 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:55:40,441 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:40,565 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:55:40,565 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:40,688 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:55:40,688 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:55:40,811 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:55:40,812 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:55:40,812 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_it'}
+2024-05-29 07:55:40,936 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_it task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  5.31 examples/s]
Generating train split: 1118 examples [00:00, 4918.73 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 23314.34 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.67 examples/s]
Generating test split: 1169 examples [00:00, 5433.98 examples/s]
+Running loglikelihood requests
+
+
arc_it:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_it:   3%|███▎                                                                                                                     | 1/37 [00:07<04:14,  7.07s/it]
+
arc_it:   5%|██████▌                                                                                                                  | 2/37 [00:14<04:06,  7.03s/it]
+
arc_it:   8%|█████████▊                                                                                                               | 3/37 [00:20<03:45,  6.63s/it]
+
arc_it:  11%|█████████████                                                                                                            | 4/37 [00:27<03:48,  6.94s/it]
+
arc_it:  14%|████████████████▎                                                                                                        | 5/37 [00:34<03:43,  6.97s/it]
+
arc_it:  16%|███████████████████▌                                                                                                     | 6/37 [00:40<03:27,  6.71s/it]
+
arc_it:  19%|██████████████████████▉                                                                                                  | 7/37 [00:47<03:16,  6.56s/it]
+
arc_it:  22%|██████████████████████████▏                                                                                              | 8/37 [00:53<03:06,  6.45s/it]
+
arc_it:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:00<03:03,  6.55s/it]
+
arc_it:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:06<02:56,  6.54s/it]
+
arc_it:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:12<02:45,  6.36s/it]
+
arc_it:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:19<02:41,  6.45s/it]
+
arc_it:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:25<02:34,  6.44s/it]
+
arc_it:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:32<02:29,  6.51s/it]
+
arc_it:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:39<02:26,  6.67s/it]
+
arc_it:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:45<02:17,  6.56s/it]
+
arc_it:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:52<02:10,  6.52s/it]
+
arc_it:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:59<02:09,  6.81s/it]
+
arc_it:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:06<02:02,  6.79s/it]
+
arc_it:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:12<01:51,  6.58s/it]
+
arc_it:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:18<01:43,  6.45s/it]
+
arc_it:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:25<01:37,  6.49s/it]
+
arc_it:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:31<01:30,  6.50s/it]
+
arc_it:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:37<01:23,  6.44s/it]
+
arc_it:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:44<01:17,  6.48s/it]
+
arc_it:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:50<01:10,  6.45s/it]
+
arc_it:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:57<01:04,  6.43s/it]
+
arc_it:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:03<00:57,  6.40s/it]
+
arc_it:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:09<00:50,  6.33s/it]
+
arc_it:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:17<00:47,  6.72s/it]
+
arc_it:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:23<00:39,  6.59s/it]
+
arc_it:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:30<00:32,  6.56s/it]
+
arc_it:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:36<00:26,  6.56s/it]
+
arc_it:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:43<00:20,  6.68s/it]
+
arc_it:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:50<00:13,  6.70s/it]
+
arc_it:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:57<00:06,  6.82s/it]
+
arc_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:02<00:00,  6.30s/it]
arc_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:02<00:00,  6.56s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_it_acc 0.4234388366124893
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_it_acc_norm 0.4576561163387511
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:59:44,720 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:59:44,720 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:44,843 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:59:44,843 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:44,965 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:59:44,965 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:45,087 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:59:45,088 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:59:45,088 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:59:45,211 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:59:45,211 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_it_acc'}
+2024-05-29 07:59:45,273 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:59:45,274 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1107, 'value': 0.4234388366124893}
+2024-05-29 07:59:45,336 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:59:45,984 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:59:45,985 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:46,113 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:59:46,113 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:46,241 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:59:46,241 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:46,369 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:59:46,370 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 07:59:46,370 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 07:59:46,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 07:59:46,499 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_it_acc_norm'}
+2024-05-29 07:59:46,564 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 07:59:46,564 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1108, 'value': 0.4576561163387511}
+2024-05-29 07:59:46,629 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  12%|█████████████▍                                                                                                 | 15/124 [1:12:15<8:45:07, 289.06s/it]['arc_kn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 07:59:47,288 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 07:59:47,288 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:47,418 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 07:59:47,418 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:47,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 07:59:47,547 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 07:59:47,677 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 07:59:47,678 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 07:59:47,678 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_kn'}
+2024-05-29 07:59:47,808 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_kn task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  6.92 examples/s]
Generating train split: 1089 examples [00:00, 5871.42 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 286 examples [00:00, 20429.36 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.09 examples/s]
Generating test split: 1148 examples [00:00, 4841.03 examples/s]
+Running loglikelihood requests
+
+
arc_kn:   0%|                                                                                                                                 | 0/36 [00:00<?, ?it/s]
+
arc_kn:   3%|███▎                                                                                                                     | 1/36 [00:12<07:25, 12.74s/it]
+
arc_kn:   6%|██████▋                                                                                                                  | 2/36 [00:23<06:28, 11.42s/it]
+
arc_kn:   8%|██████████                                                                                                               | 3/36 [00:36<06:37, 12.03s/it]
+
arc_kn:  11%|█████████████▍                                                                                                           | 4/36 [00:47<06:24, 12.01s/it]
+
arc_kn:  14%|████████████████▊                                                                                                        | 5/36 [00:59<06:10, 11.95s/it]
+
arc_kn:  17%|████████████████████▏                                                                                                    | 6/36 [01:11<05:54, 11.83s/it]
+
arc_kn:  19%|███████████████████████▌                                                                                                 | 7/36 [01:24<05:52, 12.16s/it]
+
arc_kn:  22%|██████████████████████████▉                                                                                              | 8/36 [01:36<05:39, 12.13s/it]
+
arc_kn:  25%|██████████████████████████████▎                                                                                          | 9/36 [01:49<05:34, 12.40s/it]
+
arc_kn:  28%|█████████████████████████████████▎                                                                                      | 10/36 [02:00<05:08, 11.88s/it]
+
arc_kn:  31%|████████████████████████████████████▋                                                                                   | 11/36 [02:11<04:52, 11.69s/it]
+
arc_kn:  33%|████████████████████████████████████████                                                                                | 12/36 [02:23<04:42, 11.76s/it]
+
arc_kn:  36%|███████████████████████████████████████████▎                                                                            | 13/36 [02:36<04:42, 12.27s/it]
+
arc_kn:  39%|██████████████████████████████████████████████▋                                                                         | 14/36 [02:48<04:24, 12.04s/it]
+
arc_kn:  42%|██████████████████████████████████████████████████                                                                      | 15/36 [03:02<04:28, 12.79s/it]
+
arc_kn:  44%|█████████████████████████████████████████████████████▎                                                                  | 16/36 [03:14<04:09, 12.49s/it]
+
arc_kn:  47%|████████████████████████████████████████████████████████▋                                                               | 17/36 [03:26<03:54, 12.32s/it]
+
arc_kn:  50%|████████████████████████████████████████████████████████████                                                            | 18/36 [03:38<03:40, 12.26s/it]
+
arc_kn:  53%|███████████████████████████████████████████████████████████████▎                                                        | 19/36 [03:50<03:25, 12.10s/it]
+
arc_kn:  56%|██████████████████████████████████████████████████████████████████▋                                                     | 20/36 [04:02<03:12, 12.00s/it]
+
arc_kn:  58%|██████████████████████████████████████████████████████████████████████                                                  | 21/36 [04:14<03:03, 12.24s/it]
+
arc_kn:  61%|█████████████████████████████████████████████████████████████████████████▎                                              | 22/36 [04:26<02:50, 12.19s/it]
+
arc_kn:  64%|████████████████████████████████████████████████████████████████████████████▋                                           | 23/36 [04:39<02:40, 12.34s/it]
+
arc_kn:  67%|████████████████████████████████████████████████████████████████████████████████                                        | 24/36 [04:52<02:29, 12.46s/it]
+
arc_kn:  69%|███████████████████████████████████████████████████████████████████████████████████▎                                    | 25/36 [05:04<02:14, 12.27s/it]
+
arc_kn:  72%|██████████████████████████████████████████████████████████████████████████████████████▋                                 | 26/36 [05:16<02:03, 12.38s/it]
+
arc_kn:  75%|██████████████████████████████████████████████████████████████████████████████████████████                              | 27/36 [05:29<01:52, 12.53s/it]
+
arc_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████████████▎                          | 28/36 [05:41<01:39, 12.47s/it]
+
arc_kn:  81%|████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 29/36 [05:53<01:25, 12.16s/it]
+
arc_kn:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████                    | 30/36 [06:04<01:10, 11.82s/it]
+
arc_kn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 31/36 [06:16<00:59, 11.88s/it]
+
arc_kn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 32/36 [06:28<00:47, 11.92s/it]
+
arc_kn:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 33/36 [06:41<00:36, 12.19s/it]
+
arc_kn:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 34/36 [06:52<00:23, 11.99s/it]
+
arc_kn:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 35/36 [07:04<00:11, 11.81s/it]
+
arc_kn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:14<00:00, 11.42s/it]
arc_kn: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:14<00:00, 12.08s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_kn_acc 0.20644599303135888
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_kn_acc_norm 0.2456445993031359
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:07:03,978 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:07:03,979 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:04,106 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:07:04,106 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:04,233 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:07:04,233 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:04,360 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:07:04,361 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:07:04,361 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:07:04,490 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:07:04,490 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_kn_acc'}
+2024-05-29 08:07:04,554 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:07:04,554 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1109, 'value': 0.20644599303135888}
+2024-05-29 08:07:04,619 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:07:05,237 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:07:05,237 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:05,358 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:07:05,358 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:05,479 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:07:05,479 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:05,599 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:07:05,600 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:07:05,600 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:07:05,722 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:07:05,722 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_kn_acc_norm'}
+2024-05-29 08:07:05,783 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:07:05,783 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1110, 'value': 0.2456445993031359}
+2024-05-29 08:07:05,844 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  13%|██████████████▏                                                                                               | 16/124 [1:19:35<10:01:39, 334.25s/it]['arc_ml']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:07:06,487 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:07:06,487 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:06,614 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:07:06,614 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:06,741 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:07:06,741 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:07:06,868 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:07:06,869 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:07:06,869 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_ml'}
+2024-05-29 08:07:06,997 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ml task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  4.57 examples/s]
Generating train split: 1098 examples [00:00, 4212.00 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 296 examples [00:00, 16732.22 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  4.07 examples/s]
Generating test split: 1142 examples [00:00, 3996.47 examples/s]
+Running loglikelihood requests
+
+
arc_ml:   0%|                                                                                                                                 | 0/36 [00:00<?, ?it/s]
+
arc_ml:   3%|███▎                                                                                                                     | 1/36 [00:11<06:35, 11.30s/it]
+
arc_ml:   6%|██████▋                                                                                                                  | 2/36 [00:24<07:00, 12.36s/it]
+
arc_ml:   8%|██████████                                                                                                               | 3/36 [00:36<06:41, 12.18s/it]
+
arc_ml:  11%|█████████████▍                                                                                                           | 4/36 [00:48<06:27, 12.11s/it]
+
arc_ml:  14%|████████████████▊                                                                                                        | 5/36 [00:59<06:09, 11.92s/it]
+
arc_ml:  17%|████████████████████▏                                                                                                    | 6/36 [01:11<05:57, 11.91s/it]
+
arc_ml:  19%|███████████████████████▌                                                                                                 | 7/36 [01:24<05:56, 12.29s/it]
+
arc_ml:  22%|██████████████████████████▉                                                                                              | 8/36 [01:35<05:31, 11.82s/it]
+
arc_ml:  25%|██████████████████████████████▎                                                                                          | 9/36 [01:48<05:27, 12.13s/it]
+
arc_ml:  28%|█████████████████████████████████▎                                                                                      | 10/36 [01:59<05:03, 11.67s/it]
+
arc_ml:  31%|████████████████████████████████████▋                                                                                   | 11/36 [02:12<05:02, 12.12s/it]
+
arc_ml:  33%|████████████████████████████████████████                                                                                | 12/36 [02:24<04:51, 12.14s/it]
+
arc_ml:  36%|███████████████████████████████████████████▎                                                                            | 13/36 [02:36<04:40, 12.18s/it]
+
arc_ml:  39%|██████████████████████████████████████████████▋                                                                         | 14/36 [02:47<04:19, 11.80s/it]
+
arc_ml:  42%|██████████████████████████████████████████████████                                                                      | 15/36 [02:59<04:06, 11.74s/it]
+
arc_ml:  44%|█████████████████████████████████████████████████████▎                                                                  | 16/36 [03:12<04:04, 12.21s/it]
+
arc_ml:  47%|████████████████████████████████████████████████████████▋                                                               | 17/36 [03:23<03:47, 11.95s/it]
+
arc_ml:  50%|████████████████████████████████████████████████████████████                                                            | 18/36 [03:36<03:40, 12.24s/it]
+
arc_ml:  53%|███████████████████████████████████████████████████████████████▎                                                        | 19/36 [03:48<03:27, 12.18s/it]
+
arc_ml:  56%|██████████████████████████████████████████████████████████████████▋                                                     | 20/36 [04:01<03:14, 12.16s/it]
+
arc_ml:  58%|██████████████████████████████████████████████████████████████████████                                                  | 21/36 [04:13<03:05, 12.36s/it]
+
arc_ml:  61%|█████████████████████████████████████████████████████████████████████████▎                                              | 22/36 [04:26<02:52, 12.33s/it]
+
arc_ml:  64%|████████████████████████████████████████████████████████████████████████████▋                                           | 23/36 [04:38<02:41, 12.40s/it]
+
arc_ml:  67%|████████████████████████████████████████████████████████████████████████████████                                        | 24/36 [04:52<02:32, 12.74s/it]
+
arc_ml:  69%|███████████████████████████████████████████████████████████████████████████████████▎                                    | 25/36 [05:04<02:18, 12.55s/it]
+
arc_ml:  72%|██████████████████████████████████████████████████████████████████████████████████████▋                                 | 26/36 [05:18<02:10, 13.10s/it]
+
arc_ml:  75%|██████████████████████████████████████████████████████████████████████████████████████████                              | 27/36 [05:30<01:53, 12.66s/it]
+
arc_ml:  78%|█████████████████████████████████████████████████████████████████████████████████████████████▎                          | 28/36 [05:43<01:42, 12.83s/it]
+
arc_ml:  81%|████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 29/36 [05:54<01:25, 12.26s/it]
+
arc_ml:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████                    | 30/36 [06:05<01:11, 12.00s/it]
+
arc_ml:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 31/36 [06:16<00:57, 11.59s/it]
+
arc_ml:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 32/36 [06:27<00:45, 11.49s/it]
+
arc_ml:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 33/36 [06:39<00:34, 11.58s/it]
+
arc_ml:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 34/36 [06:50<00:22, 11.48s/it]
+
arc_ml:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 35/36 [07:02<00:11, 11.68s/it]
+
arc_ml: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:10<00:00, 10.58s/it]
arc_ml: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:10<00:00, 11.97s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ml_acc 0.23467600700525393
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ml_acc_norm 0.27495621716287216
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:14:19,252 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:14:19,253 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:19,377 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:14:19,377 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:19,501 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:14:19,501 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:19,625 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:14:19,626 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:14:19,626 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:14:19,751 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:14:19,751 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ml_acc'}
+2024-05-29 08:14:19,814 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:14:19,814 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1111, 'value': 0.23467600700525393}
+2024-05-29 08:14:19,878 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:14:20,537 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:14:20,537 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:20,668 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:14:20,668 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:20,798 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:14:20,798 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:14:20,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:14:21,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:14:21,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ml_acc_norm'}
+2024-05-29 08:14:21,127 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:14:21,127 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1112, 'value': 0.27495621716287216}
+2024-05-29 08:14:21,193 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  14%|███████████████                                                                                               | 17/124 [1:26:50<10:50:17, 364.65s/it]['arc_mr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:14:21,812 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:14:21,812 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:21,933 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:14:21,933 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:22,054 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:14:22,054 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:14:22,175 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_mr'}
+2024-05-29 08:14:22,297 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_mr task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  7.72 examples/s]
Generating train split: 1114 examples [00:00, 6454.89 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 295 examples [00:00, 3116.57 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  3.89 examples/s]
Generating test split: 1155 examples [00:00, 3882.55 examples/s]
+Running loglikelihood requests
+
+
arc_mr:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_mr:   3%|███▎                                                                                                                     | 1/37 [00:10<06:31, 10.87s/it]
+
arc_mr:   5%|██████▌                                                                                                                  | 2/37 [00:20<05:53, 10.10s/it]
+
arc_mr:   8%|█████████▊                                                                                                               | 3/37 [00:30<05:37,  9.93s/it]
+
arc_mr:  11%|█████████████                                                                                                            | 4/37 [00:40<05:33, 10.12s/it]
+
arc_mr:  14%|████████████████▎                                                                                                        | 5/37 [00:51<05:29, 10.31s/it]
+
arc_mr:  16%|███████████████████▌                                                                                                     | 6/37 [01:00<05:11, 10.03s/it]
+
arc_mr:  19%|██████████████████████▉                                                                                                  | 7/37 [01:10<04:58,  9.95s/it]
+
arc_mr:  22%|██████████████████████████▏                                                                                              | 8/37 [01:19<04:40,  9.67s/it]
+
arc_mr:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:29<04:33,  9.78s/it]
+
arc_mr:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:39<04:27,  9.89s/it]
+
arc_mr:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:48<04:08,  9.55s/it]
+
arc_mr:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:57<03:55,  9.40s/it]
+
arc_mr:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [02:06<03:45,  9.40s/it]
+
arc_mr:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [02:17<03:42,  9.67s/it]
+
arc_mr:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:26<03:32,  9.68s/it]
+
arc_mr:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:36<03:22,  9.64s/it]
+
arc_mr:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:45<03:09,  9.45s/it]
+
arc_mr:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:54<02:59,  9.43s/it]
+
arc_mr:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [03:04<02:48,  9.37s/it]
+
arc_mr:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [03:13<02:40,  9.47s/it]
+
arc_mr:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [03:23<02:33,  9.59s/it]
+
arc_mr:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:33<02:23,  9.56s/it]
+
arc_mr:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:43<02:18,  9.86s/it]
+
arc_mr:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:54<02:09,  9.98s/it]
+
arc_mr:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [04:04<02:00, 10.01s/it]
+
arc_mr:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [04:13<01:46,  9.68s/it]
+
arc_mr:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [04:23<01:40, 10.02s/it]
+
arc_mr:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [04:33<01:28,  9.86s/it]
+
arc_mr:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [04:42<01:16,  9.56s/it]
+
arc_mr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:52<01:08,  9.73s/it]
+
arc_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [05:01<00:57,  9.57s/it]
+
arc_mr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [05:11<00:48,  9.74s/it]
+
arc_mr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [05:21<00:39,  9.85s/it]
+
arc_mr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [05:31<00:29,  9.73s/it]
+
arc_mr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [05:39<00:18,  9.43s/it]
+
arc_mr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [05:48<00:09,  9.16s/it]
+
arc_mr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:52<00:00,  7.64s/it]
arc_mr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:52<00:00,  9.53s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_mr_acc 0.21385281385281385
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_mr_acc_norm 0.24848484848484848
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:20:16,149 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:20:16,149 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:16,277 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:20:16,277 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:16,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:20:16,404 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:20:16,532 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:20:16,661 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:20:16,661 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_mr_acc'}
+2024-05-29 08:20:16,726 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:20:16,726 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1113, 'value': 0.21385281385281385}
+2024-05-29 08:20:16,792 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:20:17,397 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:20:17,397 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:17,515 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:20:17,515 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:17,633 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:20:17,633 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:20:17,751 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:20:17,870 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:20:17,870 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'arc_mr_acc_norm'}
+2024-05-29 08:20:17,930 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:20:17,930 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1114, 'value': 0.24848484848484848}
+2024-05-29 08:20:17,990 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  15%|███████████████▉                                                                                              | 18/124 [1:32:47<10:40:02, 362.29s/it]['arc_ne']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:20:18,615 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:20:18,615 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:18,739 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:20:18,739 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:18,862 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:20:18,863 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:20:18,986 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:20:18,987 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:20:18,987 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_ne'}
+2024-05-29 08:20:19,111 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ne task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 1118 examples [00:00, 21299.78 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  9.04 examples/s]
Generating validation split: 297 examples [00:00, 2432.53 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  4.29 examples/s]
Generating test split: 1169 examples [00:00, 4270.03 examples/s]
+Running loglikelihood requests
+
+
arc_ne:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_ne:   3%|███▎                                                                                                                     | 1/37 [00:08<05:13,  8.70s/it]
+
arc_ne:   5%|██████▌                                                                                                                  | 2/37 [00:17<05:05,  8.73s/it]
+
arc_ne:   8%|█████████▊                                                                                                               | 3/37 [00:27<05:09,  9.11s/it]
+
arc_ne:  11%|█████████████                                                                                                            | 4/37 [00:36<05:04,  9.22s/it]
+
arc_ne:  14%|████████████████▎                                                                                                        | 5/37 [00:46<05:05,  9.56s/it]
+
arc_ne:  16%|███████████████████▌                                                                                                     | 6/37 [00:56<05:00,  9.70s/it]
+
arc_ne:  19%|██████████████████████▉                                                                                                  | 7/37 [01:06<04:50,  9.68s/it]
+
arc_ne:  22%|██████████████████████████▏                                                                                              | 8/37 [01:16<04:48,  9.94s/it]
+
arc_ne:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:26<04:37,  9.90s/it]
+
arc_ne:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:35<04:17,  9.55s/it]
+
arc_ne:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:44<04:07,  9.52s/it]
+
arc_ne:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:54<04:02,  9.69s/it]
+
arc_ne:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [02:03<03:47,  9.49s/it]
+
arc_ne:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [02:14<03:44,  9.76s/it]
+
arc_ne:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:23<03:33,  9.69s/it]
+
arc_ne:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:32<03:16,  9.37s/it]
+
arc_ne:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:41<03:05,  9.28s/it]
+
arc_ne:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:51<03:01,  9.54s/it]
+
arc_ne:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [03:00<02:50,  9.50s/it]
+
arc_ne:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [03:11<02:44,  9.69s/it]
+
arc_ne:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [03:21<02:40, 10.02s/it]
+
arc_ne:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:30<02:25,  9.67s/it]
+
arc_ne:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:40<02:13,  9.54s/it]
+
arc_ne:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:49<02:03,  9.53s/it]
+
arc_ne:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:58<01:52,  9.41s/it]
+
arc_ne:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [04:08<01:44,  9.54s/it]
+
arc_ne:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [04:17<01:34,  9.41s/it]
+
arc_ne:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [04:26<01:24,  9.40s/it]
+
arc_ne:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [04:36<01:15,  9.45s/it]
+
arc_ne:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:45<01:06,  9.45s/it]
+
arc_ne:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:55<00:56,  9.48s/it]
+
arc_ne:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [05:04<00:47,  9.41s/it]
+
arc_ne:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [05:14<00:37,  9.42s/it]
+
arc_ne:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [05:23<00:28,  9.48s/it]
+
arc_ne:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [05:33<00:18,  9.44s/it]
+
arc_ne:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [05:43<00:09,  9.74s/it]
+
arc_ne: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:51<00:00,  9.17s/it]
arc_ne: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:51<00:00,  9.50s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ne_acc 0.2215568862275449
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ne_acc_norm 0.2369546621043627
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:26:11,743 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:26:11,743 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:11,865 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:26:11,866 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:11,988 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:26:11,988 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:26:12,111 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:26:12,235 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:26:12,235 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_ne_acc'}
+2024-05-29 08:26:12,297 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:26:12,298 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1115, 'value': 0.2215568862275449}
+2024-05-29 08:26:12,360 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:26:13,011 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:26:13,011 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:13,140 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:26:13,140 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:13,269 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:26:13,269 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:26:13,398 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:26:13,528 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:26:13,528 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ne_acc_norm'}
+2024-05-29 08:26:13,594 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:26:13,594 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1116, 'value': 0.2369546621043627}
+2024-05-29 08:26:13,659 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  15%|████████████████▊                                                                                             | 19/124 [1:38:42<10:30:31, 360.30s/it]['arc_nl']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:26:14,287 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:26:14,287 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:14,410 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:26:14,410 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:14,533 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:26:14,533 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:26:14,655 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:26:14,656 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:26:14,656 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'arc_nl'}
+2024-05-29 08:26:14,780 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_nl task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 1118 examples [00:00, 18383.23 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 298 examples [00:00, 2965.88 examples/s]
Generating validation split: 298 examples [00:00, 2903.95 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1169 examples [00:00, 9757.81 examples/s]
Generating test split: 1169 examples [00:00, 9660.92 examples/s]
+Running loglikelihood requests
+
+
arc_nl:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_nl:   3%|███▎                                                                                                                     | 1/37 [00:06<04:01,  6.71s/it]
+
arc_nl:   5%|██████▌                                                                                                                  | 2/37 [00:12<03:36,  6.19s/it]
+
arc_nl:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:28,  6.13s/it]
+
arc_nl:  11%|█████████████                                                                                                            | 4/37 [00:25<03:27,  6.28s/it]
+
arc_nl:  14%|████████████████▎                                                                                                        | 5/37 [00:31<03:21,  6.30s/it]
+
arc_nl:  16%|███████████████████▌                                                                                                     | 6/37 [00:37<03:11,  6.16s/it]
+
arc_nl:  19%|██████████████████████▉                                                                                                  | 7/37 [00:43<03:05,  6.17s/it]
+
arc_nl:  22%|██████████████████████████▏                                                                                              | 8/37 [00:49<03:00,  6.23s/it]
+
arc_nl:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:55<02:52,  6.15s/it]
+
arc_nl:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:02<02:52,  6.40s/it]
+
arc_nl:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:08<02:40,  6.16s/it]
+
arc_nl:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:15<02:38,  6.34s/it]
+
arc_nl:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:21<02:30,  6.28s/it]
+
arc_nl:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:28<02:29,  6.52s/it]
+
arc_nl:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:35<02:27,  6.71s/it]
+
arc_nl:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:41<02:16,  6.52s/it]
+
arc_nl:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:48<02:09,  6.49s/it]
+
arc_nl:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:55<02:06,  6.63s/it]
+
arc_nl:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:01<01:57,  6.54s/it]
+
arc_nl:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:07<01:48,  6.40s/it]
+
arc_nl:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:13<01:39,  6.19s/it]
+
arc_nl:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:19<01:33,  6.25s/it]
+
arc_nl:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:25<01:25,  6.13s/it]
+
arc_nl:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:30<01:17,  5.95s/it]
+
arc_nl:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:37<01:15,  6.27s/it]
+
arc_nl:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:43<01:08,  6.21s/it]
+
arc_nl:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:49<01:01,  6.15s/it]
+
arc_nl:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [02:55<00:54,  6.02s/it]
+
arc_nl:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:01<00:47,  5.97s/it]
+
arc_nl:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:08<00:43,  6.20s/it]
+
arc_nl:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:15<00:38,  6.37s/it]
+
arc_nl:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:20<00:30,  6.14s/it]
+
arc_nl:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:27<00:25,  6.32s/it]
+
arc_nl:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:33<00:19,  6.37s/it]
+
arc_nl:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:40<00:12,  6.47s/it]
+
arc_nl:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:46<00:06,  6.44s/it]
+
arc_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:52<00:00,  6.17s/it]
arc_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:52<00:00,  6.28s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_nl_acc 0.39692044482463645
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_nl_acc_norm 0.41573994867408043
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:30:08,289 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:30:08,289 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:08,418 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:30:08,418 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:08,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:30:08,547 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:08,676 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:30:08,677 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:30:08,677 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:30:08,807 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:30:08,807 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_nl_acc'}
+2024-05-29 08:30:08,873 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:30:08,873 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1117, 'value': 0.39692044482463645}
+2024-05-29 08:30:08,939 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:30:09,600 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:30:09,600 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:09,730 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:30:09,730 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:09,860 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:30:09,860 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:09,990 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:30:09,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:30:09,991 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:30:10,128 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:30:10,128 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_nl_acc_norm'}
+2024-05-29 08:30:10,194 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:30:10,194 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1118, 'value': 0.41573994867408043}
+2024-05-29 08:30:10,259 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  16%|█████████████████▉                                                                                             | 20/124 [1:42:39<9:20:08, 323.16s/it]['arc_pt']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:30:10,917 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:30:10,917 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:11,046 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:30:11,046 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:11,176 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:30:11,176 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:30:11,305 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:30:11,306 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:30:11,306 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_pt'}
+2024-05-29 08:30:11,436 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_pt task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  6.65 examples/s]
Generating train split: 1118 examples [00:00, 5899.93 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 298 examples [00:00, 3061.36 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.18 examples/s]
Generating test split: 1170 examples [00:00, 5030.12 examples/s]
+Running loglikelihood requests
+
+
arc_pt:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_pt:   3%|███▎                                                                                                                     | 1/37 [00:07<04:23,  7.31s/it]
+
arc_pt:   5%|██████▌                                                                                                                  | 2/37 [00:14<04:11,  7.19s/it]
+
arc_pt:   8%|█████████▊                                                                                                               | 3/37 [00:21<03:59,  7.03s/it]
+
arc_pt:  11%|█████████████                                                                                                            | 4/37 [00:29<04:01,  7.32s/it]
+
arc_pt:  14%|████████████████▎                                                                                                        | 5/37 [00:36<03:52,  7.28s/it]
+
arc_pt:  16%|███████████████████▌                                                                                                     | 6/37 [00:42<03:38,  7.05s/it]
+
arc_pt:  19%|██████████████████████▉                                                                                                  | 7/37 [00:50<03:36,  7.21s/it]
+
arc_pt:  22%|██████████████████████████▏                                                                                              | 8/37 [00:57<03:24,  7.04s/it]
+
arc_pt:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:03<03:14,  6.93s/it]
+
arc_pt:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:10<03:07,  6.96s/it]
+
arc_pt:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:18<03:03,  7.08s/it]
+
arc_pt:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:25<02:57,  7.09s/it]
+
arc_pt:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:32<02:49,  7.05s/it]
+
arc_pt:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:39<02:41,  7.04s/it]
+
arc_pt:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:46<02:36,  7.12s/it]
+
arc_pt:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:53<02:29,  7.12s/it]
+
arc_pt:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:00<02:20,  7.04s/it]
+
arc_pt:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:07<02:12,  6.97s/it]
+
arc_pt:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:14<02:09,  7.17s/it]
+
arc_pt:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:21<02:00,  7.09s/it]
+
arc_pt:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:29<01:55,  7.23s/it]
+
arc_pt:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:37<01:51,  7.44s/it]
+
arc_pt:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:43<01:40,  7.18s/it]
+
arc_pt:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:50<01:31,  7.01s/it]
+
arc_pt:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:58<01:27,  7.26s/it]
+
arc_pt:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:05<01:18,  7.13s/it]
+
arc_pt:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:11<01:10,  7.02s/it]
+
arc_pt:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:18<01:03,  7.01s/it]
+
arc_pt:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:26<00:56,  7.05s/it]
+
arc_pt:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:33<00:49,  7.05s/it]
+
arc_pt:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:39<00:41,  6.93s/it]
+
arc_pt:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:46<00:34,  6.83s/it]
+
arc_pt:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:53<00:27,  6.96s/it]
+
arc_pt:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:00<00:21,  7.07s/it]
+
arc_pt:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:08<00:14,  7.20s/it]
+
arc_pt:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:15<00:07,  7.30s/it]
+
arc_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:22<00:00,  6.93s/it]
arc_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:22<00:00,  7.08s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_pt_acc 0.4358974358974359
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_pt_acc_norm 0.4495726495726496
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:34:34,758 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:34:34,758 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:34,885 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:34:34,885 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:35,012 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:34:35,012 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:35,138 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:34:35,139 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:34:35,139 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:34:35,267 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:34:35,267 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_pt_acc'}
+2024-05-29 08:34:35,332 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:34:35,332 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1119, 'value': 0.4358974358974359}
+2024-05-29 08:34:35,397 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:34:36,054 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:34:36,054 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:36,183 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:34:36,184 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:36,313 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:34:36,313 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:34:36,443 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:34:36,574 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:34:36,574 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_pt_acc_norm'}
+2024-05-29 08:34:36,640 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:34:36,640 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1120, 'value': 0.4495726495726496}
+2024-05-29 08:34:36,705 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  17%|██████████████████▊                                                                                            | 21/124 [1:47:06<8:45:32, 306.14s/it]['arc_ro']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:34:37,366 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:34:37,366 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:37,496 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:34:37,496 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:37,626 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:34:37,626 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:34:37,756 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:34:37,757 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:34:37,757 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_ro'}
+2024-05-29 08:34:37,888 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ro task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  9.07 examples/s]
Generating train split: 1109 examples [00:00, 7419.09 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 3284.99 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.67 examples/s]
Generating test split: 1167 examples [00:00, 5402.44 examples/s]
+Running loglikelihood requests
+
+
arc_ro:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_ro:   3%|███▎                                                                                                                     | 1/37 [00:07<04:25,  7.37s/it]
+
arc_ro:   5%|██████▌                                                                                                                  | 2/37 [00:14<04:12,  7.22s/it]
+
arc_ro:   8%|█████████▊                                                                                                               | 3/37 [00:21<04:03,  7.17s/it]
+
arc_ro:  11%|█████████████                                                                                                            | 4/37 [00:28<03:49,  6.95s/it]
+
arc_ro:  14%|████████████████▎                                                                                                        | 5/37 [00:35<03:41,  6.93s/it]
+
arc_ro:  16%|███████████████████▌                                                                                                     | 6/37 [00:41<03:34,  6.91s/it]
+
arc_ro:  19%|██████████████████████▉                                                                                                  | 7/37 [00:49<03:37,  7.24s/it]
+
arc_ro:  22%|██████████████████████████▏                                                                                              | 8/37 [00:56<03:27,  7.14s/it]
+
arc_ro:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:03<03:19,  7.13s/it]
+
arc_ro:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:10<03:11,  7.08s/it]
+
arc_ro:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:18<03:05,  7.13s/it]
+
arc_ro:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:25<02:59,  7.16s/it]
+
arc_ro:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:32<02:54,  7.27s/it]
+
arc_ro:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:39<02:45,  7.18s/it]
+
arc_ro:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:47<02:39,  7.26s/it]
+
arc_ro:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:53<02:28,  7.06s/it]
+
arc_ro:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:00<02:20,  7.04s/it]
+
arc_ro:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:08<02:14,  7.10s/it]
+
arc_ro:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:15<02:07,  7.10s/it]
+
arc_ro:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:21<01:57,  6.91s/it]
+
arc_ro:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:29<01:52,  7.06s/it]
+
arc_ro:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:36<01:47,  7.17s/it]
+
arc_ro:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:43<01:38,  7.01s/it]
+
arc_ro:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:49<01:28,  6.84s/it]
+
arc_ro:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:56<01:22,  6.89s/it]
+
arc_ro:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:03<01:17,  7.03s/it]
+
arc_ro:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:10<01:08,  6.90s/it]
+
arc_ro:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:17<01:02,  6.99s/it]
+
arc_ro:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:25<00:56,  7.11s/it]
+
arc_ro:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:33<00:51,  7.39s/it]
+
arc_ro:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:40<00:43,  7.30s/it]
+
arc_ro:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:46<00:35,  7.12s/it]
+
arc_ro:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:53<00:27,  6.98s/it]
+
arc_ro:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:01<00:21,  7.15s/it]
+
arc_ro:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:08<00:14,  7.21s/it]
+
arc_ro:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:15<00:07,  7.00s/it]
+
arc_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:20<00:00,  6.62s/it]
arc_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:20<00:00,  7.05s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ro_acc 0.40531276778063413
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ro_acc_norm 0.4258783204798629
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:38:59,876 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:38:59,876 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:00,001 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:39:00,001 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:00,125 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:39:00,125 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:00,250 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:39:00,251 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:39:00,251 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:39:00,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:39:00,377 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ro_acc'}
+2024-05-29 08:39:00,440 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:39:00,441 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1121, 'value': 0.40531276778063413}
+2024-05-29 08:39:00,504 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:39:01,150 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:39:01,150 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:01,277 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:39:01,277 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:01,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:39:01,405 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:39:01,532 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:39:01,661 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:39:01,661 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ro_acc_norm'}
+2024-05-29 08:39:01,725 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:39:01,725 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1122, 'value': 0.4258783204798629}
+2024-05-29 08:39:01,790 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  18%|███████████████████▋                                                                                           | 22/124 [1:51:31<8:19:29, 293.82s/it]['arc_ru']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:39:02,422 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:39:02,422 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:02,546 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:39:02,546 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:02,670 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:39:02,670 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:39:02,794 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:39:02,794 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:39:02,795 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_ru'}
+2024-05-29 08:39:02,919 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ru task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  9.47 examples/s]
Generating train split: 1118 examples [00:00, 7640.20 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 21376.38 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.72 examples/s]
Generating test split: 1169 examples [00:00, 5435.22 examples/s]
+Running loglikelihood requests
+
+
arc_ru:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_ru:   3%|███▎                                                                                                                     | 1/37 [00:08<04:48,  8.02s/it]
+
arc_ru:   5%|██████▌                                                                                                                  | 2/37 [00:16<04:49,  8.26s/it]
+
arc_ru:   8%|█████████▊                                                                                                               | 3/37 [00:24<04:39,  8.21s/it]
+
arc_ru:  11%|█████████████                                                                                                            | 4/37 [00:32<04:32,  8.27s/it]
+
arc_ru:  14%|████████████████▎                                                                                                        | 5/37 [00:41<04:29,  8.41s/it]
+
arc_ru:  16%|███████████████████▌                                                                                                     | 6/37 [00:49<04:14,  8.22s/it]
+
arc_ru:  19%|██████████████████████▉                                                                                                  | 7/37 [00:58<04:14,  8.49s/it]
+
arc_ru:  22%|██████████████████████████▏                                                                                              | 8/37 [01:06<04:05,  8.48s/it]
+
arc_ru:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:15<03:55,  8.41s/it]
+
arc_ru:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:23<03:49,  8.49s/it]
+
arc_ru:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:32<03:39,  8.44s/it]
+
arc_ru:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:42<03:41,  8.86s/it]
+
arc_ru:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:50<03:33,  8.88s/it]
+
arc_ru:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:59<03:20,  8.74s/it]
+
arc_ru:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:07<03:09,  8.60s/it]
+
arc_ru:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:15<02:58,  8.52s/it]
+
arc_ru:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:24<02:49,  8.45s/it]
+
arc_ru:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:32<02:37,  8.30s/it]
+
arc_ru:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:41<02:35,  8.64s/it]
+
arc_ru:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:50<02:25,  8.58s/it]
+
arc_ru:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:59<02:19,  8.75s/it]
+
arc_ru:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:08<02:11,  8.79s/it]
+
arc_ru:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:16<02:00,  8.60s/it]
+
arc_ru:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:23<01:48,  8.32s/it]
+
arc_ru:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:32<01:41,  8.44s/it]
+
arc_ru:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:41<01:33,  8.48s/it]
+
arc_ru:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:48<01:21,  8.16s/it]
+
arc_ru:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:57<01:14,  8.25s/it]
+
arc_ru:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [04:05<01:05,  8.24s/it]
+
arc_ru:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:14<00:58,  8.43s/it]
+
arc_ru:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:22<00:50,  8.37s/it]
+
arc_ru:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [04:30<00:40,  8.18s/it]
+
arc_ru:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [04:38<00:32,  8.22s/it]
+
arc_ru:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:47<00:25,  8.37s/it]
+
arc_ru:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:55<00:16,  8.38s/it]
+
arc_ru:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [05:05<00:08,  8.74s/it]
+
arc_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:11<00:00,  8.12s/it]
arc_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:11<00:00,  8.43s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ru_acc 0.3045337895637297
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ru_acc_norm 0.3413173652694611
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:44:16,199 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:44:16,199 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:16,328 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:44:16,328 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:16,457 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:44:16,458 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:16,587 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:44:16,587 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:44:16,588 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:44:16,718 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:44:16,718 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_ru_acc'}
+2024-05-29 08:44:16,784 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:44:16,784 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1123, 'value': 0.3045337895637297}
+2024-05-29 08:44:16,849 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:44:17,473 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:44:17,474 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:17,596 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:44:17,596 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:17,718 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:44:17,718 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:17,840 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:44:17,841 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:44:17,841 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:44:17,964 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:44:17,965 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_ru_acc_norm'}
+2024-05-29 08:44:18,027 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:44:18,027 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1124, 'value': 0.3413173652694611}
+2024-05-29 08:44:18,089 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  19%|████████████████████▌                                                                                          | 23/124 [1:56:47<8:25:56, 300.56s/it]['arc_sk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:44:18,716 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:44:18,717 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:18,839 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:44:18,839 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:18,962 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:44:18,962 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:44:19,085 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:44:19,086 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:44:19,086 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'arc_sk'}
+2024-05-29 08:44:19,209 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_sk task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1118 examples [00:00, 8199.78 examples/s]
Generating train split: 1118 examples [00:00, 8129.29 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 298 examples [00:00, 3105.62 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1169 examples [00:00, 8469.32 examples/s]
Generating test split: 1169 examples [00:00, 8393.02 examples/s]
+Running loglikelihood requests
+
+
arc_sk:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_sk:   3%|███▎                                                                                                                     | 1/37 [00:06<04:11,  6.97s/it]
+
arc_sk:   5%|██████▌                                                                                                                  | 2/37 [00:13<04:02,  6.93s/it]
+
arc_sk:   8%|█████████▊                                                                                                               | 3/37 [00:21<04:00,  7.09s/it]
+
arc_sk:  11%|█████████████                                                                                                            | 4/37 [00:28<03:53,  7.08s/it]
+
arc_sk:  14%|████████████████▎                                                                                                        | 5/37 [00:35<03:44,  7.02s/it]
+
arc_sk:  16%|███████████████████▌                                                                                                     | 6/37 [00:42<03:37,  7.01s/it]
+
arc_sk:  19%|██████████████████████▉                                                                                                  | 7/37 [00:49<03:30,  7.01s/it]
+
arc_sk:  22%|██████████████████████████▏                                                                                              | 8/37 [00:56<03:28,  7.19s/it]
+
arc_sk:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:04<03:22,  7.22s/it]
+
arc_sk:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:10<03:10,  7.05s/it]
+
arc_sk:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:17<02:59,  6.90s/it]
+
arc_sk:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:23<02:50,  6.81s/it]
+
arc_sk:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:31<02:46,  6.93s/it]
+
arc_sk:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:38<02:39,  6.95s/it]
+
arc_sk:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:45<02:34,  7.02s/it]
+
arc_sk:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:52<02:27,  7.03s/it]
+
arc_sk:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:59<02:19,  6.96s/it]
+
arc_sk:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:06<02:12,  6.95s/it]
+
arc_sk:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:12<02:04,  6.93s/it]
+
arc_sk:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:20<01:59,  7.04s/it]
+
arc_sk:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:26<01:51,  6.95s/it]
+
arc_sk:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:33<01:44,  6.97s/it]
+
arc_sk:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:40<01:36,  6.89s/it]
+
arc_sk:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:47<01:29,  6.90s/it]
+
arc_sk:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:54<01:23,  6.94s/it]
+
arc_sk:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:01<01:16,  6.91s/it]
+
arc_sk:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:08<01:08,  6.88s/it]
+
arc_sk:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:14<01:01,  6.84s/it]
+
arc_sk:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:22<00:55,  6.92s/it]
+
arc_sk:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:28<00:48,  6.88s/it]
+
arc_sk:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:36<00:42,  7.03s/it]
+
arc_sk:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:43<00:34,  6.97s/it]
+
arc_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:49<00:27,  6.89s/it]
+
arc_sk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:56<00:20,  6.91s/it]
+
arc_sk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:03<00:13,  6.90s/it]
+
arc_sk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:10<00:07,  7.01s/it]
+
arc_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00,  6.44s/it]
arc_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:15<00:00,  6.92s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sk_acc 0.32164242942686055
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sk_acc_norm 0.3627031650983747
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:48:36,287 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:48:36,287 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:36,407 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:48:36,408 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:36,527 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:48:36,528 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:36,648 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:48:36,648 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:48:36,649 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:48:36,770 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:48:36,770 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sk_acc'}
+2024-05-29 08:48:36,831 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:48:36,831 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1125, 'value': 0.32164242942686055}
+2024-05-29 08:48:36,892 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:48:37,542 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:48:37,542 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:37,670 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:48:37,671 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:37,799 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:48:37,799 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:37,928 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:48:37,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:48:37,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:48:38,059 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:48:38,059 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_sk_acc_norm'}
+2024-05-29 08:48:38,124 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:48:38,124 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1126, 'value': 0.3627031650983747}
+2024-05-29 08:48:38,189 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  19%|█████████████████████▍                                                                                         | 24/124 [2:01:07<8:00:42, 288.42s/it]['arc_sr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:48:38,839 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:48:38,839 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:38,968 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:48:38,968 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:39,096 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:48:39,096 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:48:39,223 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:48:39,224 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:48:39,224 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'arc_sr'}
+2024-05-29 08:48:39,353 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_sr task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  9.81 examples/s]
Generating train split: 1114 examples [00:00, 7858.90 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 296 examples [00:00, 3301.72 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1169 examples [00:00, 9752.49 examples/s]
Generating test split: 1169 examples [00:00, 9649.23 examples/s]
+Running loglikelihood requests
+
+
arc_sr:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_sr:   3%|███▎                                                                                                                     | 1/37 [00:06<04:11,  6.99s/it]
+
arc_sr:   5%|██████▌                                                                                                                  | 2/37 [00:13<04:02,  6.93s/it]
+
arc_sr:   8%|█████████▊                                                                                                               | 3/37 [00:21<04:00,  7.07s/it]
+
arc_sr:  11%|█████████████                                                                                                            | 4/37 [00:28<03:50,  7.00s/it]
+
arc_sr:  14%|████████████████▎                                                                                                        | 5/37 [00:35<03:45,  7.04s/it]
+
arc_sr:  16%|███████████████████▌                                                                                                     | 6/37 [00:41<03:36,  6.98s/it]
+
arc_sr:  19%|██████████████████████▉                                                                                                  | 7/37 [00:48<03:26,  6.87s/it]
+
arc_sr:  22%|██████████████████████████▏                                                                                              | 8/37 [00:55<03:20,  6.93s/it]
+
arc_sr:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:02<03:13,  6.91s/it]
+
arc_sr:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:09<03:06,  6.92s/it]
+
arc_sr:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:16<03:00,  6.96s/it]
+
arc_sr:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:23<02:52,  6.88s/it]
+
arc_sr:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:30<02:48,  7.02s/it]
+
arc_sr:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:37<02:41,  7.03s/it]
+
arc_sr:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:44<02:32,  6.93s/it]
+
arc_sr:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:51<02:24,  6.90s/it]
+
arc_sr:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:57<02:16,  6.82s/it]
+
arc_sr:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:04<02:08,  6.76s/it]
+
arc_sr:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:11<02:03,  6.83s/it]
+
arc_sr:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:18<01:56,  6.87s/it]
+
arc_sr:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:25<01:51,  6.97s/it]
+
arc_sr:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:32<01:45,  7.00s/it]
+
arc_sr:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:40<01:39,  7.13s/it]
+
arc_sr:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:47<01:32,  7.10s/it]
+
arc_sr:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:54<01:26,  7.20s/it]
+
arc_sr:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:01<01:17,  7.08s/it]
+
arc_sr:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:08<01:10,  7.01s/it]
+
arc_sr:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:15<01:02,  6.97s/it]
+
arc_sr:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:22<00:55,  6.98s/it]
+
arc_sr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:29<00:48,  7.00s/it]
+
arc_sr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:36<00:41,  7.00s/it]
+
arc_sr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:42<00:34,  6.94s/it]
+
arc_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:49<00:27,  6.94s/it]
+
arc_sr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:56<00:20,  6.92s/it]
+
arc_sr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:04<00:14,  7.09s/it]
+
arc_sr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:11<00:07,  7.29s/it]
+
arc_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:17<00:00,  6.68s/it]
arc_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:17<00:00,  6.95s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sr_acc 0.2668947818648417
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sr_acc_norm 0.31137724550898205
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:52:57,658 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:52:57,658 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:57,782 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:52:57,782 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:57,906 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:52:57,906 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:58,030 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:52:58,031 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:52:58,031 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:52:58,156 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:52:58,157 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_sr_acc'}
+2024-05-29 08:52:58,220 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:52:58,220 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1127, 'value': 0.2668947818648417}
+2024-05-29 08:52:58,282 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:52:58,923 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:52:58,923 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:59,049 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:52:59,049 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:59,176 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:52:59,176 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:52:59,302 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:52:59,430 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:52:59,430 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sr_acc_norm'}
+2024-05-29 08:52:59,494 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:52:59,494 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1128, 'value': 0.31137724550898205}
+2024-05-29 08:52:59,558 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  20%|██████████████████████▍                                                                                        | 25/124 [2:05:28<7:42:30, 280.31s/it]['arc_sv']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:53:00,162 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:53:00,162 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:53:00,280 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:53:00,280 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:53:00,397 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:53:00,397 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:53:00,515 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_sv'}
+2024-05-29 08:53:00,634 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_sv task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  7.97 examples/s]
Generating train split: 1113 examples [00:00, 6748.97 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 22986.52 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1165 examples [00:00, 9868.89 examples/s]
Generating test split: 1165 examples [00:00, 9761.11 examples/s]
+Running loglikelihood requests
+
+
arc_sv:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_sv:   3%|███▎                                                                                                                     | 1/37 [00:06<03:45,  6.27s/it]
+
arc_sv:   5%|██████▌                                                                                                                  | 2/37 [00:12<03:39,  6.28s/it]
+
arc_sv:   8%|█████████▊                                                                                                               | 3/37 [00:18<03:28,  6.13s/it]
+
arc_sv:  11%|█████████████                                                                                                            | 4/37 [00:24<03:19,  6.04s/it]
+
arc_sv:  14%|████████████████▎                                                                                                        | 5/37 [00:31<03:22,  6.34s/it]
+
arc_sv:  16%|███████████████████▌                                                                                                     | 6/37 [00:37<03:16,  6.34s/it]
+
arc_sv:  19%|██████████████████████▉                                                                                                  | 7/37 [00:44<03:11,  6.38s/it]
+
arc_sv:  22%|██████████████████████████▏                                                                                              | 8/37 [00:50<03:02,  6.28s/it]
+
arc_sv:  24%|█████████████████████████████▍                                                                                           | 9/37 [00:56<02:53,  6.21s/it]
+
arc_sv:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:02<02:51,  6.36s/it]
+
arc_sv:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:09<02:46,  6.40s/it]
+
arc_sv:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:16<02:43,  6.55s/it]
+
arc_sv:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:22<02:32,  6.34s/it]
+
arc_sv:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:27<02:20,  6.12s/it]
+
arc_sv:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:34<02:17,  6.24s/it]
+
arc_sv:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:39<02:06,  6.03s/it]
+
arc_sv:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [01:46<02:03,  6.20s/it]
+
arc_sv:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [01:52<01:58,  6.22s/it]
+
arc_sv:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [01:58<01:52,  6.24s/it]
+
arc_sv:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:05<01:46,  6.28s/it]
+
arc_sv:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:12<01:44,  6.52s/it]
+
arc_sv:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:18<01:35,  6.39s/it]
+
arc_sv:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:24<01:29,  6.39s/it]
+
arc_sv:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:31<01:23,  6.40s/it]
+
arc_sv:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [02:37<01:15,  6.29s/it]
+
arc_sv:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [02:44<01:11,  6.51s/it]
+
arc_sv:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [02:51<01:06,  6.63s/it]
+
arc_sv:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [02:57<00:57,  6.38s/it]
+
arc_sv:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:03<00:50,  6.29s/it]
+
arc_sv:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:09<00:43,  6.25s/it]
+
arc_sv:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:15<00:37,  6.29s/it]
+
arc_sv:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:21<00:30,  6.15s/it]
+
arc_sv:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:27<00:24,  6.07s/it]
+
arc_sv:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [03:34<00:18,  6.27s/it]
+
arc_sv:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [03:40<00:12,  6.33s/it]
+
arc_sv:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [03:46<00:06,  6.28s/it]
+
arc_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:51<00:00,  5.91s/it]
arc_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [03:51<00:00,  6.26s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sv_acc 0.3948497854077253
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_sv_acc_norm 0.43261802575107294
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:56:53,438 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:56:53,438 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:53,558 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:56:53,559 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:53,679 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:56:53,679 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:53,799 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:56:53,800 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:56:53,800 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:56:53,921 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:56:53,921 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_sv_acc'}
+2024-05-29 08:56:53,983 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:56:53,983 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1129, 'value': 0.3948497854077253}
+2024-05-29 08:56:54,046 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:56:54,706 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:56:54,707 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:54,838 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:56:54,838 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:54,969 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:56:54,969 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 08:56:55,101 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 08:56:55,234 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 08:56:55,234 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_sv_acc_norm'}
+2024-05-29 08:56:55,300 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 08:56:55,300 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1130, 'value': 0.43261802575107294}
+2024-05-29 08:56:55,367 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  21%|███████████████████████▎                                                                                       | 26/124 [2:09:24<7:16:01, 266.96s/it]['arc_ta']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 08:56:56,019 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 08:56:56,019 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:56,148 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 08:56:56,148 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:56,277 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 08:56:56,277 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 08:56:56,405 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_ta'}
+2024-05-29 08:56:56,534 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_ta task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  5.04 examples/s]
Generating train split: 1109 examples [00:00, 4627.95 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 296 examples [00:00, 2947.42 examples/s]
Generating validation split: 296 examples [00:00, 2873.14 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  5.37 examples/s]
Generating test split: 1142 examples [00:00, 5056.23 examples/s]
+Running loglikelihood requests
+
+
arc_ta:   0%|                                                                                                                                 | 0/36 [00:00<?, ?it/s]
+
arc_ta:   3%|███▎                                                                                                                     | 1/36 [00:13<07:59, 13.71s/it]
+
arc_ta:   6%|██████▋                                                                                                                  | 2/36 [00:25<07:16, 12.85s/it]
+
arc_ta:   8%|██████████                                                                                                               | 3/36 [00:39<07:13, 13.13s/it]
+
arc_ta:  11%|█████████████▍                                                                                                           | 4/36 [00:51<06:46, 12.71s/it]
+
arc_ta:  14%|████████████████▊                                                                                                        | 5/36 [01:03<06:21, 12.32s/it]
+
arc_ta:  17%|████████████████████▏                                                                                                    | 6/36 [01:16<06:24, 12.82s/it]
+
arc_ta:  19%|███████████████████████▌                                                                                                 | 7/36 [01:29<06:06, 12.63s/it]
+
arc_ta:  22%|██████████████████████████▉                                                                                              | 8/36 [01:42<05:55, 12.71s/it]
+
arc_ta:  25%|██████████████████████████████▎                                                                                          | 9/36 [01:55<05:46, 12.83s/it]
+
arc_ta:  28%|█████████████████████████████████▎                                                                                      | 10/36 [02:08<05:41, 13.12s/it]
+
arc_ta:  31%|████████████████████████████████████▋                                                                                   | 11/36 [02:21<05:27, 13.11s/it]
+
arc_ta:  33%|████████████████████████████████████████                                                                                | 12/36 [02:34<05:10, 12.93s/it]
+
arc_ta:  36%|███████████████████████████████████████████▎                                                                            | 13/36 [02:47<04:57, 12.93s/it]
+
arc_ta:  39%|██████████████████████████████████████████████▋                                                                         | 14/36 [03:00<04:46, 13.00s/it]
+
arc_ta:  42%|██████████████████████████████████████████████████                                                                      | 15/36 [03:12<04:24, 12.60s/it]
+
arc_ta:  44%|█████████████████████████████████████████████████████▎                                                                  | 16/36 [03:25<04:18, 12.90s/it]
+
arc_ta:  47%|████████████████████████████████████████████████████████▋                                                               | 17/36 [03:38<04:05, 12.91s/it]
+
arc_ta:  50%|████████████████████████████████████████████████████████████                                                            | 18/36 [03:51<03:51, 12.87s/it]
+
arc_ta:  53%|███████████████████████████████████████████████████████████████▎                                                        | 19/36 [04:05<03:42, 13.08s/it]
+
arc_ta:  56%|██████████████████████████████████████████████████████████████████▋                                                     | 20/36 [04:18<03:29, 13.11s/it]
+
arc_ta:  58%|██████████████████████████████████████████████████████████████████████                                                  | 21/36 [04:31<03:18, 13.26s/it]
+
arc_ta:  61%|█████████████████████████████████████████████████████████████████████████▎                                              | 22/36 [04:46<03:09, 13.56s/it]
+
arc_ta:  64%|████████████████████████████████████████████████████████████████████████████▋                                           | 23/36 [04:59<02:56, 13.57s/it]
+
arc_ta:  67%|████████████████████████████████████████████████████████████████████████████████                                        | 24/36 [05:13<02:43, 13.64s/it]
+
arc_ta:  69%|███████████████████████████████████████████████████████████████████████████████████▎                                    | 25/36 [05:26<02:28, 13.48s/it]
+
arc_ta:  72%|██████████████████████████████████████████████████████████████████████████████████████▋                                 | 26/36 [05:42<02:20, 14.08s/it]
+
arc_ta:  75%|██████████████████████████████████████████████████████████████████████████████████████████                              | 27/36 [05:54<02:02, 13.64s/it]
+
arc_ta:  78%|█████████████████████████████████████████████████████████████████████████████████████████████▎                          | 28/36 [06:07<01:45, 13.22s/it]
+
arc_ta:  81%|████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 29/36 [06:21<01:34, 13.49s/it]
+
arc_ta:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████                    | 30/36 [06:33<01:18, 13.03s/it]
+
arc_ta:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 31/36 [06:45<01:03, 12.80s/it]
+
arc_ta:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 32/36 [06:57<00:50, 12.57s/it]
+
arc_ta:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 33/36 [07:09<00:37, 12.50s/it]
+
arc_ta:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 34/36 [07:22<00:25, 12.62s/it]
+
arc_ta:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 35/36 [07:36<00:12, 12.94s/it]
+
arc_ta: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:45<00:00, 11.77s/it]
arc_ta: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [07:45<00:00, 12.93s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ta_acc 0.20665499124343256
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_ta_acc_norm 0.2819614711033275
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:04:43,206 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:04:43,206 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:43,338 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:04:43,338 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:43,469 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:04:43,469 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:43,601 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:04:43,602 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:04:43,602 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:04:43,735 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:04:43,735 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_ta_acc'}
+2024-05-29 09:04:43,802 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:04:43,802 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1131, 'value': 0.20665499124343256}
+2024-05-29 09:04:43,869 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:04:44,504 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:04:44,504 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:44,628 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:04:44,628 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:44,752 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:04:44,752 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:44,876 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:04:44,877 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:04:44,877 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:04:45,002 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:04:45,002 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_ta_acc_norm'}
+2024-05-29 09:04:45,065 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:04:45,065 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1132, 'value': 0.2819614711033275}
+2024-05-29 09:04:45,134 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  22%|████████████████████████▏                                                                                      | 27/124 [2:17:14<8:49:56, 327.80s/it]['arc_te']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:04:45,772 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:04:45,772 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:45,898 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:04:45,898 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:46,023 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:04:46,023 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 09:04:46,149 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_te'}
+2024-05-29 09:04:46,276 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_te task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  5.03 examples/s]
Generating train split: 1111 examples [00:00, 4632.52 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 274 examples [00:00, 17646.67 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  9.38 examples/s]
Generating test split: 1140 examples [00:00, 7771.89 examples/s]
+Running loglikelihood requests
+
+
arc_te:   0%|                                                                                                                                 | 0/36 [00:00<?, ?it/s]
+
arc_te:   3%|███▎                                                                                                                     | 1/36 [00:11<06:46, 11.61s/it]
+
arc_te:   6%|██████▋                                                                                                                  | 2/36 [00:23<06:43, 11.87s/it]
+
arc_te:   8%|██████████                                                                                                               | 3/36 [00:34<06:18, 11.47s/it]
+
arc_te:  11%|█████████████▍                                                                                                           | 4/36 [00:45<06:00, 11.26s/it]
+
arc_te:  14%|████████████████▊                                                                                                        | 5/36 [00:54<05:25, 10.50s/it]
+
arc_te:  17%|████████████████████▏                                                                                                    | 6/36 [01:06<05:25, 10.84s/it]
+
arc_te:  19%|███████████████████████▌                                                                                                 | 7/36 [01:17<05:21, 11.08s/it]
+
arc_te:  22%|██████████████████████████▉                                                                                              | 8/36 [01:28<05:06, 10.96s/it]
+
arc_te:  25%|██████████████████████████████▎                                                                                          | 9/36 [01:39<04:56, 10.97s/it]
+
arc_te:  28%|█████████████████████████████████▎                                                                                      | 10/36 [01:50<04:45, 10.98s/it]
+
arc_te:  31%|████████████████████████████████████▋                                                                                   | 11/36 [02:00<04:29, 10.80s/it]
+
arc_te:  33%|████████████████████████████████████████                                                                                | 12/36 [02:11<04:16, 10.69s/it]
+
arc_te:  36%|███████████████████████████████████████████▎                                                                            | 13/36 [02:23<04:12, 10.99s/it]
+
arc_te:  39%|██████████████████████████████████████████████▋                                                                         | 14/36 [02:34<04:03, 11.08s/it]
+
arc_te:  42%|██████████████████████████████████████████████████                                                                      | 15/36 [02:45<03:52, 11.09s/it]
+
arc_te:  44%|█████████████████████████████████████████████████████▎                                                                  | 16/36 [02:56<03:43, 11.18s/it]
+
arc_te:  47%|████████████████████████████████████████████████████████▋                                                               | 17/36 [03:06<03:25, 10.83s/it]
+
arc_te:  50%|████████████████████████████████████████████████████████████                                                            | 18/36 [03:17<03:12, 10.71s/it]
+
arc_te:  53%|███████████████████████████████████████████████████████████████▎                                                        | 19/36 [03:28<03:04, 10.86s/it]
+
arc_te:  56%|██████████████████████████████████████████████████████████████████▋                                                     | 20/36 [03:38<02:49, 10.59s/it]
+
arc_te:  58%|██████████████████████████████████████████████████████████████████████                                                  | 21/36 [03:50<02:43, 10.90s/it]
+
arc_te:  61%|█████████████████████████████████████████████████████████████████████████▎                                              | 22/36 [04:00<02:30, 10.74s/it]
+
arc_te:  64%|████████████████████████████████████████████████████████████████████████████▋                                           | 23/36 [04:11<02:19, 10.77s/it]
+
arc_te:  67%|████████████████████████████████████████████████████████████████████████████████                                        | 24/36 [04:21<02:08, 10.69s/it]
+
arc_te:  69%|███████████████████████████████████████████████████████████████████████████████████▎                                    | 25/36 [04:32<01:58, 10.73s/it]
+
arc_te:  72%|██████████████████████████████████████████████████████████████████████████████████████▋                                 | 26/36 [04:43<01:49, 10.91s/it]
+
arc_te:  75%|██████████████████████████████████████████████████████████████████████████████████████████                              | 27/36 [04:55<01:38, 10.99s/it]
+
arc_te:  78%|█████████████████████████████████████████████████████████████████████████████████████████████▎                          | 28/36 [05:05<01:26, 10.85s/it]
+
arc_te:  81%|████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 29/36 [05:15<01:12, 10.41s/it]
+
arc_te:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████                    | 30/36 [05:24<01:00, 10.07s/it]
+
arc_te:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 31/36 [05:34<00:50, 10.10s/it]
+
arc_te:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 32/36 [05:44<00:40, 10.19s/it]
+
arc_te:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 33/36 [05:55<00:30, 10.23s/it]
+
arc_te:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 34/36 [06:05<00:20, 10.23s/it]
+
arc_te:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 35/36 [06:17<00:10, 10.67s/it]
+
arc_te: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [06:24<00:00,  9.65s/it]
arc_te: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 36/36 [06:24<00:00, 10.68s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_te_acc 0.2
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_te_acc_norm 0.2543859649122807
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:11:11,803 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:11:11,803 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:11,931 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:11:11,931 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:12,058 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:11:12,058 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:12,186 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:11:12,187 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:11:12,187 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:11:12,316 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:11:12,316 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_te_acc'}
+2024-05-29 09:11:12,381 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:11:12,381 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1133, 'value': 0.2}
+2024-05-29 09:11:12,446 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:11:13,063 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:11:13,063 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:13,184 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:11:13,184 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:13,304 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:11:13,304 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:13,425 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:11:13,426 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:11:13,426 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:11:13,547 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:11:13,547 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_te_acc_norm'}
+2024-05-29 09:11:13,609 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:11:13,609 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1134, 'value': 0.2543859649122807}
+2024-05-29 09:11:13,670 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  23%|█████████████████████████                                                                                      | 28/124 [2:23:42<9:13:38, 346.02s/it]['arc_uk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:11:14,312 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:11:14,312 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:14,439 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:11:14,439 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:14,566 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:11:14,566 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:11:14,693 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:11:14,693 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 09:11:14,694 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'arc_uk'}
+2024-05-29 09:11:14,821 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_uk task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1117 examples [00:00, 8122.58 examples/s]
Generating train split: 1117 examples [00:00, 8048.16 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 21676.56 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  7.64 examples/s]
Generating test split: 1169 examples [00:00, 6835.27 examples/s]
+Running loglikelihood requests
+
+
arc_uk:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_uk:   3%|███▎                                                                                                                     | 1/37 [00:08<05:07,  8.54s/it]
+
arc_uk:   5%|██████▌                                                                                                                  | 2/37 [00:17<05:01,  8.60s/it]
+
arc_uk:   8%|█████████▊                                                                                                               | 3/37 [00:25<04:43,  8.34s/it]
+
arc_uk:  11%|█████████████                                                                                                            | 4/37 [00:33<04:36,  8.39s/it]
+
arc_uk:  14%|████████████████▎                                                                                                        | 5/37 [00:41<04:26,  8.32s/it]
+
arc_uk:  16%|███████████████████▌                                                                                                     | 6/37 [00:50<04:16,  8.27s/it]
+
arc_uk:  19%|██████████████████████▉                                                                                                  | 7/37 [00:58<04:09,  8.32s/it]
+
arc_uk:  22%|██████████████████████████▏                                                                                              | 8/37 [01:06<03:56,  8.16s/it]
+
arc_uk:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:14<03:52,  8.31s/it]
+
arc_uk:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:23<03:43,  8.30s/it]
+
arc_uk:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:31<03:38,  8.42s/it]
+
arc_uk:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:40<03:28,  8.33s/it]
+
arc_uk:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:48<03:19,  8.32s/it]
+
arc_uk:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:56<03:12,  8.36s/it]
+
arc_uk:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:05<03:08,  8.56s/it]
+
arc_uk:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:13<02:54,  8.30s/it]
+
arc_uk:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:21<02:44,  8.22s/it]
+
arc_uk:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:29<02:33,  8.07s/it]
+
arc_uk:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:37<02:26,  8.12s/it]
+
arc_uk:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:45<02:17,  8.09s/it]
+
arc_uk:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:54<02:14,  8.38s/it]
+
arc_uk:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [03:03<02:06,  8.46s/it]
+
arc_uk:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:11<01:59,  8.52s/it]
+
arc_uk:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:19<01:46,  8.22s/it]
+
arc_uk:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:27<01:38,  8.19s/it]
+
arc_uk:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:35<01:30,  8.27s/it]
+
arc_uk:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:43<01:20,  8.08s/it]
+
arc_uk:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:51<01:13,  8.13s/it]
+
arc_uk:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [04:00<01:06,  8.30s/it]
+
arc_uk:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [04:08<00:58,  8.30s/it]
+
arc_uk:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:16<00:49,  8.23s/it]
+
arc_uk:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [04:25<00:41,  8.32s/it]
+
arc_uk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [04:33<00:33,  8.27s/it]
+
arc_uk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:42<00:25,  8.33s/it]
+
arc_uk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:50<00:16,  8.33s/it]
+
arc_uk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:59<00:08,  8.66s/it]
+
arc_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:05<00:00,  7.89s/it]
arc_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [05:05<00:00,  8.27s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_uk_acc 0.2634730538922156
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_uk_acc_norm 0.3105218135158255
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:16:21,769 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:16:21,769 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:21,893 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:16:21,893 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:22,017 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:16:22,017 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:22,141 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:16:22,142 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:16:22,142 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:16:22,268 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:16:22,268 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'arc_uk_acc'}
+2024-05-29 09:16:22,331 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:16:22,331 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1135, 'value': 0.2634730538922156}
+2024-05-29 09:16:22,394 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:16:23,021 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:16:23,021 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:23,144 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:16:23,144 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:23,267 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:16:23,267 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:16:23,391 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:16:23,516 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:16:23,516 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'arc_uk_acc_norm'}
+2024-05-29 09:16:23,578 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:16:23,578 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1136, 'value': 0.3105218135158255}
+2024-05-29 09:16:23,641 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  23%|█████████████████████████▉                                                                                     | 29/124 [2:28:52<8:50:44, 335.21s/it]['arc_vi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:16:24,302 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:16:24,302 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:24,430 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:16:24,431 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:24,559 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:16:24,559 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 09:16:24,688 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'arc_vi'}
+2024-05-29 09:16:24,818 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_vi task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
+
Generating train split: 1 examples [00:00,  8.36 examples/s]
Generating train split: 1118 examples [00:00, 6990.68 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 298 examples [00:00, 3500.52 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  9.31 examples/s]
Generating test split: 1170 examples [00:00, 7897.61 examples/s]
+Running loglikelihood requests
+
+
arc_vi:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_vi:   3%|███▎                                                                                                                     | 1/37 [00:08<04:58,  8.28s/it]
+
arc_vi:   5%|██████▌                                                                                                                  | 2/37 [00:16<04:45,  8.17s/it]
+
arc_vi:   8%|█████████▊                                                                                                               | 3/37 [00:23<04:24,  7.77s/it]
+
arc_vi:  11%|█████████████                                                                                                            | 4/37 [00:32<04:24,  8.01s/it]
+
arc_vi:  14%|████████████████▎                                                                                                        | 5/37 [00:40<04:24,  8.27s/it]
+
arc_vi:  16%|███████████████████▌                                                                                                     | 6/37 [00:48<04:15,  8.24s/it]
+
arc_vi:  19%|██████████████████████▉                                                                                                  | 7/37 [00:57<04:08,  8.28s/it]
+
arc_vi:  22%|██████████████████████████▏                                                                                              | 8/37 [01:05<03:58,  8.21s/it]
+
arc_vi:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:13<03:46,  8.08s/it]
+
arc_vi:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:21<03:38,  8.08s/it]
+
arc_vi:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:29<03:28,  8.02s/it]
+
arc_vi:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:37<03:20,  8.02s/it]
+
arc_vi:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:45<03:15,  8.16s/it]
+
arc_vi:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:53<03:05,  8.05s/it]
+
arc_vi:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [02:00<02:53,  7.88s/it]
+
arc_vi:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [02:09<02:47,  7.98s/it]
+
arc_vi:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:16<02:35,  7.79s/it]
+
arc_vi:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:24<02:27,  7.79s/it]
+
arc_vi:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:32<02:22,  7.89s/it]
+
arc_vi:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:40<02:15,  7.99s/it]
+
arc_vi:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:48<02:05,  7.86s/it]
+
arc_vi:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:55<01:57,  7.83s/it]
+
arc_vi:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [03:03<01:46,  7.63s/it]
+
arc_vi:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [03:10<01:38,  7.56s/it]
+
arc_vi:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:18<01:34,  7.84s/it]
+
arc_vi:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:26<01:24,  7.64s/it]
+
arc_vi:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:33<01:16,  7.65s/it]
+
arc_vi:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:41<01:09,  7.68s/it]
+
arc_vi:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:49<01:01,  7.65s/it]
+
arc_vi:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:57<00:54,  7.82s/it]
+
arc_vi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [04:04<00:46,  7.68s/it]
+
arc_vi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [04:12<00:38,  7.70s/it]
+
arc_vi:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [04:20<00:31,  7.85s/it]
+
arc_vi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:29<00:24,  8.17s/it]
+
arc_vi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:37<00:16,  8.05s/it]
+
arc_vi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:45<00:08,  8.14s/it]
+
arc_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:51<00:00,  7.54s/it]
arc_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:51<00:00,  7.89s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_vi_acc 0.23162393162393163
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_vi_acc_norm 0.2709401709401709
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:21:17,843 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:21:17,843 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:17,971 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:21:17,971 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:18,103 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:21:18,104 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:18,232 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:21:18,233 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:21:18,233 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:21:18,363 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:21:18,363 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_vi_acc'}
+2024-05-29 09:21:18,428 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:21:18,428 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1137, 'value': 0.23162393162393163}
+2024-05-29 09:21:18,493 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:21:19,134 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:21:19,135 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:19,260 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:21:19,260 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:19,386 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:21:19,386 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:21:19,512 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:21:19,639 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:21:19,639 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'arc_vi_acc_norm'}
+2024-05-29 09:21:19,703 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:21:19,703 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1138, 'value': 0.2709401709401709}
+2024-05-29 09:21:19,766 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  24%|██████████████████████████▊                                                                                    | 30/124 [2:33:49<8:26:47, 323.48s/it]['arc_zh']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:21:20,391 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:21:20,391 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:20,513 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:21:20,513 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:20,635 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:21:20,635 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:21:20,757 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:21:20,758 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 09:21:20,758 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'arc_zh'}
+2024-05-29 09:21:20,881 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=arc_zh task_provider=lm_eval)]
+
+
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 1118 examples [00:00, 24013.23 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 297 examples [00:00, 23306.05 examples/s]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
Generating test split: 1170 examples [00:00, 26052.55 examples/s]
+Running loglikelihood requests
+
+
arc_zh:   0%|                                                                                                                                 | 0/37 [00:00<?, ?it/s]
+
arc_zh:   3%|███▎                                                                                                                     | 1/37 [00:07<04:29,  7.49s/it]
+
arc_zh:   5%|██████▌                                                                                                                  | 2/37 [00:14<04:20,  7.44s/it]
+
arc_zh:   8%|█████████▊                                                                                                               | 3/37 [00:22<04:13,  7.45s/it]
+
arc_zh:  11%|█████████████                                                                                                            | 4/37 [00:29<04:05,  7.44s/it]
+
arc_zh:  14%|████████████████▎                                                                                                        | 5/37 [00:37<04:06,  7.71s/it]
+
arc_zh:  16%|███████████████████▌                                                                                                     | 6/37 [00:45<03:53,  7.53s/it]
+
arc_zh:  19%|██████████████████████▉                                                                                                  | 7/37 [00:52<03:42,  7.43s/it]
+
arc_zh:  22%|██████████████████████████▏                                                                                              | 8/37 [00:59<03:31,  7.31s/it]
+
arc_zh:  24%|█████████████████████████████▍                                                                                           | 9/37 [01:05<03:17,  7.07s/it]
+
arc_zh:  27%|████████████████████████████████▍                                                                                       | 10/37 [01:13<03:16,  7.29s/it]
+
arc_zh:  30%|███████████████████████████████████▋                                                                                    | 11/37 [01:21<03:12,  7.42s/it]
+
arc_zh:  32%|██████████████████████████████████████▉                                                                                 | 12/37 [01:28<03:03,  7.35s/it]
+
arc_zh:  35%|██████████████████████████████████████████▏                                                                             | 13/37 [01:35<02:55,  7.31s/it]
+
arc_zh:  38%|█████████████████████████████████████████████▍                                                                          | 14/37 [01:43<02:48,  7.33s/it]
+
arc_zh:  41%|████████████████████████████████████████████████▋                                                                       | 15/37 [01:50<02:39,  7.24s/it]
+
arc_zh:  43%|███████████████████████████████████████████████████▉                                                                    | 16/37 [01:57<02:33,  7.31s/it]
+
arc_zh:  46%|███████████████████████████████████████████████████████▏                                                                | 17/37 [02:04<02:21,  7.09s/it]
+
arc_zh:  49%|██████████████████████████████████████████████████████████▍                                                             | 18/37 [02:11<02:15,  7.12s/it]
+
arc_zh:  51%|█████████████████████████████████████████████████████████████▌                                                          | 19/37 [02:19<02:10,  7.25s/it]
+
arc_zh:  54%|████████████████████████████████████████████████████████████████▊                                                       | 20/37 [02:26<02:03,  7.25s/it]
+
arc_zh:  57%|████████████████████████████████████████████████████████████████████                                                    | 21/37 [02:33<01:57,  7.33s/it]
+
arc_zh:  59%|███████████████████████████████████████████████████████████████████████▎                                                | 22/37 [02:41<01:49,  7.30s/it]
+
arc_zh:  62%|██████████████████████████████████████████████████████████████████████████▌                                             | 23/37 [02:47<01:39,  7.09s/it]
+
arc_zh:  65%|█████████████████████████████████████████████████████████████████████████████▊                                          | 24/37 [02:53<01:29,  6.85s/it]
+
arc_zh:  68%|█████████████████████████████████████████████████████████████████████████████████                                       | 25/37 [03:01<01:25,  7.11s/it]
+
arc_zh:  70%|████████████████████████████████████████████████████████████████████████████████████▎                                   | 26/37 [03:09<01:19,  7.22s/it]
+
arc_zh:  73%|███████████████████████████████████████████████████████████████████████████████████████▌                                | 27/37 [03:15<01:09,  6.99s/it]
+
arc_zh:  76%|██████████████████████████████████████████████████████████████████████████████████████████▊                             | 28/37 [03:23<01:04,  7.12s/it]
+
arc_zh:  78%|██████████████████████████████████████████████████████████████████████████████████████████████                          | 29/37 [03:30<00:57,  7.13s/it]
+
arc_zh:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 30/37 [03:37<00:50,  7.26s/it]
+
arc_zh:  84%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 31/37 [03:45<00:44,  7.35s/it]
+
arc_zh:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 32/37 [03:52<00:36,  7.26s/it]
+
arc_zh:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████             | 33/37 [03:59<00:29,  7.31s/it]
+
arc_zh:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 34/37 [04:08<00:22,  7.59s/it]
+
arc_zh:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 35/37 [04:15<00:14,  7.49s/it]
+
arc_zh:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 36/37 [04:22<00:07,  7.45s/it]
+
arc_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:28<00:00,  6.88s/it]
arc_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 37/37 [04:28<00:00,  7.25s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_zh_acc 0.358974358974359
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ arc_zh_acc_norm 0.39829059829059826
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:25:49,881 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:25:49,881 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:50,004 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:25:50,004 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:50,128 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:25:50,128 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:25:50,252 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:25:50,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:25:50,377 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_zh_acc'}
+2024-05-29 09:25:50,440 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:25:50,440 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1139, 'value': 0.358974358974359}
+2024-05-29 09:25:50,503 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:25:51,136 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:25:51,137 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:51,261 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:25:51,262 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:51,386 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:25:51,386 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:51,511 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:25:51,512 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 09:25:51,512 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 09:25:51,638 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 09:25:51,638 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'arc_zh_acc_norm'}
+2024-05-29 09:25:51,701 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 09:25:51,701 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1140, 'value': 0.39829059829059826}
+2024-05-29 09:25:51,764 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  25%|███████████████████████████▊                                                                                   | 31/124 [2:38:21<7:57:27, 308.04s/it]['hellaswag_ar']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 09:25:52,395 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 09:25:52,395 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:52,519 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 09:25:52,519 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:52,643 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 09:25:52,643 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 09:25:52,767 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 09:25:52,768 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 09:25:52,768 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_ar'}
+2024-05-29 09:25:52,893 INFO sqlalchemy.engine.Engine ROLLBACK
+/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_hellaswag contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_hellaswag/m_hellaswag.py
+You can avoid this message in future by passing the argument `trust_remote_code=True`.
+Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
+  warnings.warn(
+[Task(name=hellaswag_ar task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:03,  3.03s/ examples]
+
Generating validation split: 2000 examples [00:03, 889.06 examples/s]
+
Generating validation split: 3775 examples [00:03, 1895.99 examples/s]
+
Generating validation split: 5310 examples [00:03, 2953.48 examples/s]
+
Generating validation split: 7000 examples [00:03, 4326.52 examples/s]
+
Generating validation split: 9000 examples [00:03, 6115.26 examples/s]
Generating validation split: 9176 examples [00:03, 2541.26 examples/s]
+Loaded 9176 examples
+Running loglikelihood requests
+
+
hellaswag_ar:   0%|                                                                                                                          | 0/287 [00:00<?, ?it/s]
+
hellaswag_ar:   0%|▍                                                                                                                 | 1/287 [00:10<51:35, 10.82s/it]
+
hellaswag_ar:   1%|▊                                                                                                                 | 2/287 [00:22<54:05, 11.39s/it]
+
hellaswag_ar:   1%|█▏                                                                                                                | 3/287 [00:32<51:27, 10.87s/it]
+
hellaswag_ar:   1%|█▌                                                                                                                | 4/287 [00:44<52:07, 11.05s/it]
+
hellaswag_ar:   2%|█▉                                                                                                                | 5/287 [00:55<52:25, 11.15s/it]
+
hellaswag_ar:   2%|██▍                                                                                                               | 6/287 [01:07<53:28, 11.42s/it]
+
hellaswag_ar:   2%|██▊                                                                                                               | 7/287 [01:17<51:44, 11.09s/it]
+
hellaswag_ar:   3%|███▏                                                                                                              | 8/287 [01:29<52:20, 11.26s/it]
+
hellaswag_ar:   3%|███▌                                                                                                              | 9/287 [01:41<53:11, 11.48s/it]
+
hellaswag_ar:   3%|███▉                                                                                                             | 10/287 [01:52<53:01, 11.48s/it]
+
hellaswag_ar:   4%|████▎                                                                                                            | 11/287 [02:05<54:09, 11.77s/it]
+
hellaswag_ar:   4%|████▋                                                                                                            | 12/287 [02:15<52:18, 11.41s/it]
+
hellaswag_ar:   5%|█████                                                                                                            | 13/287 [02:27<52:02, 11.40s/it]
+
hellaswag_ar:   5%|█████▌                                                                                                           | 14/287 [02:38<51:10, 11.25s/it]
+
hellaswag_ar:   5%|█████▉                                                                                                           | 15/287 [02:48<50:18, 11.10s/it]
+
hellaswag_ar:   6%|██████▎                                                                                                          | 16/287 [03:01<51:45, 11.46s/it]
+
hellaswag_ar:   6%|██████▋                                                                                                          | 17/287 [03:12<51:37, 11.47s/it]
+
hellaswag_ar:   6%|███████                                                                                                          | 18/287 [03:23<50:29, 11.26s/it]
+
hellaswag_ar:   7%|███████▍                                                                                                         | 19/287 [03:34<49:19, 11.04s/it]
+
hellaswag_ar:   7%|███████▊                                                                                                         | 20/287 [03:44<48:36, 10.92s/it]
+
hellaswag_ar:   7%|████████▎                                                                                                        | 21/287 [03:56<49:46, 11.23s/it]
+
hellaswag_ar:   8%|████████▋                                                                                                        | 22/287 [04:08<49:56, 11.31s/it]
+
hellaswag_ar:   8%|█████████                                                                                                        | 23/287 [04:18<48:40, 11.06s/it]
+
hellaswag_ar:   8%|█████████▍                                                                                                       | 24/287 [04:29<47:54, 10.93s/it]
+
hellaswag_ar:   9%|█████████▊                                                                                                       | 25/287 [04:40<48:17, 11.06s/it]
+
hellaswag_ar:   9%|██████████▏                                                                                                      | 26/287 [04:51<47:28, 10.91s/it]
+
hellaswag_ar:   9%|██████████▋                                                                                                      | 27/287 [05:02<47:56, 11.06s/it]
+
hellaswag_ar:  10%|███████████                                                                                                      | 28/287 [05:13<47:57, 11.11s/it]
+
hellaswag_ar:  10%|███████████▍                                                                                                     | 29/287 [05:25<48:01, 11.17s/it]
+
hellaswag_ar:  10%|███████████▊                                                                                                     | 30/287 [05:35<47:09, 11.01s/it]
+
hellaswag_ar:  11%|████████████▏                                                                                                    | 31/287 [05:46<46:18, 10.85s/it]
+
hellaswag_ar:  11%|████████████▌                                                                                                    | 32/287 [05:57<46:48, 11.01s/it]
+
hellaswag_ar:  11%|████████████▉                                                                                                    | 33/287 [06:09<48:06, 11.36s/it]
+
hellaswag_ar:  12%|█████████████▍                                                                                                   | 34/287 [06:21<48:14, 11.44s/it]
+
hellaswag_ar:  12%|█████████████▊                                                                                                   | 35/287 [06:32<47:33, 11.32s/it]
+
hellaswag_ar:  13%|██████████████▏                                                                                                  | 36/287 [06:43<46:37, 11.14s/it]
+
hellaswag_ar:  13%|██████████████▌                                                                                                  | 37/287 [06:54<46:04, 11.06s/it]
+
hellaswag_ar:  13%|██████████████▉                                                                                                  | 38/287 [07:04<45:18, 10.92s/it]
+
hellaswag_ar:  14%|███████████████▎                                                                                                 | 39/287 [07:16<45:47, 11.08s/it]
+
hellaswag_ar:  14%|███████████████▋                                                                                                 | 40/287 [07:27<46:00, 11.18s/it]
+
hellaswag_ar:  14%|████████████████▏                                                                                                | 41/287 [07:38<45:16, 11.04s/it]
+
hellaswag_ar:  15%|████████████████▌                                                                                                | 42/287 [07:50<46:05, 11.29s/it]
+
hellaswag_ar:  15%|████████████████▉                                                                                                | 43/287 [08:01<45:54, 11.29s/it]
+
hellaswag_ar:  15%|█████████████████▎                                                                                               | 44/287 [08:12<45:42, 11.29s/it]
+
hellaswag_ar:  16%|█████████████████▋                                                                                               | 45/287 [08:24<46:21, 11.49s/it]
+
hellaswag_ar:  16%|██████████████████                                                                                               | 46/287 [08:36<46:10, 11.50s/it]
+
hellaswag_ar:  16%|██████████████████▌                                                                                              | 47/287 [08:47<45:42, 11.43s/it]
+
hellaswag_ar:  17%|██████████████████▉                                                                                              | 48/287 [08:58<45:30, 11.43s/it]
+
hellaswag_ar:  17%|███████████████████▎                                                                                             | 49/287 [09:09<44:22, 11.19s/it]
+
hellaswag_ar:  17%|███████████████████▋                                                                                             | 50/287 [09:21<44:39, 11.30s/it]
+
hellaswag_ar:  18%|████████████████████                                                                                             | 51/287 [09:33<45:21, 11.53s/it]
+
hellaswag_ar:  18%|████████████████████▍                                                                                            | 52/287 [09:43<44:06, 11.26s/it]
+
hellaswag_ar:  18%|████████████████████▊                                                                                            | 53/287 [09:54<43:46, 11.22s/it]
+
hellaswag_ar:  19%|█████████████████████▎                                                                                           | 54/287 [10:05<42:58, 11.07s/it]
+
hellaswag_ar:  19%|█████████████████████▋                                                                                           | 55/287 [10:17<43:47, 11.33s/it]
+
hellaswag_ar:  20%|██████████████████████                                                                                           | 56/287 [10:27<42:27, 11.03s/it]
+
hellaswag_ar:  20%|██████████████████████▍                                                                                          | 57/287 [10:39<42:48, 11.17s/it]
+
hellaswag_ar:  20%|██████████████████████▊                                                                                          | 58/287 [10:50<42:50, 11.22s/it]
+
hellaswag_ar:  21%|███████████████████████▏                                                                                         | 59/287 [11:01<42:15, 11.12s/it]
+
hellaswag_ar:  21%|███████████████████████▌                                                                                         | 60/287 [11:12<41:32, 10.98s/it]
+
hellaswag_ar:  21%|████████████████████████                                                                                         | 61/287 [11:23<41:14, 10.95s/it]
+
hellaswag_ar:  22%|████████████████████████▍                                                                                        | 62/287 [11:34<41:20, 11.02s/it]
+
hellaswag_ar:  22%|████████████████████████▊                                                                                        | 63/287 [11:45<41:40, 11.16s/it]
+
hellaswag_ar:  22%|█████████████████████████▏                                                                                       | 64/287 [11:56<40:29, 10.89s/it]
+
hellaswag_ar:  23%|█████████████████████████▌                                                                                       | 65/287 [12:07<40:52, 11.05s/it]
+
hellaswag_ar:  23%|█████████████████████████▉                                                                                       | 66/287 [12:18<40:09, 10.90s/it]
+
hellaswag_ar:  23%|██████████████████████████▍                                                                                      | 67/287 [12:28<39:31, 10.78s/it]
+
hellaswag_ar:  24%|██████████████████████████▊                                                                                      | 68/287 [12:39<39:02, 10.70s/it]
+
hellaswag_ar:  24%|███████████████████████████▏                                                                                     | 69/287 [12:50<39:38, 10.91s/it]
+
hellaswag_ar:  24%|███████████████████████████▌                                                                                     | 70/287 [13:01<39:53, 11.03s/it]
+
hellaswag_ar:  25%|███████████████████████████▉                                                                                     | 71/287 [13:13<40:20, 11.21s/it]
+
hellaswag_ar:  25%|████████████████████████████▎                                                                                    | 72/287 [13:25<40:40, 11.35s/it]
+
hellaswag_ar:  25%|████████████████████████████▋                                                                                    | 73/287 [13:37<41:08, 11.54s/it]
+
hellaswag_ar:  26%|█████████████████████████████▏                                                                                   | 74/287 [13:48<40:59, 11.55s/it]
+
hellaswag_ar:  26%|█████████████████████████████▌                                                                                   | 75/287 [14:00<40:56, 11.59s/it]
+
hellaswag_ar:  26%|█████████████████████████████▉                                                                                   | 76/287 [14:10<39:43, 11.29s/it]
+
hellaswag_ar:  27%|██████████████████████████████▎                                                                                  | 77/287 [14:21<38:43, 11.06s/it]
+
hellaswag_ar:  27%|██████████████████████████████▋                                                                                  | 78/287 [14:32<38:46, 11.13s/it]
+
hellaswag_ar:  28%|███████████████████████████████                                                                                  | 79/287 [14:43<38:16, 11.04s/it]
+
hellaswag_ar:  28%|███████████████████████████████▍                                                                                 | 80/287 [14:55<38:42, 11.22s/it]
+
hellaswag_ar:  28%|███████████████████████████████▉                                                                                 | 81/287 [15:05<37:54, 11.04s/it]
+
hellaswag_ar:  29%|████████████████████████████████▎                                                                                | 82/287 [15:16<37:50, 11.08s/it]
+
hellaswag_ar:  29%|████████████████████████████████▋                                                                                | 83/287 [15:28<38:04, 11.20s/it]
+
hellaswag_ar:  29%|█████████████████████████████████                                                                                | 84/287 [15:39<37:50, 11.18s/it]
+
hellaswag_ar:  30%|█████████████████████████████████▍                                                                               | 85/287 [15:50<36:59, 10.99s/it]
+
hellaswag_ar:  30%|█████████████████████████████████▊                                                                               | 86/287 [16:02<37:59, 11.34s/it]
+
hellaswag_ar:  30%|██████████████████████████████████▎                                                                              | 87/287 [16:12<37:03, 11.12s/it]
+
hellaswag_ar:  31%|██████████████████████████████████▋                                                                              | 88/287 [16:24<37:45, 11.38s/it]
+
hellaswag_ar:  31%|███████████████████████████████████                                                                              | 89/287 [16:36<38:08, 11.56s/it]
+
hellaswag_ar:  31%|███████████████████████████████████▍                                                                             | 90/287 [16:47<36:42, 11.18s/it]
+
hellaswag_ar:  32%|███████████████████████████████████▊                                                                             | 91/287 [16:57<35:35, 10.90s/it]
+
hellaswag_ar:  32%|████████████████████████████████████▏                                                                            | 92/287 [17:07<35:03, 10.79s/it]
+
hellaswag_ar:  32%|████████████████████████████████████▌                                                                            | 93/287 [17:18<35:00, 10.83s/it]
+
hellaswag_ar:  33%|█████████████████████████████████████                                                                            | 94/287 [17:29<34:23, 10.69s/it]
+
hellaswag_ar:  33%|█████████████████████████████████████▍                                                                           | 95/287 [17:39<33:59, 10.62s/it]
+
hellaswag_ar:  33%|█████████████████████████████████████▊                                                                           | 96/287 [17:50<34:25, 10.81s/it]
+
hellaswag_ar:  34%|██████████████████████████████████████▏                                                                          | 97/287 [18:01<34:13, 10.81s/it]
+
hellaswag_ar:  34%|██████████████████████████████████████▌                                                                          | 98/287 [18:12<33:55, 10.77s/it]
+
hellaswag_ar:  34%|██████████████████████████████████████▉                                                                          | 99/287 [18:23<33:38, 10.74s/it]
+
hellaswag_ar:  35%|███████████████████████████████████████                                                                         | 100/287 [18:33<33:26, 10.73s/it]
+
hellaswag_ar:  35%|███████████████████████████████████████▍                                                                        | 101/287 [18:45<33:47, 10.90s/it]
+
hellaswag_ar:  36%|███████████████████████████████████████▊                                                                        | 102/287 [18:55<33:22, 10.83s/it]
+
hellaswag_ar:  36%|████████████████████████████████████████▏                                                                       | 103/287 [19:06<33:03, 10.78s/it]
+
hellaswag_ar:  36%|████████████████████████████████████████▌                                                                       | 104/287 [19:16<32:30, 10.66s/it]
+
hellaswag_ar:  37%|████████████████████████████████████████▉                                                                       | 105/287 [19:28<32:59, 10.88s/it]
+
hellaswag_ar:  37%|█████████████████████████████████████████▎                                                                      | 106/287 [19:39<33:10, 11.00s/it]
+
hellaswag_ar:  37%|█████████████████████████████████████████▊                                                                      | 107/287 [19:50<33:12, 11.07s/it]
+
hellaswag_ar:  38%|██████████████████████████████████████████▏                                                                     | 108/287 [20:02<33:21, 11.18s/it]
+
hellaswag_ar:  38%|██████████████████████████████████████████▌                                                                     | 109/287 [20:13<33:31, 11.30s/it]
+
hellaswag_ar:  38%|██████████████████████████████████████████▉                                                                     | 110/287 [20:25<33:35, 11.39s/it]
+
hellaswag_ar:  39%|███████████████████████████████████████████▎                                                                    | 111/287 [20:36<33:24, 11.39s/it]
+
hellaswag_ar:  39%|███████████████████████████████████████████▋                                                                    | 112/287 [20:48<33:31, 11.49s/it]
+
hellaswag_ar:  39%|████████████████████████████████████████████                                                                    | 113/287 [20:59<32:48, 11.31s/it]
+
hellaswag_ar:  40%|████████████████████████████████████████████▍                                                                   | 114/287 [21:10<32:12, 11.17s/it]
+
hellaswag_ar:  40%|████████████████████████████████████████████▉                                                                   | 115/287 [21:20<31:30, 10.99s/it]
+
hellaswag_ar:  40%|█████████████████████████████████████████████▎                                                                  | 116/287 [21:31<31:01, 10.89s/it]
+
hellaswag_ar:  41%|█████████████████████████████████████████████▋                                                                  | 117/287 [21:42<31:04, 10.97s/it]
+
hellaswag_ar:  41%|██████████████████████████████████████████████                                                                  | 118/287 [21:52<30:21, 10.78s/it]
+
hellaswag_ar:  41%|██████████████████████████████████████████████▍                                                                 | 119/287 [22:04<30:54, 11.04s/it]
+
hellaswag_ar:  42%|██████████████████████████████████████████████▊                                                                 | 120/287 [22:15<30:50, 11.08s/it]
+
hellaswag_ar:  42%|███████████████████████████████████████████████▏                                                                | 121/287 [22:26<30:20, 10.97s/it]
+
hellaswag_ar:  43%|███████████████████████████████████████████████▌                                                                | 122/287 [22:37<30:29, 11.09s/it]
+
hellaswag_ar:  43%|████████████████████████████████████████████████                                                                | 123/287 [22:50<31:15, 11.43s/it]
+
hellaswag_ar:  43%|████████████████████████████████████████████████▍                                                               | 124/287 [23:00<30:37, 11.27s/it]
+
hellaswag_ar:  44%|████████████████████████████████████████████████▊                                                               | 125/287 [23:12<30:23, 11.26s/it]
+
hellaswag_ar:  44%|█████████████████████████████████████████████████▏                                                              | 126/287 [23:23<30:21, 11.32s/it]
+
hellaswag_ar:  44%|█████████████████████████████████████████████████▌                                                              | 127/287 [23:35<30:56, 11.61s/it]
+
hellaswag_ar:  45%|█████████████████████████████████████████████████▉                                                              | 128/287 [23:47<30:31, 11.52s/it]
+
hellaswag_ar:  45%|██████████████████████████████████████████████████▎                                                             | 129/287 [23:58<30:07, 11.44s/it]
+
hellaswag_ar:  45%|██████████████████████████████████████████████████▋                                                             | 130/287 [24:09<29:29, 11.27s/it]
+
hellaswag_ar:  46%|███████████████████████████████████████████████████                                                             | 131/287 [24:20<28:54, 11.12s/it]
+
hellaswag_ar:  46%|███████████████████████████████████████████████████▌                                                            | 132/287 [24:31<28:44, 11.12s/it]
+
hellaswag_ar:  46%|███████████████████████████████████████████████████▉                                                            | 133/287 [24:41<28:03, 10.93s/it]
+
hellaswag_ar:  47%|████████████████████████████████████████████████████▎                                                           | 134/287 [24:53<28:35, 11.21s/it]
+
hellaswag_ar:  47%|████████████████████████████████████████████████████▋                                                           | 135/287 [25:04<27:57, 11.04s/it]
+
hellaswag_ar:  47%|█████████████████████████████████████████████████████                                                           | 136/287 [25:14<27:16, 10.84s/it]
+
hellaswag_ar:  48%|█████████████████████████████████████████████████████▍                                                          | 137/287 [25:24<26:40, 10.67s/it]
+
hellaswag_ar:  48%|█████████████████████████████████████████████████████▊                                                          | 138/287 [25:35<26:27, 10.65s/it]
+
hellaswag_ar:  48%|██████████████████████████████████████████████████████▏                                                         | 139/287 [25:47<27:39, 11.21s/it]
+
hellaswag_ar:  49%|██████████████████████████████████████████████████████▋                                                         | 140/287 [25:59<27:21, 11.16s/it]
+
hellaswag_ar:  49%|███████████████████████████████████████████████████████                                                         | 141/287 [26:09<26:34, 10.92s/it]
+
hellaswag_ar:  49%|███████████████████████████████████████████████████████▍                                                        | 142/287 [26:20<26:20, 10.90s/it]
+
hellaswag_ar:  50%|███████████████████████████████████████████████████████▊                                                        | 143/287 [26:30<25:51, 10.78s/it]
+
hellaswag_ar:  50%|████████████████████████████████████████████████████████▏                                                       | 144/287 [26:42<26:06, 10.95s/it]
+
hellaswag_ar:  51%|████████████████████████████████████████████████████████▌                                                       | 145/287 [26:52<25:47, 10.90s/it]
+
hellaswag_ar:  51%|████████████████████████████████████████████████████████▉                                                       | 146/287 [27:04<26:07, 11.12s/it]
+
hellaswag_ar:  51%|█████████████████████████████████████████████████████████▎                                                      | 147/287 [27:15<26:02, 11.16s/it]
+
hellaswag_ar:  52%|█████████████████████████████████████████████████████████▊                                                      | 148/287 [27:26<25:37, 11.06s/it]
+
hellaswag_ar:  52%|██████████████████████████████████████████████████████████▏                                                     | 149/287 [27:37<25:29, 11.08s/it]
+
hellaswag_ar:  52%|██████████████████████████████████████████████████████████▌                                                     | 150/287 [27:48<25:26, 11.14s/it]
+
hellaswag_ar:  53%|██████████████████████████████████████████████████████████▉                                                     | 151/287 [28:00<25:41, 11.33s/it]
+
hellaswag_ar:  53%|███████████████████████████████████████████████████████████▎                                                    | 152/287 [28:12<25:26, 11.31s/it]
+
hellaswag_ar:  53%|███████████████████████████████████████████████████████████▋                                                    | 153/287 [28:22<24:24, 10.93s/it]
+
hellaswag_ar:  54%|████████████████████████████████████████████████████████████                                                    | 154/287 [28:33<24:30, 11.06s/it]
+
hellaswag_ar:  54%|████████████████████████████████████████████████████████████▍                                                   | 155/287 [28:44<24:25, 11.10s/it]
+
hellaswag_ar:  54%|████████████████████████████████████████████████████████████▉                                                   | 156/287 [28:56<24:24, 11.18s/it]
+
hellaswag_ar:  55%|█████████████████████████████████████████████████████████████▎                                                  | 157/287 [29:07<24:36, 11.36s/it]
+
hellaswag_ar:  55%|█████████████████████████████████████████████████████████████▋                                                  | 158/287 [29:18<23:57, 11.14s/it]
+
hellaswag_ar:  55%|██████████████████████████████████████████████████████████████                                                  | 159/287 [29:29<23:49, 11.17s/it]
+
hellaswag_ar:  56%|██████████████████████████████████████████████████████████████▍                                                 | 160/287 [29:40<23:45, 11.22s/it]
+
hellaswag_ar:  56%|██████████████████████████████████████████████████████████████▊                                                 | 161/287 [29:52<23:50, 11.35s/it]
+
hellaswag_ar:  56%|███████████████████████████████████████████████████████████████▏                                                | 162/287 [30:02<22:50, 10.97s/it]
+
hellaswag_ar:  57%|███████████████████████████████████████████████████████████████▌                                                | 163/287 [30:13<22:29, 10.88s/it]
+
hellaswag_ar:  57%|████████████████████████████████████████████████████████████████                                                | 164/287 [30:23<22:02, 10.75s/it]
+
hellaswag_ar:  57%|████████████████████████████████████████████████████████████████▍                                               | 165/287 [30:34<21:51, 10.75s/it]
+
hellaswag_ar:  58%|████████████████████████████████████████████████████████████████▊                                               | 166/287 [30:45<22:01, 10.92s/it]
+
hellaswag_ar:  58%|█████████████████████████████████████████████████████████████████▏                                              | 167/287 [30:56<21:38, 10.82s/it]
+
hellaswag_ar:  59%|█████████████████████████████████████████████████████████████████▌                                              | 168/287 [31:07<21:34, 10.87s/it]
+
hellaswag_ar:  59%|█████████████████████████████████████████████████████████████████▉                                              | 169/287 [31:18<21:29, 10.93s/it]
+
hellaswag_ar:  59%|██████████████████████████████████████████████████████████████████▎                                             | 170/287 [31:29<21:07, 10.84s/it]
+
hellaswag_ar:  60%|██████████████████████████████████████████████████████████████████▋                                             | 171/287 [31:39<20:46, 10.75s/it]
+
hellaswag_ar:  60%|███████████████████████████████████████████████████████████████████                                             | 172/287 [31:51<21:00, 10.96s/it]
+
hellaswag_ar:  60%|███████████████████████████████████████████████████████████████████▌                                            | 173/287 [32:02<21:08, 11.13s/it]
+
hellaswag_ar:  61%|███████████████████████████████████████████████████████████████████▉                                            | 174/287 [32:13<20:46, 11.03s/it]
+
hellaswag_ar:  61%|████████████████████████████████████████████████████████████████████▎                                           | 175/287 [32:25<21:15, 11.39s/it]
+
hellaswag_ar:  61%|████████████████████████████████████████████████████████████████████▋                                           | 176/287 [32:35<20:08, 10.89s/it]
+
hellaswag_ar:  62%|█████████████████████████████████████████████████████████████████████                                           | 177/287 [32:46<20:09, 11.00s/it]
+
hellaswag_ar:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 178/287 [32:57<20:07, 11.08s/it]
+
hellaswag_ar:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 179/287 [33:09<20:03, 11.14s/it]
+
hellaswag_ar:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 180/287 [33:19<19:14, 10.79s/it]
+
hellaswag_ar:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 181/287 [33:31<19:47, 11.20s/it]
+
hellaswag_ar:  63%|███████████████████████████████████████████████████████████████████████                                         | 182/287 [33:42<19:28, 11.13s/it]
+
hellaswag_ar:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 183/287 [33:53<19:31, 11.26s/it]
+
hellaswag_ar:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 184/287 [34:05<19:28, 11.34s/it]
+
hellaswag_ar:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 185/287 [34:15<18:51, 11.09s/it]
+
hellaswag_ar:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 186/287 [34:28<19:14, 11.43s/it]
+
hellaswag_ar:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 187/287 [34:38<18:34, 11.15s/it]
+
hellaswag_ar:  66%|█████████████████████████████████████████████████████████████████████████▎                                      | 188/287 [34:49<18:11, 11.02s/it]
+
hellaswag_ar:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 189/287 [35:00<17:55, 10.97s/it]
+
hellaswag_ar:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 190/287 [35:10<17:26, 10.79s/it]
+
hellaswag_ar:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 191/287 [35:20<16:56, 10.59s/it]
+
hellaswag_ar:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 192/287 [35:30<16:36, 10.48s/it]
+
hellaswag_ar:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 193/287 [35:43<17:16, 11.03s/it]
+
hellaswag_ar:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 194/287 [35:54<17:09, 11.07s/it]
+
hellaswag_ar:  68%|████████████████████████████████████████████████████████████████████████████                                    | 195/287 [36:04<16:34, 10.81s/it]
+
hellaswag_ar:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 196/287 [36:15<16:32, 10.90s/it]
+
hellaswag_ar:  69%|████████████████████████████████████████████████████████████████████████████▉                                   | 197/287 [36:27<16:39, 11.11s/it]
+
hellaswag_ar:  69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 198/287 [36:39<16:54, 11.39s/it]
+
hellaswag_ar:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 199/287 [36:51<17:01, 11.61s/it]
+
hellaswag_ar:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 200/287 [37:03<16:55, 11.67s/it]
+
hellaswag_ar:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 201/287 [37:15<16:56, 11.82s/it]
+
hellaswag_ar:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 202/287 [37:27<16:38, 11.74s/it]
+
hellaswag_ar:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 203/287 [37:37<15:51, 11.33s/it]
+
hellaswag_ar:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 204/287 [37:48<15:45, 11.39s/it]
+
hellaswag_ar:  71%|████████████████████████████████████████████████████████████████████████████████                                | 205/287 [38:01<15:54, 11.64s/it]
+
hellaswag_ar:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 206/287 [38:12<15:33, 11.52s/it]
+
hellaswag_ar:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 207/287 [38:23<15:06, 11.33s/it]
+
hellaswag_ar:  72%|█████████████████████████████████████████████████████████████████████████████████▏                              | 208/287 [38:34<14:50, 11.28s/it]
+
hellaswag_ar:  73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 209/287 [38:45<14:26, 11.11s/it]
+
hellaswag_ar:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 210/287 [38:56<14:17, 11.14s/it]
+
hellaswag_ar:  74%|██████████████████████████████████████████████████████████████████████████████████▎                             | 211/287 [39:06<13:52, 10.95s/it]
+
hellaswag_ar:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 212/287 [39:17<13:43, 10.97s/it]
+
hellaswag_ar:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 213/287 [39:29<13:40, 11.08s/it]
+
hellaswag_ar:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 214/287 [39:40<13:32, 11.13s/it]
+
hellaswag_ar:  75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 215/287 [39:50<13:06, 10.93s/it]
+
hellaswag_ar:  75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 216/287 [40:01<12:50, 10.86s/it]
+
hellaswag_ar:  76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 217/287 [40:11<12:28, 10.69s/it]
+
hellaswag_ar:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 218/287 [40:22<12:19, 10.71s/it]
+
hellaswag_ar:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 219/287 [40:33<12:05, 10.67s/it]
+
hellaswag_ar:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 220/287 [40:44<12:08, 10.87s/it]
+
hellaswag_ar:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 221/287 [40:54<11:40, 10.61s/it]
+
hellaswag_ar:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 222/287 [41:05<11:41, 10.79s/it]
+
hellaswag_ar:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 223/287 [41:17<11:40, 10.95s/it]
+
hellaswag_ar:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 224/287 [41:28<11:38, 11.09s/it]
+
hellaswag_ar:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 225/287 [41:39<11:33, 11.19s/it]
+
hellaswag_ar:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 226/287 [41:51<11:22, 11.19s/it]
+
hellaswag_ar:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 227/287 [42:02<11:05, 11.09s/it]
+
hellaswag_ar:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 228/287 [42:12<10:46, 10.96s/it]
+
hellaswag_ar:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 229/287 [42:25<10:59, 11.38s/it]
+
hellaswag_ar:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 230/287 [42:35<10:39, 11.23s/it]
+
hellaswag_ar:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 231/287 [42:46<10:19, 11.05s/it]
+
hellaswag_ar:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 232/287 [42:57<10:00, 10.91s/it]
+
hellaswag_ar:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 233/287 [43:08<10:01, 11.14s/it]
+
hellaswag_ar:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 234/287 [43:19<09:49, 11.12s/it]
+
hellaswag_ar:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 235/287 [43:32<09:53, 11.42s/it]
+
hellaswag_ar:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 236/287 [43:44<09:56, 11.69s/it]
+
hellaswag_ar:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 237/287 [43:54<09:27, 11.36s/it]
+
hellaswag_ar:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 238/287 [44:06<09:13, 11.30s/it]
+
hellaswag_ar:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 239/287 [44:17<09:02, 11.29s/it]
+
hellaswag_ar:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 240/287 [44:27<08:36, 10.99s/it]
+
hellaswag_ar:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 241/287 [44:38<08:28, 11.05s/it]
+
hellaswag_ar:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 242/287 [44:49<08:12, 10.94s/it]
+
hellaswag_ar:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 243/287 [45:01<08:09, 11.13s/it]
+
hellaswag_ar:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 244/287 [45:12<08:03, 11.24s/it]
+
hellaswag_ar:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 245/287 [45:24<08:00, 11.45s/it]
+
hellaswag_ar:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 246/287 [45:35<07:47, 11.41s/it]
+
hellaswag_ar:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 247/287 [45:47<07:34, 11.35s/it]
+
hellaswag_ar:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 248/287 [45:58<07:19, 11.26s/it]
+
hellaswag_ar:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 249/287 [46:09<07:10, 11.33s/it]
+
hellaswag_ar:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 250/287 [46:20<06:57, 11.29s/it]
+
hellaswag_ar:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉              | 251/287 [46:32<06:49, 11.37s/it]
+
hellaswag_ar:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎             | 252/287 [46:44<06:42, 11.49s/it]
+
hellaswag_ar:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋             | 253/287 [46:55<06:33, 11.57s/it]
+
hellaswag_ar:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 254/287 [47:07<06:24, 11.64s/it]
+
hellaswag_ar:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 255/287 [47:18<06:04, 11.39s/it]
+
hellaswag_ar:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 256/287 [47:29<05:52, 11.38s/it]
+
hellaswag_ar:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 257/287 [47:40<05:34, 11.14s/it]
+
hellaswag_ar:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 258/287 [47:50<05:14, 10.85s/it]
+
hellaswag_ar:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 259/287 [48:02<05:10, 11.09s/it]
+
hellaswag_ar:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 260/287 [48:12<04:53, 10.87s/it]
+
hellaswag_ar:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 261/287 [48:23<04:42, 10.86s/it]
+
hellaswag_ar:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 262/287 [48:34<04:29, 10.79s/it]
+
hellaswag_ar:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 263/287 [48:44<04:18, 10.79s/it]
+
hellaswag_ar:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 264/287 [48:55<04:09, 10.84s/it]
+
hellaswag_ar:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 265/287 [49:06<03:57, 10.79s/it]
+
hellaswag_ar:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 266/287 [49:17<03:49, 10.92s/it]
+
hellaswag_ar:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 267/287 [49:28<03:36, 10.83s/it]
+
hellaswag_ar:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 268/287 [49:39<03:29, 11.01s/it]
+
hellaswag_ar:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 269/287 [49:49<03:12, 10.70s/it]
+
hellaswag_ar:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 270/287 [50:01<03:06, 10.95s/it]
+
hellaswag_ar:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 271/287 [50:12<02:54, 10.90s/it]
+
hellaswag_ar:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 272/287 [50:23<02:45, 11.03s/it]
+
hellaswag_ar:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 273/287 [50:34<02:35, 11.13s/it]
+
hellaswag_ar:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 274/287 [50:45<02:24, 11.08s/it]
+
hellaswag_ar:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 275/287 [50:57<02:13, 11.16s/it]
+
hellaswag_ar:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 276/287 [51:07<02:01, 11.01s/it]
+
hellaswag_ar:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 277/287 [51:18<01:49, 10.95s/it]
+
hellaswag_ar:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 278/287 [51:29<01:37, 10.88s/it]
+
hellaswag_ar:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 279/287 [51:39<01:25, 10.74s/it]
+
hellaswag_ar:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 280/287 [51:50<01:14, 10.64s/it]
+
hellaswag_ar:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 281/287 [52:01<01:05, 10.94s/it]
+
hellaswag_ar:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 282/287 [52:12<00:55, 11.01s/it]
+
hellaswag_ar:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/287 [52:24<00:44, 11.11s/it]
+
hellaswag_ar:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/287 [52:34<00:32, 10.84s/it]
+
hellaswag_ar:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 285/287 [52:45<00:21, 10.77s/it]
+
hellaswag_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 286/287 [52:57<00:11, 11.18s/it]
+
hellaswag_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [53:06<00:00, 10.62s/it]
hellaswag_ar: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [53:06<00:00, 11.10s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ar_acc 0.2868352223190933
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ar_acc_norm 0.3242153443766347
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 10:19:05,089 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 10:19:05,089 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:05,219 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 10:19:05,219 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:05,349 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 10:19:05,349 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:05,479 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 10:19:05,480 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 10:19:05,480 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 10:19:05,612 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 10:19:05,612 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ar_acc'}
+2024-05-29 10:19:05,678 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 10:19:05,678 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1141, 'value': 0.2868352223190933}
+2024-05-29 10:19:05,744 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 10:19:06,375 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 10:19:06,375 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:06,499 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 10:19:06,499 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:06,623 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 10:19:06,623 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:06,746 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 10:19:06,747 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 10:19:06,747 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 10:19:06,871 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 10:19:06,871 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ar_acc_norm'}
+2024-05-29 10:19:06,934 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 10:19:06,934 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1142, 'value': 0.3242153443766347}
+2024-05-29 10:19:06,996 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  26%|████████████████████████████▏                                                                                | 32/124 [3:31:36<30:00:26, 1174.20s/it]['hellaswag_bn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 10:19:07,632 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 10:19:07,632 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:07,757 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 10:19:07,757 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:07,882 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 10:19:07,882 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 10:19:08,007 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 10:19:08,008 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 10:19:08,008 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'hellaswag_bn'}
+2024-05-29 10:19:08,134 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_bn task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:05,  5.29s/ examples]
+
Generating validation split: 1955 examples [00:05, 511.29 examples/s]
+
Generating validation split: 3411 examples [00:05, 1017.33 examples/s]
+
Generating validation split: 5000 examples [00:05, 1739.19 examples/s]
+
Generating validation split: 7000 examples [00:05, 2877.98 examples/s]
+
Generating validation split: 9000 examples [00:05, 4216.30 examples/s]
Generating validation split: 9242 examples [00:05, 1565.58 examples/s]
+Loaded 9242 examples
+Running loglikelihood requests
+
+
hellaswag_bn:   0%|                                                                                                                          | 0/289 [00:00<?, ?it/s]
+
hellaswag_bn:   0%|▍                                                                                                               | 1/289 [00:16<1:19:04, 16.47s/it]
+
hellaswag_bn:   1%|▊                                                                                                               | 2/289 [00:33<1:21:05, 16.95s/it]
+
hellaswag_bn:   1%|█▏                                                                                                              | 3/289 [00:49<1:18:34, 16.49s/it]
+
hellaswag_bn:   1%|█▌                                                                                                              | 4/289 [01:06<1:19:15, 16.69s/it]
+
hellaswag_bn:   2%|█▉                                                                                                              | 5/289 [01:22<1:18:19, 16.55s/it]
+
hellaswag_bn:   2%|██▎                                                                                                             | 6/289 [01:39<1:17:39, 16.46s/it]
+
hellaswag_bn:   2%|██▋                                                                                                             | 7/289 [01:55<1:17:32, 16.50s/it]
+
hellaswag_bn:   3%|███                                                                                                             | 8/289 [02:12<1:18:04, 16.67s/it]
+
hellaswag_bn:   3%|███▍                                                                                                            | 9/289 [02:30<1:18:35, 16.84s/it]
+
hellaswag_bn:   3%|███▊                                                                                                           | 10/289 [02:47<1:19:14, 17.04s/it]
+
hellaswag_bn:   4%|████▏                                                                                                          | 11/289 [03:05<1:20:05, 17.29s/it]
+
hellaswag_bn:   4%|████▌                                                                                                          | 12/289 [03:23<1:20:59, 17.54s/it]
+
hellaswag_bn:   4%|████▉                                                                                                          | 13/289 [03:40<1:20:14, 17.44s/it]
+
hellaswag_bn:   5%|█████▍                                                                                                         | 14/289 [03:56<1:18:12, 17.06s/it]
+
hellaswag_bn:   5%|█████▊                                                                                                         | 15/289 [04:13<1:16:37, 16.78s/it]
+
hellaswag_bn:   6%|██████▏                                                                                                        | 16/289 [04:31<1:17:53, 17.12s/it]
+
hellaswag_bn:   6%|██████▌                                                                                                        | 17/289 [04:49<1:19:26, 17.53s/it]
+
hellaswag_bn:   6%|██████▉                                                                                                        | 18/289 [05:08<1:21:29, 18.04s/it]
+
hellaswag_bn:   7%|███████▎                                                                                                       | 19/289 [05:25<1:19:45, 17.72s/it]
+
hellaswag_bn:   7%|███████▋                                                                                                       | 20/289 [05:42<1:18:40, 17.55s/it]
+
hellaswag_bn:   7%|████████                                                                                                       | 21/289 [05:58<1:16:19, 17.09s/it]
+
hellaswag_bn:   8%|████████▍                                                                                                      | 22/289 [06:15<1:15:52, 17.05s/it]
+
hellaswag_bn:   8%|████████▊                                                                                                      | 23/289 [06:34<1:17:35, 17.50s/it]
+
hellaswag_bn:   8%|█████████▏                                                                                                     | 24/289 [06:50<1:15:01, 16.99s/it]
+
hellaswag_bn:   9%|█████████▌                                                                                                     | 25/289 [07:06<1:14:25, 16.92s/it]
+
hellaswag_bn:   9%|█████████▉                                                                                                     | 26/289 [07:24<1:14:54, 17.09s/it]
+
hellaswag_bn:   9%|██████████▎                                                                                                    | 27/289 [07:41<1:14:42, 17.11s/it]
+
hellaswag_bn:  10%|██████████▊                                                                                                    | 28/289 [07:57<1:13:21, 16.86s/it]
+
hellaswag_bn:  10%|███████████▏                                                                                                   | 29/289 [08:16<1:14:55, 17.29s/it]
+
hellaswag_bn:  10%|███████████▌                                                                                                   | 30/289 [08:33<1:14:07, 17.17s/it]
+
hellaswag_bn:  11%|███████████▉                                                                                                   | 31/289 [08:50<1:14:15, 17.27s/it]
+
hellaswag_bn:  11%|████████████▎                                                                                                  | 32/289 [09:06<1:12:42, 16.97s/it]
+
hellaswag_bn:  11%|████████████▋                                                                                                  | 33/289 [09:23<1:12:10, 16.92s/it]
+
hellaswag_bn:  12%|█████████████                                                                                                  | 34/289 [09:39<1:10:57, 16.70s/it]
+
hellaswag_bn:  12%|█████████████▍                                                                                                 | 35/289 [09:55<1:09:49, 16.49s/it]
+
hellaswag_bn:  12%|█████████████▊                                                                                                 | 36/289 [10:13<1:11:37, 16.99s/it]
+
hellaswag_bn:  13%|██████████████▏                                                                                                | 37/289 [10:30<1:10:11, 16.71s/it]
+
hellaswag_bn:  13%|██████████████▌                                                                                                | 38/289 [10:46<1:09:50, 16.70s/it]
+
hellaswag_bn:  13%|██████████████▉                                                                                                | 39/289 [11:05<1:11:58, 17.27s/it]
+
hellaswag_bn:  14%|███████████████▎                                                                                               | 40/289 [11:22<1:11:10, 17.15s/it]
+
hellaswag_bn:  14%|███████████████▋                                                                                               | 41/289 [11:39<1:10:47, 17.13s/it]
+
hellaswag_bn:  15%|████████████████▏                                                                                              | 42/289 [11:57<1:11:19, 17.33s/it]
+
hellaswag_bn:  15%|████████████████▌                                                                                              | 43/289 [12:12<1:08:58, 16.82s/it]
+
hellaswag_bn:  15%|████████████████▉                                                                                              | 44/289 [12:29<1:08:39, 16.81s/it]
+
hellaswag_bn:  16%|█████████████████▎                                                                                             | 45/289 [12:45<1:07:37, 16.63s/it]
+
hellaswag_bn:  16%|█████████████████▋                                                                                             | 46/289 [13:01<1:06:28, 16.41s/it]
+
hellaswag_bn:  16%|██████████████████                                                                                             | 47/289 [13:17<1:06:01, 16.37s/it]
+
hellaswag_bn:  17%|██████████████████▍                                                                                            | 48/289 [13:34<1:05:35, 16.33s/it]
+
hellaswag_bn:  17%|██████████████████▊                                                                                            | 49/289 [13:50<1:05:28, 16.37s/it]
+
hellaswag_bn:  17%|███████████████████▏                                                                                           | 50/289 [14:06<1:04:56, 16.30s/it]
+
hellaswag_bn:  18%|███████████████████▌                                                                                           | 51/289 [14:24<1:06:25, 16.74s/it]
+
hellaswag_bn:  18%|███████████████████▉                                                                                           | 52/289 [14:41<1:06:11, 16.76s/it]
+
hellaswag_bn:  18%|████████████████████▎                                                                                          | 53/289 [14:57<1:05:03, 16.54s/it]
+
hellaswag_bn:  19%|████████████████████▋                                                                                          | 54/289 [15:14<1:05:19, 16.68s/it]
+
hellaswag_bn:  19%|█████████████████████                                                                                          | 55/289 [15:31<1:05:55, 16.90s/it]
+
hellaswag_bn:  19%|█████████████████████▌                                                                                         | 56/289 [15:48<1:05:54, 16.97s/it]
+
hellaswag_bn:  20%|█████████████████████▉                                                                                         | 57/289 [16:06<1:06:18, 17.15s/it]
+
hellaswag_bn:  20%|██████████████████████▎                                                                                        | 58/289 [16:22<1:05:18, 16.96s/it]
+
hellaswag_bn:  20%|██████████████████████▋                                                                                        | 59/289 [16:38<1:02:57, 16.43s/it]
+
hellaswag_bn:  21%|███████████████████████                                                                                        | 60/289 [16:54<1:03:09, 16.55s/it]
+
hellaswag_bn:  21%|███████████████████████▍                                                                                       | 61/289 [17:11<1:03:26, 16.69s/it]
+
hellaswag_bn:  21%|███████████████████████▊                                                                                       | 62/289 [17:29<1:03:50, 16.87s/it]
+
hellaswag_bn:  22%|████████████████████████▏                                                                                      | 63/289 [17:45<1:02:35, 16.62s/it]
+
hellaswag_bn:  22%|████████████████████████▌                                                                                      | 64/289 [18:02<1:02:51, 16.76s/it]
+
hellaswag_bn:  22%|████████████████████████▉                                                                                      | 65/289 [18:19<1:02:55, 16.85s/it]
+
hellaswag_bn:  23%|█████████████████████████▎                                                                                     | 66/289 [18:36<1:02:19, 16.77s/it]
+
hellaswag_bn:  23%|█████████████████████████▋                                                                                     | 67/289 [18:53<1:03:00, 17.03s/it]
+
hellaswag_bn:  24%|██████████████████████████                                                                                     | 68/289 [19:10<1:02:08, 16.87s/it]
+
hellaswag_bn:  24%|██████████████████████████▌                                                                                    | 69/289 [19:26<1:01:07, 16.67s/it]
+
hellaswag_bn:  24%|██████████████████████████▉                                                                                    | 70/289 [19:44<1:02:13, 17.05s/it]
+
hellaswag_bn:  25%|███████████████████████████▎                                                                                   | 71/289 [20:01<1:02:00, 17.07s/it]
+
hellaswag_bn:  25%|███████████████████████████▋                                                                                   | 72/289 [20:17<1:00:43, 16.79s/it]
+
hellaswag_bn:  25%|████████████████████████████▌                                                                                    | 73/289 [20:33<59:33, 16.54s/it]
+
hellaswag_bn:  26%|████████████████████████████▉                                                                                    | 74/289 [20:50<59:19, 16.56s/it]
+
hellaswag_bn:  26%|█████████████████████████████▎                                                                                   | 75/289 [21:07<59:50, 16.78s/it]
+
hellaswag_bn:  26%|█████████████████████████████▏                                                                                 | 76/289 [21:24<1:00:15, 16.98s/it]
+
hellaswag_bn:  27%|██████████████████████████████                                                                                   | 77/289 [21:41<59:47, 16.92s/it]
+
hellaswag_bn:  27%|██████████████████████████████▍                                                                                  | 78/289 [21:58<59:31, 16.93s/it]
+
hellaswag_bn:  27%|██████████████████████████████▎                                                                                | 79/289 [22:16<1:00:17, 17.23s/it]
+
hellaswag_bn:  28%|███████████████████████████████▎                                                                                 | 80/289 [22:33<59:56, 17.21s/it]
+
hellaswag_bn:  28%|███████████████████████████████▋                                                                                 | 81/289 [22:50<59:24, 17.14s/it]
+
hellaswag_bn:  28%|████████████████████████████████                                                                                 | 82/289 [23:07<58:44, 17.03s/it]
+
hellaswag_bn:  29%|████████████████████████████████▍                                                                                | 83/289 [23:23<57:20, 16.70s/it]
+
hellaswag_bn:  29%|████████████████████████████████▊                                                                                | 84/289 [23:40<57:03, 16.70s/it]
+
hellaswag_bn:  29%|█████████████████████████████████▏                                                                               | 85/289 [23:57<57:23, 16.88s/it]
+
hellaswag_bn:  30%|█████████████████████████████████▋                                                                               | 86/289 [24:14<57:29, 16.99s/it]
+
hellaswag_bn:  30%|██████████████████████████████████                                                                               | 87/289 [24:32<57:56, 17.21s/it]
+
hellaswag_bn:  30%|██████████████████████████████████▍                                                                              | 88/289 [24:49<57:32, 17.18s/it]
+
hellaswag_bn:  31%|██████████████████████████████████▊                                                                              | 89/289 [25:06<57:12, 17.16s/it]
+
hellaswag_bn:  31%|███████████████████████████████████▏                                                                             | 90/289 [25:24<57:24, 17.31s/it]
+
hellaswag_bn:  31%|███████████████████████████████████▌                                                                             | 91/289 [25:40<56:18, 17.06s/it]
+
hellaswag_bn:  32%|███████████████████████████████████▉                                                                             | 92/289 [25:57<55:39, 16.95s/it]
+
hellaswag_bn:  32%|████████████████████████████████████▎                                                                            | 93/289 [26:14<55:34, 17.01s/it]
+
hellaswag_bn:  33%|████████████████████████████████████▊                                                                            | 94/289 [26:30<54:20, 16.72s/it]
+
hellaswag_bn:  33%|█████████████████████████████████████▏                                                                           | 95/289 [26:47<54:15, 16.78s/it]
+
hellaswag_bn:  33%|█████████████████████████████████████▌                                                                           | 96/289 [27:05<55:27, 17.24s/it]
+
hellaswag_bn:  34%|█████████████████████████████████████▉                                                                           | 97/289 [27:22<54:49, 17.13s/it]
+
hellaswag_bn:  34%|██████████████████████████████████████▎                                                                          | 98/289 [27:38<53:27, 16.79s/it]
+
hellaswag_bn:  34%|██████████████████████████████████████▋                                                                          | 99/289 [27:56<53:42, 16.96s/it]
+
hellaswag_bn:  35%|██████████████████████████████████████▊                                                                         | 100/289 [28:12<52:43, 16.74s/it]
+
hellaswag_bn:  35%|███████████████████████████████████████▏                                                                        | 101/289 [28:30<54:03, 17.25s/it]
+
hellaswag_bn:  35%|███████████████████████████████████████▌                                                                        | 102/289 [28:47<53:28, 17.16s/it]
+
hellaswag_bn:  36%|███████████████████████████████████████▉                                                                        | 103/289 [29:04<53:06, 17.13s/it]
+
hellaswag_bn:  36%|████████████████████████████████████████▎                                                                       | 104/289 [29:21<52:27, 17.01s/it]
+
hellaswag_bn:  36%|████████████████████████████████████████▋                                                                       | 105/289 [29:39<53:16, 17.37s/it]
+
hellaswag_bn:  37%|█████████████████████████████████████████                                                                       | 106/289 [29:57<53:22, 17.50s/it]
+
hellaswag_bn:  37%|█████████████████████████████████████████▍                                                                      | 107/289 [30:15<53:14, 17.55s/it]
+
hellaswag_bn:  37%|█████████████████████████████████████████▊                                                                      | 108/289 [30:33<53:24, 17.71s/it]
+
hellaswag_bn:  38%|██████████████████████████████████████████▏                                                                     | 109/289 [30:49<52:13, 17.41s/it]
+
hellaswag_bn:  38%|██████████████████████████████████████████▋                                                                     | 110/289 [31:07<52:29, 17.60s/it]
+
hellaswag_bn:  38%|███████████████████████████████████████████                                                                     | 111/289 [31:23<50:33, 17.04s/it]
+
hellaswag_bn:  39%|███████████████████████████████████████████▍                                                                    | 112/289 [31:38<48:12, 16.34s/it]
+
hellaswag_bn:  39%|███████████████████████████████████████████▊                                                                    | 113/289 [31:55<48:46, 16.63s/it]
+
hellaswag_bn:  39%|████████████████████████████████████████████▏                                                                   | 114/289 [32:12<48:43, 16.71s/it]
+
hellaswag_bn:  40%|████████████████████████████████████████████▌                                                                   | 115/289 [32:29<48:23, 16.69s/it]
+
hellaswag_bn:  40%|████████████████████████████████████████████▉                                                                   | 116/289 [32:45<47:53, 16.61s/it]
+
hellaswag_bn:  40%|█████████████████████████████████████████████▎                                                                  | 117/289 [33:02<47:27, 16.56s/it]
+
hellaswag_bn:  41%|█████████████████████████████████████████████▋                                                                  | 118/289 [33:17<46:23, 16.28s/it]
+
hellaswag_bn:  41%|██████████████████████████████████████████████                                                                  | 119/289 [33:34<46:19, 16.35s/it]
+
hellaswag_bn:  42%|██████████████████████████████████████████████▌                                                                 | 120/289 [33:52<47:26, 16.84s/it]
+
hellaswag_bn:  42%|██████████████████████████████████████████████▉                                                                 | 121/289 [34:07<46:14, 16.51s/it]
+
hellaswag_bn:  42%|███████████████████████████████████████████████▎                                                                | 122/289 [34:25<47:00, 16.89s/it]
+
hellaswag_bn:  43%|███████████████████████████████████████████████▋                                                                | 123/289 [34:42<46:26, 16.79s/it]
+
hellaswag_bn:  43%|████████████████████████████████████████████████                                                                | 124/289 [34:58<46:06, 16.76s/it]
+
hellaswag_bn:  43%|████████████████████████████████████████████████▍                                                               | 125/289 [35:17<47:04, 17.23s/it]
+
hellaswag_bn:  44%|████████████████████████████████████████████████▊                                                               | 126/289 [35:34<46:37, 17.16s/it]
+
hellaswag_bn:  44%|█████████████████████████████████████████████████▏                                                              | 127/289 [35:51<46:24, 17.19s/it]
+
hellaswag_bn:  44%|█████████████████████████████████████████████████▌                                                              | 128/289 [36:07<45:28, 16.94s/it]
+
hellaswag_bn:  45%|█████████████████████████████████████████████████▉                                                              | 129/289 [36:24<44:52, 16.83s/it]
+
hellaswag_bn:  45%|██████████████████████████████████████████████████▍                                                             | 130/289 [36:40<44:12, 16.68s/it]
+
hellaswag_bn:  45%|██████████████████████████████████████████████████▊                                                             | 131/289 [36:57<43:42, 16.60s/it]
+
hellaswag_bn:  46%|███████████████████████████████████████████████████▏                                                            | 132/289 [37:13<43:31, 16.64s/it]
+
hellaswag_bn:  46%|███████████████████████████████████████████████████▌                                                            | 133/289 [37:29<42:16, 16.26s/it]
+
hellaswag_bn:  46%|███████████████████████████████████████████████████▉                                                            | 134/289 [37:46<42:40, 16.52s/it]
+
hellaswag_bn:  47%|████████████████████████████████████████████████████▎                                                           | 135/289 [38:03<42:56, 16.73s/it]
+
hellaswag_bn:  47%|████████████████████████████████████████████████████▋                                                           | 136/289 [38:20<42:35, 16.70s/it]
+
hellaswag_bn:  47%|█████████████████████████████████████████████████████                                                           | 137/289 [38:37<42:24, 16.74s/it]
+
hellaswag_bn:  48%|█████████████████████████████████████████████████████▍                                                          | 138/289 [38:54<42:27, 16.87s/it]
+
hellaswag_bn:  48%|█████████████████████████████████████████████████████▊                                                          | 139/289 [39:10<41:42, 16.68s/it]
+
hellaswag_bn:  48%|██████████████████████████████████████████████████████▎                                                         | 140/289 [39:27<41:35, 16.75s/it]
+
hellaswag_bn:  49%|██████████████████████████████████████████████████████▋                                                         | 141/289 [39:44<41:43, 16.91s/it]
+
hellaswag_bn:  49%|███████████████████████████████████████████████████████                                                         | 142/289 [40:01<41:34, 16.97s/it]
+
hellaswag_bn:  49%|███████████████████████████████████████████████████████▍                                                        | 143/289 [40:18<40:46, 16.75s/it]
+
hellaswag_bn:  50%|███████████████████████████████████████████████████████▊                                                        | 144/289 [40:36<41:48, 17.30s/it]
+
hellaswag_bn:  50%|████████████████████████████████████████████████████████▏                                                       | 145/289 [40:53<40:54, 17.05s/it]
+
hellaswag_bn:  51%|████████████████████████████████████████████████████████▌                                                       | 146/289 [41:08<39:32, 16.59s/it]
+
hellaswag_bn:  51%|████████████████████████████████████████████████████████▉                                                       | 147/289 [41:26<40:23, 17.07s/it]
+
hellaswag_bn:  51%|█████████████████████████████████████████████████████████▎                                                      | 148/289 [41:43<39:37, 16.86s/it]
+
hellaswag_bn:  52%|█████████████████████████████████████████████████████████▋                                                      | 149/289 [41:59<38:46, 16.62s/it]
+
hellaswag_bn:  52%|██████████████████████████████████████████████████████████▏                                                     | 150/289 [42:16<38:52, 16.78s/it]
+
hellaswag_bn:  52%|██████████████████████████████████████████████████████████▌                                                     | 151/289 [42:33<38:48, 16.88s/it]
+
hellaswag_bn:  53%|██████████████████████████████████████████████████████████▉                                                     | 152/289 [42:50<38:41, 16.95s/it]
+
hellaswag_bn:  53%|███████████████████████████████████████████████████████████▎                                                    | 153/289 [43:06<37:49, 16.69s/it]
+
hellaswag_bn:  53%|███████████████████████████████████████████████████████████▋                                                    | 154/289 [43:24<38:07, 16.95s/it]
+
hellaswag_bn:  54%|████████████████████████████████████████████████████████████                                                    | 155/289 [43:39<36:23, 16.29s/it]
+
hellaswag_bn:  54%|████████████████████████████████████████████████████████████▍                                                   | 156/289 [43:55<36:20, 16.39s/it]
+
hellaswag_bn:  54%|████████████████████████████████████████████████████████████▊                                                   | 157/289 [44:12<36:14, 16.47s/it]
+
hellaswag_bn:  55%|█████████████████████████████████████████████████████████████▏                                                  | 158/289 [44:29<36:34, 16.75s/it]
+
hellaswag_bn:  55%|█████████████████████████████████████████████████████████████▌                                                  | 159/289 [44:46<36:00, 16.62s/it]
+
hellaswag_bn:  55%|██████████████████████████████████████████████████████████████                                                  | 160/289 [45:03<36:22, 16.92s/it]
+
hellaswag_bn:  56%|██████████████████████████████████████████████████████████████▍                                                 | 161/289 [45:21<36:53, 17.29s/it]
+
hellaswag_bn:  56%|██████████████████████████████████████████████████████████████▊                                                 | 162/289 [45:39<36:55, 17.45s/it]
+
hellaswag_bn:  56%|███████████████████████████████████████████████████████████████▏                                                | 163/289 [45:58<37:28, 17.84s/it]
+
hellaswag_bn:  57%|███████████████████████████████████████████████████████████████▌                                                | 164/289 [46:15<36:30, 17.52s/it]
+
hellaswag_bn:  57%|███████████████████████████████████████████████████████████████▉                                                | 165/289 [46:32<36:18, 17.57s/it]
+
hellaswag_bn:  57%|████████████████████████████████████████████████████████████████▎                                               | 166/289 [46:49<35:12, 17.18s/it]
+
hellaswag_bn:  58%|████████████████████████████████████████████████████████████████▋                                               | 167/289 [47:06<35:07, 17.28s/it]
+
hellaswag_bn:  58%|█████████████████████████████████████████████████████████████████                                               | 168/289 [47:24<35:16, 17.49s/it]
+
hellaswag_bn:  58%|█████████████████████████████████████████████████████████████████▍                                              | 169/289 [47:41<34:32, 17.27s/it]
+
hellaswag_bn:  59%|█████████████████████████████████████████████████████████████████▉                                              | 170/289 [47:58<34:02, 17.17s/it]
+
hellaswag_bn:  59%|██████████████████████████████████████████████████████████████████▎                                             | 171/289 [48:15<33:38, 17.10s/it]
+
hellaswag_bn:  60%|██████████████████████████████████████████████████████████████████▋                                             | 172/289 [48:31<32:45, 16.80s/it]
+
hellaswag_bn:  60%|███████████████████████████████████████████████████████████████████                                             | 173/289 [48:49<33:04, 17.11s/it]
+
hellaswag_bn:  60%|███████████████████████████████████████████████████████████████████▍                                            | 174/289 [49:07<33:12, 17.33s/it]
+
hellaswag_bn:  61%|███████████████████████████████████████████████████████████████████▊                                            | 175/289 [49:23<32:36, 17.17s/it]
+
hellaswag_bn:  61%|████████████████████████████████████████████████████████████████████▏                                           | 176/289 [49:42<32:58, 17.51s/it]
+
hellaswag_bn:  61%|████████████████████████████████████████████████████████████████████▌                                           | 177/289 [49:59<32:45, 17.55s/it]
+
hellaswag_bn:  62%|████████████████████████████████████████████████████████████████████▉                                           | 178/289 [50:17<32:33, 17.60s/it]
+
hellaswag_bn:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 179/289 [50:35<32:17, 17.61s/it]
+
hellaswag_bn:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 180/289 [50:51<31:10, 17.16s/it]
+
hellaswag_bn:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 181/289 [51:08<30:56, 17.19s/it]
+
hellaswag_bn:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 182/289 [51:25<30:24, 17.06s/it]
+
hellaswag_bn:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 183/289 [51:42<30:10, 17.08s/it]
+
hellaswag_bn:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 184/289 [51:58<29:18, 16.75s/it]
+
hellaswag_bn:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 185/289 [52:16<29:47, 17.18s/it]
+
hellaswag_bn:  64%|████████████████████████████████████████████████████████████████████████                                        | 186/289 [52:33<29:10, 17.00s/it]
+
hellaswag_bn:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 187/289 [52:52<30:10, 17.75s/it]
+
hellaswag_bn:  65%|████████████████████████████████████████████████████████████████████████▊                                       | 188/289 [53:10<29:49, 17.72s/it]
+
hellaswag_bn:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 189/289 [53:27<29:08, 17.48s/it]
+
hellaswag_bn:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 190/289 [53:43<28:25, 17.22s/it]
+
hellaswag_bn:  66%|██████████████████████████████████████████████████████████████████████████                                      | 191/289 [54:02<28:53, 17.69s/it]
+
hellaswag_bn:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 192/289 [54:18<27:53, 17.25s/it]
+
hellaswag_bn:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 193/289 [54:36<27:47, 17.37s/it]
+
hellaswag_bn:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 194/289 [54:54<27:50, 17.58s/it]
+
hellaswag_bn:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 195/289 [55:11<27:05, 17.29s/it]
+
hellaswag_bn:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 196/289 [55:28<26:39, 17.20s/it]
+
hellaswag_bn:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 197/289 [55:43<25:30, 16.63s/it]
+
hellaswag_bn:  69%|████████████████████████████████████████████████████████████████████████████▋                                   | 198/289 [56:00<25:31, 16.83s/it]
+
hellaswag_bn:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 199/289 [56:18<25:52, 17.25s/it]
+
hellaswag_bn:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 200/289 [56:35<25:27, 17.16s/it]
+
hellaswag_bn:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 201/289 [56:52<24:43, 16.86s/it]
+
hellaswag_bn:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 202/289 [57:10<24:58, 17.23s/it]
+
hellaswag_bn:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 203/289 [57:28<25:09, 17.56s/it]
+
hellaswag_bn:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 204/289 [57:43<23:58, 16.93s/it]
+
hellaswag_bn:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 205/289 [57:59<23:17, 16.63s/it]
+
hellaswag_bn:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 206/289 [58:15<22:43, 16.43s/it]
+
hellaswag_bn:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 207/289 [58:33<22:47, 16.68s/it]
+
hellaswag_bn:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 208/289 [58:51<23:20, 17.28s/it]
+
hellaswag_bn:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 209/289 [59:09<23:00, 17.26s/it]
+
hellaswag_bn:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 210/289 [59:26<22:50, 17.34s/it]
+
hellaswag_bn:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 211/289 [59:44<22:55, 17.64s/it]
+
hellaswag_bn:  73%|████████████████████████████████████████████████████████████████████████████████▋                             | 212/289 [1:00:03<22:49, 17.79s/it]
+
hellaswag_bn:  74%|█████████████████████████████████████████████████████████████████████████████████                             | 213/289 [1:00:20<22:28, 17.74s/it]
+
hellaswag_bn:  74%|█████████████████████████████████████████████████████████████████████████████████▍                            | 214/289 [1:00:36<21:29, 17.20s/it]
+
hellaswag_bn:  74%|█████████████████████████████████████████████████████████████████████████████████▊                            | 215/289 [1:00:53<21:10, 17.17s/it]
+
hellaswag_bn:  75%|██████████████████████████████████████████████████████████████████████████████████▏                           | 216/289 [1:01:10<20:49, 17.11s/it]
+
hellaswag_bn:  75%|██████████████████████████████████████████████████████████████████████████████████▌                           | 217/289 [1:01:27<20:16, 16.89s/it]
+
hellaswag_bn:  75%|██████████████████████████████████████████████████████████████████████████████████▉                           | 218/289 [1:01:45<20:28, 17.30s/it]
+
hellaswag_bn:  76%|███████████████████████████████████████████████████████████████████████████████████▎                          | 219/289 [1:02:01<19:52, 17.04s/it]
+
hellaswag_bn:  76%|███████████████████████████████████████████████████████████████████████████████████▋                          | 220/289 [1:02:17<19:01, 16.54s/it]
+
hellaswag_bn:  76%|████████████████████████████████████████████████████████████████████████████████████                          | 221/289 [1:02:32<18:23, 16.23s/it]
+
hellaswag_bn:  77%|████████████████████████████████████████████████████████████████████████████████████▍                         | 222/289 [1:02:51<18:57, 16.98s/it]
+
hellaswag_bn:  77%|████████████████████████████████████████████████████████████████████████████████████▉                         | 223/289 [1:03:09<18:56, 17.22s/it]
+
hellaswag_bn:  78%|█████████████████████████████████████████████████████████████████████████████████████▎                        | 224/289 [1:03:26<18:39, 17.22s/it]
+
hellaswag_bn:  78%|█████████████████████████████████████████████████████████████████████████████████████▋                        | 225/289 [1:03:43<18:24, 17.26s/it]
+
hellaswag_bn:  78%|██████████████████████████████████████████████████████████████████████████████████████                        | 226/289 [1:03:59<17:45, 16.91s/it]
+
hellaswag_bn:  79%|██████████████████████████████████████████████████████████████████████████████████████▍                       | 227/289 [1:04:18<18:00, 17.42s/it]
+
hellaswag_bn:  79%|██████████████████████████████████████████████████████████████████████████████████████▊                       | 228/289 [1:04:35<17:43, 17.44s/it]
+
hellaswag_bn:  79%|███████████████████████████████████████████████████████████████████████████████████████▏                      | 229/289 [1:04:50<16:35, 16.60s/it]
+
hellaswag_bn:  80%|███████████████████████████████████████████████████████████████████████████████████████▌                      | 230/289 [1:05:07<16:27, 16.74s/it]
+
hellaswag_bn:  80%|███████████████████████████████████████████████████████████████████████████████████████▉                      | 231/289 [1:05:23<15:57, 16.51s/it]
+
hellaswag_bn:  80%|████████████████████████████████████████████████████████████████████████████████████████▎                     | 232/289 [1:05:41<15:57, 16.79s/it]
+
hellaswag_bn:  81%|████████████████████████████████████████████████████████████████████████████████████████▋                     | 233/289 [1:05:56<15:24, 16.51s/it]
+
hellaswag_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████                     | 234/289 [1:06:13<15:16, 16.66s/it]
+
hellaswag_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████▍                    | 235/289 [1:06:31<15:16, 16.96s/it]
+
hellaswag_bn:  82%|█████████████████████████████████████████████████████████████████████████████████████████▊                    | 236/289 [1:06:49<15:09, 17.16s/it]
+
hellaswag_bn:  82%|██████████████████████████████████████████████████████████████████████████████████████████▏                   | 237/289 [1:07:06<14:54, 17.21s/it]
+
hellaswag_bn:  82%|██████████████████████████████████████████████████████████████████████████████████████████▌                   | 238/289 [1:07:22<14:22, 16.91s/it]
+
hellaswag_bn:  83%|██████████████████████████████████████████████████████████████████████████████████████████▉                   | 239/289 [1:07:39<13:59, 16.78s/it]
+
hellaswag_bn:  83%|███████████████████████████████████████████████████████████████████████████████████████████▎                  | 240/289 [1:07:56<13:50, 16.95s/it]
+
hellaswag_bn:  83%|███████████████████████████████████████████████████████████████████████████████████████████▋                  | 241/289 [1:08:12<13:18, 16.64s/it]
+
hellaswag_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████                  | 242/289 [1:08:29<13:10, 16.81s/it]
+
hellaswag_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████▍                 | 243/289 [1:08:46<12:54, 16.84s/it]
+
hellaswag_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████▊                 | 244/289 [1:09:03<12:35, 16.79s/it]
+
hellaswag_bn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 245/289 [1:09:18<11:58, 16.32s/it]
+
hellaswag_bn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 246/289 [1:09:35<11:49, 16.49s/it]
+
hellaswag_bn:  85%|██████████████████████████████████████████████████████████████████████████████████████████████                | 247/289 [1:09:51<11:32, 16.50s/it]
+
hellaswag_bn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▍               | 248/289 [1:10:10<11:41, 17.10s/it]
+
hellaswag_bn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▊               | 249/289 [1:10:26<11:09, 16.73s/it]
+
hellaswag_bn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▏              | 250/289 [1:10:42<10:49, 16.64s/it]
+
hellaswag_bn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▌              | 251/289 [1:10:59<10:36, 16.75s/it]
+
hellaswag_bn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▉              | 252/289 [1:11:16<10:24, 16.88s/it]
+
hellaswag_bn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▎             | 253/289 [1:11:32<09:56, 16.56s/it]
+
hellaswag_bn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▋             | 254/289 [1:11:47<09:25, 16.15s/it]
+
hellaswag_bn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████             | 255/289 [1:12:04<09:18, 16.43s/it]
+
hellaswag_bn:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍            | 256/289 [1:12:22<09:08, 16.63s/it]
+
hellaswag_bn:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊            | 257/289 [1:12:39<09:02, 16.95s/it]
+
hellaswag_bn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏           | 258/289 [1:12:56<08:45, 16.94s/it]
+
hellaswag_bn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌           | 259/289 [1:13:11<08:10, 16.34s/it]
+
hellaswag_bn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▉           | 260/289 [1:13:29<08:03, 16.66s/it]
+
hellaswag_bn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▎          | 261/289 [1:13:46<07:49, 16.76s/it]
+
hellaswag_bn:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋          | 262/289 [1:14:03<07:35, 16.88s/it]
+
hellaswag_bn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████          | 263/289 [1:14:19<07:14, 16.71s/it]
+
hellaswag_bn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 264/289 [1:14:36<06:59, 16.77s/it]
+
hellaswag_bn:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 265/289 [1:14:53<06:41, 16.73s/it]
+
hellaswag_bn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 266/289 [1:15:10<06:31, 17.01s/it]
+
hellaswag_bn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 267/289 [1:15:27<06:13, 16.98s/it]
+
hellaswag_bn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 268/289 [1:15:44<05:56, 16.98s/it]
+
hellaswag_bn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 269/289 [1:16:00<05:30, 16.51s/it]
+
hellaswag_bn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 270/289 [1:16:17<05:17, 16.72s/it]
+
hellaswag_bn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 271/289 [1:16:32<04:54, 16.37s/it]
+
hellaswag_bn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 272/289 [1:16:50<04:47, 16.90s/it]
+
hellaswag_bn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 273/289 [1:17:07<04:26, 16.66s/it]
+
hellaswag_bn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 274/289 [1:17:23<04:09, 16.60s/it]
+
hellaswag_bn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 275/289 [1:17:39<03:50, 16.47s/it]
+
hellaswag_bn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████     | 276/289 [1:17:56<03:34, 16.49s/it]
+
hellaswag_bn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 277/289 [1:18:12<03:16, 16.41s/it]
+
hellaswag_bn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 278/289 [1:18:29<03:02, 16.58s/it]
+
hellaswag_bn:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 279/289 [1:18:46<02:46, 16.68s/it]
+
hellaswag_bn:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 280/289 [1:19:03<02:31, 16.78s/it]
+
hellaswag_bn:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 281/289 [1:19:19<02:13, 16.67s/it]
+
hellaswag_bn:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 282/289 [1:19:36<01:55, 16.56s/it]
+
hellaswag_bn:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 283/289 [1:19:53<01:40, 16.76s/it]
+
hellaswag_bn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 284/289 [1:20:10<01:25, 17.04s/it]
+
hellaswag_bn:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [1:20:28<01:08, 17.10s/it]
+
hellaswag_bn:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [1:20:45<00:51, 17.11s/it]
+
hellaswag_bn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [1:21:02<00:34, 17.11s/it]
+
hellaswag_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [1:21:19<00:17, 17.11s/it]
+
hellaswag_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [1:21:34<00:00, 16.43s/it]
hellaswag_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [1:21:34<00:00, 16.94s/it]
+/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/base.py:720: RuntimeWarning: divide by zero encountered in true_divide
+  acc_norm = 1.0 if np.argmax(results / completion_len) == gold else 0.0
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_bn_acc 0.25914304263146504
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_bn_acc_norm 0.2857606578662627
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 11:40:50,545 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 11:40:50,545 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:50,674 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 11:40:50,674 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:50,802 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 11:40:50,802 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:50,930 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 11:40:50,931 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 11:40:50,931 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 11:40:51,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 11:40:51,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_bn_acc'}
+2024-05-29 11:40:51,126 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 11:40:51,126 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1143, 'value': 0.25914304263146504}
+2024-05-29 11:40:51,191 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 11:40:51,836 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 11:40:51,836 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:51,963 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 11:40:51,963 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:52,090 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 11:40:52,090 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:52,217 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 11:40:52,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 11:40:52,218 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 11:40:52,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 11:40:52,346 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_bn_acc_norm'}
+2024-05-29 11:40:52,410 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 11:40:52,410 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1144, 'value': 0.2857606578662627}
+2024-05-29 11:40:52,474 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  27%|█████████████████████████████                                                                                | 33/124 [4:53:21<57:58:37, 2293.60s/it]['hellaswag_ca']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 11:40:53,105 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 11:40:53,105 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:53,229 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 11:40:53,229 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:53,352 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 11:40:53,352 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 11:40:53,476 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ca'}
+2024-05-29 11:40:53,601 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ca task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.52s/ examples]
+
Generating validation split: 2000 examples [00:02, 1062.23 examples/s]
+
Generating validation split: 4000 examples [00:02, 2368.82 examples/s]
+
Generating validation split: 6000 examples [00:02, 3902.92 examples/s]
+
Generating validation split: 8000 examples [00:02, 5609.49 examples/s]
Generating validation split: 9211 examples [00:03, 3000.26 examples/s]
+Loaded 9211 examples
+Running loglikelihood requests
+
+
hellaswag_ca:   0%|                                                                                                                          | 0/288 [00:00<?, ?it/s]
+
hellaswag_ca:   0%|▍                                                                                                                 | 1/288 [00:07<37:52,  7.92s/it]
+
hellaswag_ca:   1%|▊                                                                                                                 | 2/288 [00:16<39:45,  8.34s/it]
+
hellaswag_ca:   1%|█▏                                                                                                                | 3/288 [00:25<40:54,  8.61s/it]
+
hellaswag_ca:   1%|█▌                                                                                                                | 4/288 [00:34<40:44,  8.61s/it]
+
hellaswag_ca:   2%|█▉                                                                                                                | 5/288 [00:42<39:49,  8.44s/it]
+
hellaswag_ca:   2%|██▍                                                                                                               | 6/288 [00:50<39:33,  8.42s/it]
+
hellaswag_ca:   2%|██▊                                                                                                               | 7/288 [00:59<40:05,  8.56s/it]
+
hellaswag_ca:   3%|███▏                                                                                                              | 8/288 [01:07<39:06,  8.38s/it]
+
hellaswag_ca:   3%|███▌                                                                                                              | 9/288 [01:16<39:30,  8.49s/it]
+
hellaswag_ca:   3%|███▉                                                                                                             | 10/288 [01:24<39:46,  8.58s/it]
+
hellaswag_ca:   4%|████▎                                                                                                            | 11/288 [01:33<39:31,  8.56s/it]
+
hellaswag_ca:   4%|████▋                                                                                                            | 12/288 [01:42<39:28,  8.58s/it]
+
hellaswag_ca:   5%|█████                                                                                                            | 13/288 [01:50<39:27,  8.61s/it]
+
hellaswag_ca:   5%|█████▍                                                                                                           | 14/288 [01:59<39:28,  8.64s/it]
+
hellaswag_ca:   5%|█████▉                                                                                                           | 15/288 [02:08<40:24,  8.88s/it]
+
hellaswag_ca:   6%|██████▎                                                                                                          | 16/288 [02:17<39:35,  8.73s/it]
+
hellaswag_ca:   6%|██████▋                                                                                                          | 17/288 [02:26<39:44,  8.80s/it]
+
hellaswag_ca:   6%|███████                                                                                                          | 18/288 [02:34<38:59,  8.67s/it]
+
hellaswag_ca:   7%|███████▍                                                                                                         | 19/288 [02:43<38:43,  8.64s/it]
+
hellaswag_ca:   7%|███████▊                                                                                                         | 20/288 [02:51<38:32,  8.63s/it]
+
hellaswag_ca:   7%|████████▏                                                                                                        | 21/288 [03:00<38:36,  8.68s/it]
+
hellaswag_ca:   8%|████████▋                                                                                                        | 22/288 [03:08<38:03,  8.59s/it]
+
hellaswag_ca:   8%|█████████                                                                                                        | 23/288 [03:17<37:50,  8.57s/it]
+
hellaswag_ca:   8%|█████████▍                                                                                                       | 24/288 [03:26<37:39,  8.56s/it]
+
hellaswag_ca:   9%|█████████▊                                                                                                       | 25/288 [03:34<37:32,  8.56s/it]
+
hellaswag_ca:   9%|██████████▏                                                                                                      | 26/288 [03:43<37:33,  8.60s/it]
+
hellaswag_ca:   9%|██████████▌                                                                                                      | 27/288 [03:51<36:58,  8.50s/it]
+
hellaswag_ca:  10%|██████████▉                                                                                                      | 28/288 [03:59<36:38,  8.46s/it]
+
hellaswag_ca:  10%|███████████▍                                                                                                     | 29/288 [04:07<35:50,  8.30s/it]
+
hellaswag_ca:  10%|███████████▊                                                                                                     | 30/288 [04:16<36:27,  8.48s/it]
+
hellaswag_ca:  11%|████████████▏                                                                                                    | 31/288 [04:26<37:31,  8.76s/it]
+
hellaswag_ca:  11%|████████████▌                                                                                                    | 32/288 [04:34<37:23,  8.76s/it]
+
hellaswag_ca:  11%|████████████▉                                                                                                    | 33/288 [04:43<36:21,  8.55s/it]
+
hellaswag_ca:  12%|█████████████▎                                                                                                   | 34/288 [04:51<35:42,  8.43s/it]
+
hellaswag_ca:  12%|█████████████▋                                                                                                   | 35/288 [05:00<36:32,  8.67s/it]
+
hellaswag_ca:  12%|██████████████▏                                                                                                  | 36/288 [05:08<36:18,  8.65s/it]
+
hellaswag_ca:  13%|██████████████▌                                                                                                  | 37/288 [05:17<36:09,  8.64s/it]
+
hellaswag_ca:  13%|██████████████▉                                                                                                  | 38/288 [05:26<36:16,  8.71s/it]
+
hellaswag_ca:  14%|███████████████▎                                                                                                 | 39/288 [05:35<36:01,  8.68s/it]
+
hellaswag_ca:  14%|███████████████▋                                                                                                 | 40/288 [05:44<36:31,  8.84s/it]
+
hellaswag_ca:  14%|████████████████                                                                                                 | 41/288 [05:52<35:16,  8.57s/it]
+
hellaswag_ca:  15%|████████████████▍                                                                                                | 42/288 [06:01<35:56,  8.77s/it]
+
hellaswag_ca:  15%|████████████████▊                                                                                                | 43/288 [06:09<35:07,  8.60s/it]
+
hellaswag_ca:  15%|█████████████████▎                                                                                               | 44/288 [06:17<34:06,  8.39s/it]
+
hellaswag_ca:  16%|█████████████████▋                                                                                               | 45/288 [06:26<34:10,  8.44s/it]
+
hellaswag_ca:  16%|██████████████████                                                                                               | 46/288 [06:35<35:03,  8.69s/it]
+
hellaswag_ca:  16%|██████████████████▍                                                                                              | 47/288 [06:43<34:35,  8.61s/it]
+
hellaswag_ca:  17%|██████████████████▊                                                                                              | 48/288 [06:51<33:32,  8.38s/it]
+
hellaswag_ca:  17%|███████████████████▏                                                                                             | 49/288 [07:00<33:33,  8.42s/it]
+
hellaswag_ca:  17%|███████████████████▌                                                                                             | 50/288 [07:09<34:08,  8.61s/it]
+
hellaswag_ca:  18%|████████████████████                                                                                             | 51/288 [07:18<34:40,  8.78s/it]
+
hellaswag_ca:  18%|████████████████████▍                                                                                            | 52/288 [07:26<33:51,  8.61s/it]
+
hellaswag_ca:  18%|████████████████████▊                                                                                            | 53/288 [07:35<33:58,  8.67s/it]
+
hellaswag_ca:  19%|█████████████████████▏                                                                                           | 54/288 [07:43<33:34,  8.61s/it]
+
hellaswag_ca:  19%|█████████████████████▌                                                                                           | 55/288 [07:52<33:23,  8.60s/it]
+
hellaswag_ca:  19%|█████████████████████▉                                                                                           | 56/288 [08:00<32:28,  8.40s/it]
+
hellaswag_ca:  20%|██████████████████████▎                                                                                          | 57/288 [08:09<32:50,  8.53s/it]
+
hellaswag_ca:  20%|██████████████████████▊                                                                                          | 58/288 [08:17<32:24,  8.45s/it]
+
hellaswag_ca:  20%|███████████████████████▏                                                                                         | 59/288 [08:27<33:25,  8.76s/it]
+
hellaswag_ca:  21%|███████████████████████▌                                                                                         | 60/288 [08:35<32:26,  8.54s/it]
+
hellaswag_ca:  21%|███████████████████████▉                                                                                         | 61/288 [08:43<32:21,  8.55s/it]
+
hellaswag_ca:  22%|████████████████████████▎                                                                                        | 62/288 [08:52<32:07,  8.53s/it]
+
hellaswag_ca:  22%|████████████████████████▋                                                                                        | 63/288 [09:00<31:25,  8.38s/it]
+
hellaswag_ca:  22%|█████████████████████████                                                                                        | 64/288 [09:08<31:20,  8.39s/it]
+
hellaswag_ca:  23%|█████████████████████████▌                                                                                       | 65/288 [09:17<31:32,  8.49s/it]
+
hellaswag_ca:  23%|█████████████████████████▉                                                                                       | 66/288 [09:25<31:39,  8.56s/it]
+
hellaswag_ca:  23%|██████████████████████████▎                                                                                      | 67/288 [09:34<31:38,  8.59s/it]
+
hellaswag_ca:  24%|██████████████████████████▋                                                                                      | 68/288 [09:43<32:08,  8.77s/it]
+
hellaswag_ca:  24%|███████████████████████████                                                                                      | 69/288 [09:52<31:45,  8.70s/it]
+
hellaswag_ca:  24%|███████████████████████████▍                                                                                     | 70/288 [10:00<31:26,  8.65s/it]
+
hellaswag_ca:  25%|███████████████████████████▊                                                                                     | 71/288 [10:08<30:37,  8.47s/it]
+
hellaswag_ca:  25%|████████████████████████████▎                                                                                    | 72/288 [10:17<30:30,  8.47s/it]
+
hellaswag_ca:  25%|████████████████████████████▋                                                                                    | 73/288 [10:25<29:51,  8.33s/it]
+
hellaswag_ca:  26%|█████████████████████████████                                                                                    | 74/288 [10:33<29:49,  8.36s/it]
+
hellaswag_ca:  26%|█████████████████████████████▍                                                                                   | 75/288 [10:42<29:28,  8.30s/it]
+
hellaswag_ca:  26%|█████████████████████████████▊                                                                                   | 76/288 [10:50<29:43,  8.41s/it]
+
hellaswag_ca:  27%|██████████████████████████████▏                                                                                  | 77/288 [10:59<29:41,  8.44s/it]
+
hellaswag_ca:  27%|██████████████████████████████▌                                                                                  | 78/288 [11:07<29:45,  8.50s/it]
+
hellaswag_ca:  27%|██████████████████████████████▉                                                                                  | 79/288 [11:17<30:24,  8.73s/it]
+
hellaswag_ca:  28%|███████████████████████████████▍                                                                                 | 80/288 [11:26<30:39,  8.84s/it]
+
hellaswag_ca:  28%|███████████████████████████████▊                                                                                 | 81/288 [11:34<30:09,  8.74s/it]
+
hellaswag_ca:  28%|████████████████████████████████▏                                                                                | 82/288 [11:43<29:50,  8.69s/it]
+
hellaswag_ca:  29%|████████████████████████████████▌                                                                                | 83/288 [11:51<29:18,  8.58s/it]
+
hellaswag_ca:  29%|████████████████████████████████▉                                                                                | 84/288 [11:59<28:51,  8.49s/it]
+
hellaswag_ca:  30%|█████████████████████████████████▎                                                                               | 85/288 [12:07<28:16,  8.36s/it]
+
hellaswag_ca:  30%|█████████████████████████████████▋                                                                               | 86/288 [12:15<27:42,  8.23s/it]
+
hellaswag_ca:  30%|██████████████████████████████████▏                                                                              | 87/288 [12:24<28:26,  8.49s/it]
+
hellaswag_ca:  31%|██████████████████████████████████▌                                                                              | 88/288 [12:33<28:15,  8.48s/it]
+
hellaswag_ca:  31%|██████████████████████████████████▉                                                                              | 89/288 [12:41<28:03,  8.46s/it]
+
hellaswag_ca:  31%|███████████████████████████████████▎                                                                             | 90/288 [12:49<27:30,  8.34s/it]
+
hellaswag_ca:  32%|███████████████████████████████████▋                                                                             | 91/288 [12:58<27:31,  8.38s/it]
+
hellaswag_ca:  32%|████████████████████████████████████                                                                             | 92/288 [13:07<27:42,  8.48s/it]
+
hellaswag_ca:  32%|████████████████████████████████████▍                                                                            | 93/288 [13:15<27:56,  8.60s/it]
+
hellaswag_ca:  33%|████████████████████████████████████▉                                                                            | 94/288 [13:24<27:47,  8.60s/it]
+
hellaswag_ca:  33%|█████████████████████████████████████▎                                                                           | 95/288 [13:33<27:42,  8.61s/it]
+
hellaswag_ca:  33%|█████████████████████████████████████▋                                                                           | 96/288 [13:41<27:35,  8.62s/it]
+
hellaswag_ca:  34%|██████████████████████████████████████                                                                           | 97/288 [13:50<27:27,  8.63s/it]
+
hellaswag_ca:  34%|██████████████████████████████████████▍                                                                          | 98/288 [13:59<27:58,  8.84s/it]
+
hellaswag_ca:  34%|██████████████████████████████████████▊                                                                          | 99/288 [14:08<27:37,  8.77s/it]
+
hellaswag_ca:  35%|██████████████████████████████████████▉                                                                         | 100/288 [14:16<27:15,  8.70s/it]
+
hellaswag_ca:  35%|███████████████████████████████████████▎                                                                        | 101/288 [14:26<27:28,  8.82s/it]
+
hellaswag_ca:  35%|███████████████████████████████████████▋                                                                        | 102/288 [14:35<27:38,  8.92s/it]
+
hellaswag_ca:  36%|████████████████████████████████████████                                                                        | 103/288 [14:44<27:40,  8.98s/it]
+
hellaswag_ca:  36%|████████████████████████████████████████▍                                                                       | 104/288 [14:53<27:45,  9.05s/it]
+
hellaswag_ca:  36%|████████████████████████████████████████▊                                                                       | 105/288 [15:02<27:22,  8.98s/it]
+
hellaswag_ca:  37%|█████████████████████████████████████████▏                                                                      | 106/288 [15:10<26:51,  8.86s/it]
+
hellaswag_ca:  37%|█████████████████████████████████████████▌                                                                      | 107/288 [15:19<26:30,  8.79s/it]
+
hellaswag_ca:  38%|██████████████████████████████████████████                                                                      | 108/288 [15:27<25:49,  8.61s/it]
+
hellaswag_ca:  38%|██████████████████████████████████████████▍                                                                     | 109/288 [15:35<25:00,  8.38s/it]
+
hellaswag_ca:  38%|██████████████████████████████████████████▊                                                                     | 110/288 [15:44<25:03,  8.45s/it]
+
hellaswag_ca:  39%|███████████████████████████████████████████▏                                                                    | 111/288 [15:52<25:01,  8.48s/it]
+
hellaswag_ca:  39%|███████████████████████████████████████████▌                                                                    | 112/288 [16:00<24:23,  8.31s/it]
+
hellaswag_ca:  39%|███████████████████████████████████████████▉                                                                    | 113/288 [16:09<24:37,  8.44s/it]
+
hellaswag_ca:  40%|████████████████████████████████████████████▎                                                                   | 114/288 [16:17<24:25,  8.42s/it]
+
hellaswag_ca:  40%|████████████████████████████████████████████▋                                                                   | 115/288 [16:26<24:13,  8.40s/it]
+
hellaswag_ca:  40%|█████████████████████████████████████████████                                                                   | 116/288 [16:34<24:05,  8.41s/it]
+
hellaswag_ca:  41%|█████████████████████████████████████████████▌                                                                  | 117/288 [16:42<23:41,  8.31s/it]
+
hellaswag_ca:  41%|█████████████████████████████████████████████▉                                                                  | 118/288 [16:51<23:56,  8.45s/it]
+
hellaswag_ca:  41%|██████████████████████████████████████████████▎                                                                 | 119/288 [16:59<23:24,  8.31s/it]
+
hellaswag_ca:  42%|██████████████████████████████████████████████▋                                                                 | 120/288 [17:07<23:21,  8.34s/it]
+
hellaswag_ca:  42%|███████████████████████████████████████████████                                                                 | 121/288 [17:16<23:33,  8.46s/it]
+
hellaswag_ca:  42%|███████████████████████████████████████████████▍                                                                | 122/288 [17:25<23:26,  8.48s/it]
+
hellaswag_ca:  43%|███████████████████████████████████████████████▊                                                                | 123/288 [17:33<23:07,  8.41s/it]
+
hellaswag_ca:  43%|████████████████████████████████████████████████▏                                                               | 124/288 [17:41<23:03,  8.44s/it]
+
hellaswag_ca:  43%|████████████████████████████████████████████████▌                                                               | 125/288 [17:50<22:58,  8.46s/it]
+
hellaswag_ca:  44%|█████████████████████████████████████████████████                                                               | 126/288 [17:58<22:58,  8.51s/it]
+
hellaswag_ca:  44%|█████████████████████████████████████████████████▍                                                              | 127/288 [18:07<22:45,  8.48s/it]
+
hellaswag_ca:  44%|█████████████████████████████████████████████████▊                                                              | 128/288 [18:16<23:04,  8.65s/it]
+
hellaswag_ca:  45%|██████████████████████████████████████████████████▏                                                             | 129/288 [18:25<22:55,  8.65s/it]
+
hellaswag_ca:  45%|██████████████████████████████████████████████████▌                                                             | 130/288 [18:33<22:44,  8.64s/it]
+
hellaswag_ca:  45%|██████████████████████████████████████████████████▉                                                             | 131/288 [18:42<22:25,  8.57s/it]
+
hellaswag_ca:  46%|███████████████████████████████████████████████████▎                                                            | 132/288 [18:50<22:31,  8.66s/it]
+
hellaswag_ca:  46%|███████████████████████████████████████████████████▋                                                            | 133/288 [18:58<21:48,  8.44s/it]
+
hellaswag_ca:  47%|████████████████████████████████████████████████████                                                            | 134/288 [19:07<21:58,  8.56s/it]
+
hellaswag_ca:  47%|████████████████████████████████████████████████████▌                                                           | 135/288 [19:16<21:50,  8.57s/it]
+
hellaswag_ca:  47%|████████████████████████████████████████████████████▉                                                           | 136/288 [19:25<22:07,  8.74s/it]
+
hellaswag_ca:  48%|█████████████████████████████████████████████████████▎                                                          | 137/288 [19:34<22:15,  8.85s/it]
+
hellaswag_ca:  48%|█████████████████████████████████████████████████████▋                                                          | 138/288 [19:43<21:53,  8.76s/it]
+
hellaswag_ca:  48%|██████████████████████████████████████████████████████                                                          | 139/288 [19:51<21:11,  8.53s/it]
+
hellaswag_ca:  49%|██████████████████████████████████████████████████████▍                                                         | 140/288 [19:59<20:41,  8.39s/it]
+
hellaswag_ca:  49%|██████████████████████████████████████████████████████▊                                                         | 141/288 [20:07<20:37,  8.42s/it]
+
hellaswag_ca:  49%|███████████████████████████████████████████████████████▏                                                        | 142/288 [20:16<20:59,  8.63s/it]
+
hellaswag_ca:  50%|███████████████████████████████████████████████████████▌                                                        | 143/288 [20:25<20:44,  8.58s/it]
+
hellaswag_ca:  50%|████████████████████████████████████████████████████████                                                        | 144/288 [20:34<20:43,  8.64s/it]
+
hellaswag_ca:  50%|████████████████████████████████████████████████████████▍                                                       | 145/288 [20:42<20:33,  8.63s/it]
+
hellaswag_ca:  51%|████████████████████████████████████████████████████████▊                                                       | 146/288 [20:51<20:19,  8.59s/it]
+
hellaswag_ca:  51%|█████████████████████████████████████████████████████████▏                                                      | 147/288 [20:59<20:19,  8.65s/it]
+
hellaswag_ca:  51%|█████████████████████████████████████████████████████████▌                                                      | 148/288 [21:09<20:39,  8.85s/it]
+
hellaswag_ca:  52%|█████████████████████████████████████████████████████████▉                                                      | 149/288 [21:18<20:27,  8.83s/it]
+
hellaswag_ca:  52%|██████████████████████████████████████████████████████████▎                                                     | 150/288 [21:26<20:10,  8.77s/it]
+
hellaswag_ca:  52%|██████████████████████████████████████████████████████████▋                                                     | 151/288 [21:35<20:02,  8.78s/it]
+
hellaswag_ca:  53%|███████████████████████████████████████████████████████████                                                     | 152/288 [21:44<19:47,  8.73s/it]
+
hellaswag_ca:  53%|███████████████████████████████████████████████████████████▌                                                    | 153/288 [21:52<19:29,  8.66s/it]
+
hellaswag_ca:  53%|███████████████████████████████████████████████████████████▉                                                    | 154/288 [22:01<19:13,  8.61s/it]
+
hellaswag_ca:  54%|████████████████████████████████████████████████████████████▎                                                   | 155/288 [22:09<18:59,  8.57s/it]
+
hellaswag_ca:  54%|████████████████████████████████████████████████████████████▋                                                   | 156/288 [22:18<18:48,  8.55s/it]
+
hellaswag_ca:  55%|█████████████████████████████████████████████████████████████                                                   | 157/288 [22:26<18:37,  8.53s/it]
+
hellaswag_ca:  55%|█████████████████████████████████████████████████████████████▍                                                  | 158/288 [22:35<18:34,  8.57s/it]
+
hellaswag_ca:  55%|█████████████████████████████████████████████████████████████▊                                                  | 159/288 [22:43<18:31,  8.62s/it]
+
hellaswag_ca:  56%|██████████████████████████████████████████████████████████████▏                                                 | 160/288 [22:52<18:23,  8.62s/it]
+
hellaswag_ca:  56%|██████████████████████████████████████████████████████████████▌                                                 | 161/288 [23:01<18:20,  8.67s/it]
+
hellaswag_ca:  56%|███████████████████████████████████████████████████████████████                                                 | 162/288 [23:09<18:11,  8.66s/it]
+
hellaswag_ca:  57%|███████████████████████████████████████████████████████████████▍                                                | 163/288 [23:18<18:03,  8.67s/it]
+
hellaswag_ca:  57%|███████████████████████████████████████████████████████████████▊                                                | 164/288 [23:27<17:44,  8.59s/it]
+
hellaswag_ca:  57%|████████████████████████████████████████████████████████████████▏                                               | 165/288 [23:35<17:44,  8.65s/it]
+
hellaswag_ca:  58%|████████████████████████████████████████████████████████████████▌                                               | 166/288 [23:43<17:15,  8.49s/it]
+
hellaswag_ca:  58%|████████████████████████████████████████████████████████████████▉                                               | 167/288 [23:52<16:52,  8.37s/it]
+
hellaswag_ca:  58%|█████████████████████████████████████████████████████████████████▎                                              | 168/288 [23:59<16:28,  8.24s/it]
+
hellaswag_ca:  59%|█████████████████████████████████████████████████████████████████▋                                              | 169/288 [24:08<16:39,  8.40s/it]
+
hellaswag_ca:  59%|██████████████████████████████████████████████████████████████████                                              | 170/288 [24:17<16:53,  8.59s/it]
+
hellaswag_ca:  59%|██████████████████████████████████████████████████████████████████▌                                             | 171/288 [24:25<16:22,  8.40s/it]
+
hellaswag_ca:  60%|██████████████████████████████████████████████████████████████████▉                                             | 172/288 [24:33<15:55,  8.24s/it]
+
hellaswag_ca:  60%|███████████████████████████████████████████████████████████████████▎                                            | 173/288 [24:42<16:03,  8.38s/it]
+
hellaswag_ca:  60%|███████████████████████████████████████████████████████████████████▋                                            | 174/288 [24:50<15:52,  8.36s/it]
+
hellaswag_ca:  61%|████████████████████████████████████████████████████████████████████                                            | 175/288 [24:59<16:03,  8.53s/it]
+
hellaswag_ca:  61%|████████████████████████████████████████████████████████████████████▍                                           | 176/288 [25:08<15:52,  8.51s/it]
+
hellaswag_ca:  61%|████████████████████████████████████████████████████████████████████▊                                           | 177/288 [25:16<15:54,  8.60s/it]
+
hellaswag_ca:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 178/288 [25:25<15:50,  8.64s/it]
+
hellaswag_ca:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 179/288 [25:34<16:04,  8.85s/it]
+
hellaswag_ca:  62%|██████████████████████████████████████████████████████████████████████                                          | 180/288 [25:43<15:43,  8.74s/it]
+
hellaswag_ca:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 181/288 [25:51<15:21,  8.61s/it]
+
hellaswag_ca:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 182/288 [26:00<15:06,  8.55s/it]
+
hellaswag_ca:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 183/288 [26:09<15:21,  8.77s/it]
+
hellaswag_ca:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 184/288 [26:18<15:22,  8.87s/it]
+
hellaswag_ca:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 185/288 [26:26<15:00,  8.74s/it]
+
hellaswag_ca:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 186/288 [26:35<14:56,  8.79s/it]
+
hellaswag_ca:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 187/288 [26:44<14:40,  8.72s/it]
+
hellaswag_ca:  65%|█████████████████████████████████████████████████████████████████████████                                       | 188/288 [26:52<14:07,  8.47s/it]
+
hellaswag_ca:  66%|█████████████████████████████████████████████████████████████████████████▌                                      | 189/288 [27:01<14:15,  8.64s/it]
+
hellaswag_ca:  66%|█████████████████████████████████████████████████████████████████████████▉                                      | 190/288 [27:09<14:01,  8.59s/it]
+
hellaswag_ca:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 191/288 [27:19<14:13,  8.80s/it]
+
hellaswag_ca:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 192/288 [27:27<14:02,  8.78s/it]
+
hellaswag_ca:  67%|███████████████████████████████████████████████████████████████████████████                                     | 193/288 [27:36<14:01,  8.86s/it]
+
hellaswag_ca:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 194/288 [27:44<13:28,  8.60s/it]
+
hellaswag_ca:  68%|███████████████████████████████████████████████████████████████████████████▊                                    | 195/288 [27:52<12:59,  8.38s/it]
+
hellaswag_ca:  68%|████████████████████████████████████████████████████████████████████████████▏                                   | 196/288 [28:01<12:54,  8.42s/it]
+
hellaswag_ca:  68%|████████████████████████████████████████████████████████████████████████████▌                                   | 197/288 [28:09<12:54,  8.51s/it]
+
hellaswag_ca:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 198/288 [28:18<12:47,  8.52s/it]
+
hellaswag_ca:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 199/288 [28:27<12:43,  8.57s/it]
+
hellaswag_ca:  69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 200/288 [28:35<12:32,  8.56s/it]
+
hellaswag_ca:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 201/288 [28:44<12:26,  8.58s/it]
+
hellaswag_ca:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 202/288 [28:52<12:14,  8.55s/it]
+
hellaswag_ca:  70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 203/288 [29:00<11:50,  8.36s/it]
+
hellaswag_ca:  71%|███████████████████████████████████████████████████████████████████████████████▎                                | 204/288 [29:09<11:44,  8.39s/it]
+
hellaswag_ca:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 205/288 [29:18<11:53,  8.60s/it]
+
hellaswag_ca:  72%|████████████████████████████████████████████████████████████████████████████████                                | 206/288 [29:26<11:30,  8.42s/it]
+
hellaswag_ca:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 207/288 [29:35<11:29,  8.52s/it]
+
hellaswag_ca:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 208/288 [29:43<11:10,  8.38s/it]
+
hellaswag_ca:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 209/288 [29:51<11:00,  8.36s/it]
+
hellaswag_ca:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 210/288 [30:00<11:11,  8.61s/it]
+
hellaswag_ca:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 211/288 [30:09<11:06,  8.65s/it]
+
hellaswag_ca:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 212/288 [30:18<11:11,  8.84s/it]
+
hellaswag_ca:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 213/288 [30:27<10:56,  8.75s/it]
+
hellaswag_ca:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 214/288 [30:35<10:42,  8.68s/it]
+
hellaswag_ca:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 215/288 [30:44<10:30,  8.64s/it]
+
hellaswag_ca:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 216/288 [30:52<10:20,  8.61s/it]
+
hellaswag_ca:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 217/288 [31:01<10:15,  8.66s/it]
+
hellaswag_ca:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 218/288 [31:10<10:16,  8.81s/it]
+
hellaswag_ca:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 219/288 [31:18<09:51,  8.57s/it]
+
hellaswag_ca:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 220/288 [31:27<09:51,  8.70s/it]
+
hellaswag_ca:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 221/288 [31:36<09:54,  8.87s/it]
+
hellaswag_ca:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 222/288 [31:45<09:33,  8.68s/it]
+
hellaswag_ca:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 223/288 [31:54<09:35,  8.85s/it]
+
hellaswag_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 224/288 [32:03<09:26,  8.85s/it]
+
hellaswag_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 225/288 [32:12<09:16,  8.83s/it]
+
hellaswag_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 226/288 [32:20<09:07,  8.82s/it]
+
hellaswag_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 227/288 [32:29<08:51,  8.72s/it]
+
hellaswag_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 228/288 [32:37<08:37,  8.62s/it]
+
hellaswag_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 229/288 [32:46<08:23,  8.54s/it]
+
hellaswag_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 230/288 [32:54<08:09,  8.45s/it]
+
hellaswag_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 231/288 [33:02<07:59,  8.42s/it]
+
hellaswag_ca:  81%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 232/288 [33:10<07:45,  8.32s/it]
+
hellaswag_ca:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 233/288 [33:19<07:48,  8.52s/it]
+
hellaswag_ca:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 234/288 [33:28<07:42,  8.57s/it]
+
hellaswag_ca:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 235/288 [33:36<07:31,  8.52s/it]
+
hellaswag_ca:  82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 236/288 [33:45<07:21,  8.50s/it]
+
hellaswag_ca:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 237/288 [33:53<07:15,  8.54s/it]
+
hellaswag_ca:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 238/288 [34:02<07:12,  8.65s/it]
+
hellaswag_ca:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 239/288 [34:11<07:03,  8.64s/it]
+
hellaswag_ca:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 240/288 [34:20<06:53,  8.62s/it]
+
hellaswag_ca:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 241/288 [34:28<06:45,  8.63s/it]
+
hellaswag_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 242/288 [34:37<06:35,  8.61s/it]
+
hellaswag_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 243/288 [34:46<06:36,  8.80s/it]
+
hellaswag_ca:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 244/288 [34:55<06:26,  8.79s/it]
+
hellaswag_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 245/288 [35:03<06:08,  8.58s/it]
+
hellaswag_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 246/288 [35:11<05:59,  8.55s/it]
+
hellaswag_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 247/288 [35:20<05:50,  8.54s/it]
+
hellaswag_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 248/288 [35:28<05:37,  8.44s/it]
+
hellaswag_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 249/288 [35:37<05:30,  8.48s/it]
+
hellaswag_ca:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 250/288 [35:45<05:25,  8.55s/it]
+
hellaswag_ca:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 251/288 [35:53<05:11,  8.41s/it]
+
hellaswag_ca:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 252/288 [36:02<04:59,  8.32s/it]
+
hellaswag_ca:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 253/288 [36:10<04:53,  8.38s/it]
+
hellaswag_ca:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 254/288 [36:19<04:46,  8.42s/it]
+
hellaswag_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 255/288 [36:27<04:39,  8.48s/it]
+
hellaswag_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 256/288 [36:35<04:26,  8.32s/it]
+
hellaswag_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 257/288 [36:44<04:23,  8.49s/it]
+
hellaswag_ca:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 258/288 [36:53<04:14,  8.49s/it]
+
hellaswag_ca:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 259/288 [37:01<04:07,  8.52s/it]
+
hellaswag_ca:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 260/288 [37:10<04:01,  8.63s/it]
+
hellaswag_ca:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 261/288 [37:19<03:51,  8.59s/it]
+
hellaswag_ca:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 262/288 [37:26<03:38,  8.40s/it]
+
hellaswag_ca:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 263/288 [37:36<03:36,  8.68s/it]
+
hellaswag_ca:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 264/288 [37:44<03:27,  8.65s/it]
+
hellaswag_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 265/288 [37:53<03:18,  8.64s/it]
+
hellaswag_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 266/288 [38:02<03:10,  8.66s/it]
+
hellaswag_ca:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 267/288 [38:11<03:03,  8.72s/it]
+
hellaswag_ca:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 268/288 [38:19<02:52,  8.61s/it]
+
hellaswag_ca:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 269/288 [38:28<02:44,  8.66s/it]
+
hellaswag_ca:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 270/288 [38:36<02:35,  8.64s/it]
+
hellaswag_ca:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 271/288 [38:45<02:25,  8.57s/it]
+
hellaswag_ca:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 272/288 [38:53<02:18,  8.64s/it]
+
hellaswag_ca:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 273/288 [39:02<02:09,  8.62s/it]
+
hellaswag_ca:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 274/288 [39:11<02:00,  8.63s/it]
+
hellaswag_ca:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 275/288 [39:19<01:51,  8.57s/it]
+
hellaswag_ca:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 276/288 [39:27<01:40,  8.39s/it]
+
hellaswag_ca:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 277/288 [39:36<01:33,  8.50s/it]
+
hellaswag_ca:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 278/288 [39:44<01:23,  8.33s/it]
+
hellaswag_ca:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 279/288 [39:52<01:15,  8.37s/it]
+
hellaswag_ca:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 280/288 [40:02<01:09,  8.65s/it]
+
hellaswag_ca:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 281/288 [40:10<01:00,  8.63s/it]
+
hellaswag_ca:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 282/288 [40:18<00:50,  8.43s/it]
+
hellaswag_ca:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 283/288 [40:26<00:41,  8.28s/it]
+
hellaswag_ca:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/288 [40:34<00:33,  8.33s/it]
+
hellaswag_ca:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/288 [40:44<00:25,  8.63s/it]
+
hellaswag_ca:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 286/288 [40:52<00:16,  8.45s/it]
+
hellaswag_ca: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 287/288 [41:00<00:08,  8.47s/it]
+
hellaswag_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [41:09<00:00,  8.38s/it]
hellaswag_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [41:09<00:00,  8.57s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ca_acc 0.4260123765063511
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ca_acc_norm 0.5680165020084681
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 12:22:07,720 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 12:22:07,720 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:07,838 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 12:22:07,838 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:07,956 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 12:22:07,956 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:08,074 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 12:22:08,075 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 12:22:08,075 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 12:22:08,195 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 12:22:08,195 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ca_acc'}
+2024-05-29 12:22:08,255 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 12:22:08,255 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1145, 'value': 0.4260123765063511}
+2024-05-29 12:22:08,315 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 12:22:08,915 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 12:22:08,916 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:09,033 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 12:22:09,034 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:09,151 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 12:22:09,151 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:09,269 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 12:22:09,270 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 12:22:09,270 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 12:22:09,389 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 12:22:09,389 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ca_acc_norm'}
+2024-05-29 12:22:09,449 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 12:22:09,449 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1146, 'value': 0.5680165020084681}
+2024-05-29 12:22:09,508 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  27%|█████████████████████████████▉                                                                               | 34/124 [5:34:38<58:42:56, 2348.63s/it]['hellaswag_da']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 12:22:10,172 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 12:22:10,172 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:10,303 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 12:22:10,303 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:10,434 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 12:22:10,434 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 12:22:10,565 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_da'}
+2024-05-29 12:22:10,697 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_da task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.94s/ examples]
+
Generating validation split: 2000 examples [00:03, 917.33 examples/s]
+
Generating validation split: 4000 examples [00:03, 2067.87 examples/s]
+
Generating validation split: 6000 examples [00:03, 3452.81 examples/s]
+
Generating validation split: 7816 examples [00:03, 4941.39 examples/s]
Generating validation split: 9305 examples [00:03, 2657.06 examples/s]
+Loaded 9305 examples
+Running loglikelihood requests
+
+
hellaswag_da:   0%|                                                                                                                          | 0/291 [00:00<?, ?it/s]
+
hellaswag_da:   0%|▍                                                                                                                 | 1/291 [00:09<44:16,  9.16s/it]
+
hellaswag_da:   1%|▊                                                                                                                 | 2/291 [00:17<40:43,  8.45s/it]
+
hellaswag_da:   1%|█▏                                                                                                                | 3/291 [00:26<41:50,  8.72s/it]
+
hellaswag_da:   1%|█▌                                                                                                                | 4/291 [00:34<41:50,  8.75s/it]
+
hellaswag_da:   2%|█▉                                                                                                                | 5/291 [00:43<40:59,  8.60s/it]
+
hellaswag_da:   2%|██▎                                                                                                               | 6/291 [00:51<40:40,  8.56s/it]
+
hellaswag_da:   2%|██▋                                                                                                               | 7/291 [00:59<39:58,  8.44s/it]
+
hellaswag_da:   3%|███▏                                                                                                              | 8/291 [01:08<40:20,  8.55s/it]
+
hellaswag_da:   3%|███▌                                                                                                              | 9/291 [01:17<40:16,  8.57s/it]
+
hellaswag_da:   3%|███▉                                                                                                             | 10/291 [01:25<39:44,  8.49s/it]
+
hellaswag_da:   4%|████▎                                                                                                            | 11/291 [01:34<40:11,  8.61s/it]
+
hellaswag_da:   4%|████▋                                                                                                            | 12/291 [01:43<40:44,  8.76s/it]
+
hellaswag_da:   4%|█████                                                                                                            | 13/291 [01:51<39:37,  8.55s/it]
+
hellaswag_da:   5%|█████▍                                                                                                           | 14/291 [02:00<39:48,  8.62s/it]
+
hellaswag_da:   5%|█████▊                                                                                                           | 15/291 [02:08<39:26,  8.57s/it]
+
hellaswag_da:   5%|██████▏                                                                                                          | 16/291 [02:17<39:27,  8.61s/it]
+
hellaswag_da:   6%|██████▌                                                                                                          | 17/291 [02:26<39:16,  8.60s/it]
+
hellaswag_da:   6%|██████▉                                                                                                          | 18/291 [02:35<39:52,  8.76s/it]
+
hellaswag_da:   7%|███████▍                                                                                                         | 19/291 [02:44<40:04,  8.84s/it]
+
hellaswag_da:   7%|███████▊                                                                                                         | 20/291 [02:52<39:19,  8.71s/it]
+
hellaswag_da:   7%|████████▏                                                                                                        | 21/291 [03:01<39:44,  8.83s/it]
+
hellaswag_da:   8%|████████▌                                                                                                        | 22/291 [03:11<40:07,  8.95s/it]
+
hellaswag_da:   8%|████████▉                                                                                                        | 23/291 [03:19<38:37,  8.65s/it]
+
hellaswag_da:   8%|█████████▎                                                                                                       | 24/291 [03:28<39:27,  8.87s/it]
+
hellaswag_da:   9%|█████████▋                                                                                                       | 25/291 [03:37<38:52,  8.77s/it]
+
hellaswag_da:   9%|██████████                                                                                                       | 26/291 [03:46<39:32,  8.95s/it]
+
hellaswag_da:   9%|██████████▍                                                                                                      | 27/291 [03:55<39:13,  8.92s/it]
+
hellaswag_da:  10%|██████████▊                                                                                                      | 28/291 [04:04<39:46,  9.08s/it]
+
hellaswag_da:  10%|███████████▎                                                                                                     | 29/291 [04:13<38:53,  8.90s/it]
+
hellaswag_da:  10%|███████████▋                                                                                                     | 30/291 [04:21<38:32,  8.86s/it]
+
hellaswag_da:  11%|████████████                                                                                                     | 31/291 [04:30<37:37,  8.68s/it]
+
hellaswag_da:  11%|████████████▍                                                                                                    | 32/291 [04:39<38:12,  8.85s/it]
+
hellaswag_da:  11%|████████████▊                                                                                                    | 33/291 [04:47<37:35,  8.74s/it]
+
hellaswag_da:  12%|█████████████▏                                                                                                   | 34/291 [04:55<36:30,  8.52s/it]
+
hellaswag_da:  12%|█████████████▌                                                                                                   | 35/291 [05:04<36:24,  8.53s/it]
+
hellaswag_da:  12%|█████████████▉                                                                                                   | 36/291 [05:12<36:05,  8.49s/it]
+
hellaswag_da:  13%|██████████████▎                                                                                                  | 37/291 [05:21<36:07,  8.53s/it]
+
hellaswag_da:  13%|██████████████▊                                                                                                  | 38/291 [05:30<35:57,  8.53s/it]
+
hellaswag_da:  13%|███████████████▏                                                                                                 | 39/291 [05:39<36:22,  8.66s/it]
+
hellaswag_da:  14%|███████████████▌                                                                                                 | 40/291 [05:47<36:29,  8.72s/it]
+
hellaswag_da:  14%|███████████████▉                                                                                                 | 41/291 [05:56<36:12,  8.69s/it]
+
hellaswag_da:  14%|████████████████▎                                                                                                | 42/291 [06:05<36:10,  8.72s/it]
+
hellaswag_da:  15%|████████████████▋                                                                                                | 43/291 [06:13<35:49,  8.67s/it]
+
hellaswag_da:  15%|█████████████████                                                                                                | 44/291 [06:22<35:29,  8.62s/it]
+
hellaswag_da:  15%|█████████████████▍                                                                                               | 45/291 [06:30<35:19,  8.62s/it]
+
hellaswag_da:  16%|█████████████████▊                                                                                               | 46/291 [06:39<35:04,  8.59s/it]
+
hellaswag_da:  16%|██████████████████▎                                                                                              | 47/291 [06:48<35:26,  8.72s/it]
+
hellaswag_da:  16%|██████████████████▋                                                                                              | 48/291 [06:56<34:55,  8.62s/it]
+
hellaswag_da:  17%|███████████████████                                                                                              | 49/291 [07:04<34:03,  8.44s/it]
+
hellaswag_da:  17%|███████████████████▍                                                                                             | 50/291 [07:12<33:18,  8.29s/it]
+
hellaswag_da:  18%|███████████████████▊                                                                                             | 51/291 [07:21<33:24,  8.35s/it]
+
hellaswag_da:  18%|████████████████████▏                                                                                            | 52/291 [07:30<34:28,  8.65s/it]
+
hellaswag_da:  18%|████████████████████▌                                                                                            | 53/291 [07:39<34:56,  8.81s/it]
+
hellaswag_da:  19%|████████████████████▉                                                                                            | 54/291 [07:48<34:27,  8.73s/it]
+
hellaswag_da:  19%|█████████████████████▎                                                                                           | 55/291 [07:57<35:01,  8.90s/it]
+
hellaswag_da:  19%|█████████████████████▋                                                                                           | 56/291 [08:06<34:36,  8.84s/it]
+
hellaswag_da:  20%|██████████████████████▏                                                                                          | 57/291 [08:14<33:52,  8.69s/it]
+
hellaswag_da:  20%|██████████████████████▌                                                                                          | 58/291 [08:23<33:53,  8.73s/it]
+
hellaswag_da:  20%|██████████████████████▉                                                                                          | 59/291 [08:32<33:44,  8.73s/it]
+
hellaswag_da:  21%|███████████████████████▎                                                                                         | 60/291 [08:41<33:37,  8.74s/it]
+
hellaswag_da:  21%|███████████████████████▋                                                                                         | 61/291 [08:50<33:45,  8.81s/it]
+
hellaswag_da:  21%|████████████████████████                                                                                         | 62/291 [08:59<34:01,  8.92s/it]
+
hellaswag_da:  22%|████████████████████████▍                                                                                        | 63/291 [09:07<33:16,  8.76s/it]
+
hellaswag_da:  22%|████████████████████████▊                                                                                        | 64/291 [09:15<32:23,  8.56s/it]
+
hellaswag_da:  22%|█████████████████████████▏                                                                                       | 65/291 [09:24<33:04,  8.78s/it]
+
hellaswag_da:  23%|█████████████████████████▋                                                                                       | 66/291 [09:34<33:20,  8.89s/it]
+
hellaswag_da:  23%|██████████████████████████                                                                                       | 67/291 [09:42<32:49,  8.79s/it]
+
hellaswag_da:  23%|██████████████████████████▍                                                                                      | 68/291 [09:51<32:31,  8.75s/it]
+
hellaswag_da:  24%|██████████████████████████▊                                                                                      | 69/291 [10:00<32:39,  8.83s/it]
+
hellaswag_da:  24%|███████████████████████████▏                                                                                     | 70/291 [10:09<32:28,  8.82s/it]
+
hellaswag_da:  24%|███████████████████████████▌                                                                                     | 71/291 [10:17<32:05,  8.75s/it]
+
hellaswag_da:  25%|███████████████████████████▉                                                                                     | 72/291 [10:26<32:18,  8.85s/it]
+
hellaswag_da:  25%|████████████████████████████▎                                                                                    | 73/291 [10:34<31:15,  8.60s/it]
+
hellaswag_da:  25%|████████████████████████████▋                                                                                    | 74/291 [10:43<31:32,  8.72s/it]
+
hellaswag_da:  26%|█████████████████████████████                                                                                    | 75/291 [10:52<31:32,  8.76s/it]
+
hellaswag_da:  26%|█████████████████████████████▌                                                                                   | 76/291 [11:01<31:04,  8.67s/it]
+
hellaswag_da:  26%|█████████████████████████████▉                                                                                   | 77/291 [11:09<30:08,  8.45s/it]
+
hellaswag_da:  27%|██████████████████████████████▎                                                                                  | 78/291 [11:18<30:28,  8.58s/it]
+
hellaswag_da:  27%|██████████████████████████████▋                                                                                  | 79/291 [11:26<30:34,  8.65s/it]
+
hellaswag_da:  27%|███████████████████████████████                                                                                  | 80/291 [11:35<30:31,  8.68s/it]
+
hellaswag_da:  28%|███████████████████████████████▍                                                                                 | 81/291 [11:44<30:12,  8.63s/it]
+
hellaswag_da:  28%|███████████████████████████████▊                                                                                 | 82/291 [11:53<30:26,  8.74s/it]
+
hellaswag_da:  29%|████████████████████████████████▏                                                                                | 83/291 [12:01<30:03,  8.67s/it]
+
hellaswag_da:  29%|████████████████████████████████▌                                                                                | 84/291 [12:10<30:01,  8.70s/it]
+
hellaswag_da:  29%|█████████████████████████████████                                                                                | 85/291 [12:19<29:53,  8.71s/it]
+
hellaswag_da:  30%|█████████████████████████████████▍                                                                               | 86/291 [12:28<30:23,  8.89s/it]
+
hellaswag_da:  30%|█████████████████████████████████▊                                                                               | 87/291 [12:37<30:02,  8.84s/it]
+
hellaswag_da:  30%|██████████████████████████████████▏                                                                              | 88/291 [12:45<29:02,  8.58s/it]
+
hellaswag_da:  31%|██████████████████████████████████▌                                                                              | 89/291 [12:53<28:55,  8.59s/it]
+
hellaswag_da:  31%|██████████████████████████████████▉                                                                              | 90/291 [13:02<28:50,  8.61s/it]
+
hellaswag_da:  31%|███████████████████████████████████▎                                                                             | 91/291 [13:11<28:46,  8.63s/it]
+
hellaswag_da:  32%|███████████████████████████████████▋                                                                             | 92/291 [13:19<28:15,  8.52s/it]
+
hellaswag_da:  32%|████████████████████████████████████                                                                             | 93/291 [13:27<28:13,  8.55s/it]
+
hellaswag_da:  32%|████████████████████████████████████▌                                                                            | 94/291 [13:36<28:05,  8.55s/it]
+
hellaswag_da:  33%|████████████████████████████████████▉                                                                            | 95/291 [13:45<28:01,  8.58s/it]
+
hellaswag_da:  33%|█████████████████████████████████████▎                                                                           | 96/291 [13:53<28:02,  8.63s/it]
+
hellaswag_da:  33%|█████████████████████████████████████▋                                                                           | 97/291 [14:02<28:03,  8.68s/it]
+
hellaswag_da:  34%|██████████████████████████████████████                                                                           | 98/291 [14:11<28:16,  8.79s/it]
+
hellaswag_da:  34%|██████████████████████████████████████▍                                                                          | 99/291 [14:20<28:16,  8.84s/it]
+
hellaswag_da:  34%|██████████████████████████████████████▍                                                                         | 100/291 [14:28<27:09,  8.53s/it]
+
hellaswag_da:  35%|██████████████████████████████████████▊                                                                         | 101/291 [14:37<27:06,  8.56s/it]
+
hellaswag_da:  35%|███████████████████████████████████████▎                                                                        | 102/291 [14:45<26:53,  8.54s/it]
+
hellaswag_da:  35%|███████████████████████████████████████▋                                                                        | 103/291 [14:54<27:27,  8.76s/it]
+
hellaswag_da:  36%|████████████████████████████████████████                                                                        | 104/291 [15:03<27:06,  8.70s/it]
+
hellaswag_da:  36%|████████████████████████████████████████▍                                                                       | 105/291 [15:11<26:43,  8.62s/it]
+
hellaswag_da:  36%|████████████████████████████████████████▊                                                                       | 106/291 [15:20<26:31,  8.60s/it]
+
hellaswag_da:  37%|█████████████████████████████████████████▏                                                                      | 107/291 [15:28<25:58,  8.47s/it]
+
hellaswag_da:  37%|█████████████████████████████████████████▌                                                                      | 108/291 [15:37<25:47,  8.46s/it]
+
hellaswag_da:  37%|█████████████████████████████████████████▉                                                                      | 109/291 [15:45<25:47,  8.50s/it]
+
hellaswag_da:  38%|██████████████████████████████████████████▎                                                                     | 110/291 [15:54<26:16,  8.71s/it]
+
hellaswag_da:  38%|██████████████████████████████████████████▋                                                                     | 111/291 [16:03<26:06,  8.70s/it]
+
hellaswag_da:  38%|███████████████████████████████████████████                                                                     | 112/291 [16:12<25:46,  8.64s/it]
+
hellaswag_da:  39%|███████████████████████████████████████████▍                                                                    | 113/291 [16:21<25:59,  8.76s/it]
+
hellaswag_da:  39%|███████████████████████████████████████████▉                                                                    | 114/291 [16:29<25:21,  8.60s/it]
+
hellaswag_da:  40%|████████████████████████████████████████████▎                                                                   | 115/291 [16:38<25:43,  8.77s/it]
+
hellaswag_da:  40%|████████████████████████████████████████████▋                                                                   | 116/291 [16:47<25:33,  8.76s/it]
+
hellaswag_da:  40%|█████████████████████████████████████████████                                                                   | 117/291 [16:56<25:42,  8.86s/it]
+
hellaswag_da:  41%|█████████████████████████████████████████████▍                                                                  | 118/291 [17:04<25:12,  8.74s/it]
+
hellaswag_da:  41%|█████████████████████████████████████████████▊                                                                  | 119/291 [17:13<25:20,  8.84s/it]
+
hellaswag_da:  41%|██████████████████████████████████████████████▏                                                                 | 120/291 [17:23<25:36,  8.98s/it]
+
hellaswag_da:  42%|██████████████████████████████████████████████▌                                                                 | 121/291 [17:31<25:10,  8.88s/it]
+
hellaswag_da:  42%|██████████████████████████████████████████████▉                                                                 | 122/291 [17:40<24:49,  8.81s/it]
+
hellaswag_da:  42%|███████████████████████████████████████████████▎                                                                | 123/291 [17:48<24:28,  8.74s/it]
+
hellaswag_da:  43%|███████████████████████████████████████████████▋                                                                | 124/291 [17:57<24:20,  8.75s/it]
+
hellaswag_da:  43%|████████████████████████████████████████████████                                                                | 125/291 [18:06<24:08,  8.73s/it]
+
hellaswag_da:  43%|████████████████████████████████████████████████▍                                                               | 126/291 [18:15<23:52,  8.68s/it]
+
hellaswag_da:  44%|████████████████████████████████████████████████▉                                                               | 127/291 [18:23<23:34,  8.63s/it]
+
hellaswag_da:  44%|█████████████████████████████████████████████████▎                                                              | 128/291 [18:32<23:30,  8.65s/it]
+
hellaswag_da:  44%|█████████████████████████████████████████████████▋                                                              | 129/291 [18:41<23:28,  8.69s/it]
+
hellaswag_da:  45%|██████████████████████████████████████████████████                                                              | 130/291 [18:48<22:44,  8.48s/it]
+
hellaswag_da:  45%|██████████████████████████████████████████████████▍                                                             | 131/291 [18:57<22:51,  8.57s/it]
+
hellaswag_da:  45%|██████████████████████████████████████████████████▊                                                             | 132/291 [19:06<23:02,  8.69s/it]
+
hellaswag_da:  46%|███████████████████████████████████████████████████▏                                                            | 133/291 [19:15<22:52,  8.69s/it]
+
hellaswag_da:  46%|███████████████████████████████████████████████████▌                                                            | 134/291 [19:24<22:43,  8.68s/it]
+
hellaswag_da:  46%|███████████████████████████████████████████████████▉                                                            | 135/291 [19:32<22:20,  8.59s/it]
+
hellaswag_da:  47%|████████████████████████████████████████████████████▎                                                           | 136/291 [19:40<21:48,  8.44s/it]
+
hellaswag_da:  47%|████████████████████████████████████████████████████▋                                                           | 137/291 [19:48<21:22,  8.33s/it]
+
hellaswag_da:  47%|█████████████████████████████████████████████████████                                                           | 138/291 [19:57<21:23,  8.39s/it]
+
hellaswag_da:  48%|█████████████████████████████████████████████████████▍                                                          | 139/291 [20:06<21:43,  8.57s/it]
+
hellaswag_da:  48%|█████████████████████████████████████████████████████▉                                                          | 140/291 [20:14<21:45,  8.65s/it]
+
hellaswag_da:  48%|██████████████████████████████████████████████████████▎                                                         | 141/291 [20:23<21:26,  8.57s/it]
+
hellaswag_da:  49%|██████████████████████████████████████████████████████▋                                                         | 142/291 [20:31<21:16,  8.57s/it]
+
hellaswag_da:  49%|███████████████████████████████████████████████████████                                                         | 143/291 [20:40<21:14,  8.61s/it]
+
hellaswag_da:  49%|███████████████████████████████████████████████████████▍                                                        | 144/291 [20:49<21:11,  8.65s/it]
+
hellaswag_da:  50%|███████████████████████████████████████████████████████▊                                                        | 145/291 [20:57<20:56,  8.61s/it]
+
hellaswag_da:  50%|████████████████████████████████████████████████████████▏                                                       | 146/291 [21:07<21:19,  8.83s/it]
+
hellaswag_da:  51%|████████████████████████████████████████████████████████▌                                                       | 147/291 [21:16<21:10,  8.83s/it]
+
hellaswag_da:  51%|████████████████████████████████████████████████████████▉                                                       | 148/291 [21:24<20:47,  8.72s/it]
+
hellaswag_da:  51%|█████████████████████████████████████████████████████████▎                                                      | 149/291 [21:33<21:06,  8.92s/it]
+
hellaswag_da:  52%|█████████████████████████████████████████████████████████▋                                                      | 150/291 [21:42<20:44,  8.82s/it]
+
hellaswag_da:  52%|██████████████████████████████████████████████████████████                                                      | 151/291 [21:51<20:25,  8.75s/it]
+
hellaswag_da:  52%|██████████████████████████████████████████████████████████▌                                                     | 152/291 [21:59<20:08,  8.69s/it]
+
hellaswag_da:  53%|██████████████████████████████████████████████████████████▉                                                     | 153/291 [22:08<20:17,  8.82s/it]
+
hellaswag_da:  53%|███████████████████████████████████████████████████████████▎                                                    | 154/291 [22:18<20:35,  9.02s/it]
+
hellaswag_da:  53%|███████████████████████████████████████████████████████████▋                                                    | 155/291 [22:26<20:09,  8.89s/it]
+
hellaswag_da:  54%|████████████████████████████████████████████████████████████                                                    | 156/291 [22:35<20:05,  8.93s/it]
+
hellaswag_da:  54%|████████████████████████████████████████████████████████████▍                                                   | 157/291 [22:44<19:38,  8.80s/it]
+
hellaswag_da:  54%|████████████████████████████████████████████████████████████▊                                                   | 158/291 [22:52<19:09,  8.64s/it]
+
hellaswag_da:  55%|█████████████████████████████████████████████████████████████▏                                                  | 159/291 [23:01<18:52,  8.58s/it]
+
hellaswag_da:  55%|█████████████████████████████████████████████████████████████▌                                                  | 160/291 [23:09<18:44,  8.59s/it]
+
hellaswag_da:  55%|█████████████████████████████████████████████████████████████▉                                                  | 161/291 [23:18<18:52,  8.71s/it]
+
hellaswag_da:  56%|██████████████████████████████████████████████████████████████▎                                                 | 162/291 [23:26<18:22,  8.54s/it]
+
hellaswag_da:  56%|██████████████████████████████████████████████████████████████▋                                                 | 163/291 [23:35<18:10,  8.52s/it]
+
hellaswag_da:  56%|███████████████████████████████████████████████████████████████                                                 | 164/291 [23:43<18:03,  8.53s/it]
+
hellaswag_da:  57%|███████████████████████████████████████████████████████████████▌                                                | 165/291 [23:52<18:03,  8.60s/it]
+
hellaswag_da:  57%|███████████████████████████████████████████████████████████████▉                                                | 166/291 [24:01<17:54,  8.59s/it]
+
hellaswag_da:  57%|████████████████████████████████████████████████████████████████▎                                               | 167/291 [24:10<18:03,  8.74s/it]
+
hellaswag_da:  58%|████████████████████████████████████████████████████████████████▋                                               | 168/291 [24:19<18:02,  8.80s/it]
+
hellaswag_da:  58%|█████████████████████████████████████████████████████████████████                                               | 169/291 [24:27<17:19,  8.52s/it]
+
hellaswag_da:  58%|█████████████████████████████████████████████████████████████████▍                                              | 170/291 [24:35<17:12,  8.53s/it]
+
hellaswag_da:  59%|█████████████████████████████████████████████████████████████████▊                                              | 171/291 [24:44<17:06,  8.55s/it]
+
hellaswag_da:  59%|██████████████████████████████████████████████████████████████████▏                                             | 172/291 [24:52<16:52,  8.51s/it]
+
hellaswag_da:  59%|██████████████████████████████████████████████████████████████████▌                                             | 173/291 [25:01<17:12,  8.75s/it]
+
hellaswag_da:  60%|██████████████████████████████████████████████████████████████████▉                                             | 174/291 [25:10<16:52,  8.66s/it]
+
hellaswag_da:  60%|███████████████████████████████████████████████████████████████████▎                                            | 175/291 [25:18<16:15,  8.41s/it]
+
hellaswag_da:  60%|███████████████████████████████████████████████████████████████████▋                                            | 176/291 [25:27<16:21,  8.54s/it]
+
hellaswag_da:  61%|████████████████████████████████████████████████████████████████████                                            | 177/291 [25:35<16:15,  8.56s/it]
+
hellaswag_da:  61%|████████████████████████████████████████████████████████████████████▌                                           | 178/291 [25:43<15:48,  8.40s/it]
+
hellaswag_da:  62%|████████████████████████████████████████████████████████████████████▉                                           | 179/291 [25:52<16:07,  8.64s/it]
+
hellaswag_da:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 180/291 [26:01<16:11,  8.75s/it]
+
hellaswag_da:  62%|█████████████████████████████████████████████████████████████████████▋                                          | 181/291 [26:10<15:44,  8.59s/it]
+
hellaswag_da:  63%|██████████████████████████████████████████████████████████████████████                                          | 182/291 [26:17<15:11,  8.36s/it]
+
hellaswag_da:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 183/291 [26:26<15:15,  8.47s/it]
+
hellaswag_da:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 184/291 [26:35<15:34,  8.73s/it]
+
hellaswag_da:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 185/291 [26:44<15:17,  8.66s/it]
+
hellaswag_da:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 186/291 [26:53<15:10,  8.67s/it]
+
hellaswag_da:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 187/291 [27:02<15:20,  8.85s/it]
+
hellaswag_da:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 188/291 [27:11<15:03,  8.77s/it]
+
hellaswag_da:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 189/291 [27:19<14:47,  8.71s/it]
+
hellaswag_da:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 190/291 [27:28<14:31,  8.63s/it]
+
hellaswag_da:  66%|█████████████████████████████████████████████████████████████████████████▌                                      | 191/291 [27:37<14:35,  8.75s/it]
+
hellaswag_da:  66%|█████████████████████████████████████████████████████████████████████████▉                                      | 192/291 [27:46<14:36,  8.86s/it]
+
hellaswag_da:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 193/291 [27:54<14:21,  8.79s/it]
+
hellaswag_da:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 194/291 [28:02<13:52,  8.59s/it]
+
hellaswag_da:  67%|███████████████████████████████████████████████████████████████████████████                                     | 195/291 [28:11<13:54,  8.69s/it]
+
hellaswag_da:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 196/291 [28:21<13:59,  8.84s/it]
+
hellaswag_da:  68%|███████████████████████████████████████████████████████████████████████████▊                                    | 197/291 [28:29<13:46,  8.79s/it]
+
hellaswag_da:  68%|████████████████████████████████████████████████████████████████████████████▏                                   | 198/291 [28:38<13:36,  8.78s/it]
+
hellaswag_da:  68%|████████████████████████████████████████████████████████████████████████████▌                                   | 199/291 [28:47<13:25,  8.76s/it]
+
hellaswag_da:  69%|████████████████████████████████████████████████████████████████████████████▉                                   | 200/291 [28:56<13:43,  9.05s/it]
+
hellaswag_da:  69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 201/291 [29:06<13:40,  9.12s/it]
+
hellaswag_da:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 202/291 [29:14<13:17,  8.97s/it]
+
hellaswag_da:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 203/291 [29:23<13:13,  9.01s/it]
+
hellaswag_da:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 204/291 [29:33<13:07,  9.05s/it]
+
hellaswag_da:  70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 205/291 [29:41<12:32,  8.74s/it]
+
hellaswag_da:  71%|███████████████████████████████████████████████████████████████████████████████▎                                | 206/291 [29:49<12:19,  8.70s/it]
+
hellaswag_da:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 207/291 [29:58<12:22,  8.84s/it]
+
hellaswag_da:  71%|████████████████████████████████████████████████████████████████████████████████                                | 208/291 [30:08<12:27,  9.01s/it]
+
hellaswag_da:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 209/291 [30:17<12:12,  8.93s/it]
+
hellaswag_da:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 210/291 [30:26<12:08,  8.99s/it]
+
hellaswag_da:  73%|█████████████████████████████████████████████████████████████████████████████████▏                              | 211/291 [30:34<11:46,  8.83s/it]
+
hellaswag_da:  73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 212/291 [30:43<11:35,  8.80s/it]
+
hellaswag_da:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 213/291 [30:52<11:36,  8.93s/it]
+
hellaswag_da:  74%|██████████████████████████████████████████████████████████████████████████████████▎                             | 214/291 [31:00<11:09,  8.70s/it]
+
hellaswag_da:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 215/291 [31:09<11:03,  8.73s/it]
+
hellaswag_da:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 216/291 [31:18<10:54,  8.73s/it]
+
hellaswag_da:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 217/291 [31:26<10:45,  8.73s/it]
+
hellaswag_da:  75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 218/291 [31:35<10:35,  8.71s/it]
+
hellaswag_da:  75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 219/291 [31:44<10:33,  8.80s/it]
+
hellaswag_da:  76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 220/291 [31:53<10:22,  8.76s/it]
+
hellaswag_da:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 221/291 [32:02<10:11,  8.74s/it]
+
hellaswag_da:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 222/291 [32:10<10:01,  8.71s/it]
+
hellaswag_da:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 223/291 [32:19<09:49,  8.66s/it]
+
hellaswag_da:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 224/291 [32:27<09:37,  8.62s/it]
+
hellaswag_da:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 225/291 [32:35<09:16,  8.43s/it]
+
hellaswag_da:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 226/291 [32:44<09:08,  8.44s/it]
+
hellaswag_da:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 227/291 [32:53<09:10,  8.60s/it]
+
hellaswag_da:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 228/291 [33:01<09:05,  8.66s/it]
+
hellaswag_da:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 229/291 [33:10<08:53,  8.60s/it]
+
hellaswag_da:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 230/291 [33:19<08:48,  8.67s/it]
+
hellaswag_da:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 231/291 [33:27<08:40,  8.67s/it]
+
hellaswag_da:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 232/291 [33:37<08:41,  8.83s/it]
+
hellaswag_da:  80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 233/291 [33:45<08:26,  8.72s/it]
+
hellaswag_da:  80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 234/291 [33:54<08:21,  8.80s/it]
+
hellaswag_da:  81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 235/291 [34:03<08:15,  8.85s/it]
+
hellaswag_da:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 236/291 [34:12<08:02,  8.78s/it]
+
hellaswag_da:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 237/291 [34:21<08:03,  8.96s/it]
+
hellaswag_da:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 238/291 [34:29<07:36,  8.62s/it]
+
hellaswag_da:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 239/291 [34:38<07:38,  8.81s/it]
+
hellaswag_da:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 240/291 [34:47<07:30,  8.84s/it]
+
hellaswag_da:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 241/291 [34:56<07:16,  8.73s/it]
+
hellaswag_da:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 242/291 [35:04<07:06,  8.71s/it]
+
hellaswag_da:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 243/291 [35:13<06:59,  8.75s/it]
+
hellaswag_da:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 244/291 [35:22<06:55,  8.85s/it]
+
hellaswag_da:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 245/291 [35:31<06:53,  8.99s/it]
+
hellaswag_da:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 246/291 [35:40<06:39,  8.89s/it]
+
hellaswag_da:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 247/291 [35:49<06:28,  8.83s/it]
+
hellaswag_da:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 248/291 [35:57<06:16,  8.76s/it]
+
hellaswag_da:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 249/291 [36:06<06:10,  8.83s/it]
+
hellaswag_da:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 250/291 [36:15<06:03,  8.88s/it]
+
hellaswag_da:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 251/291 [36:24<05:56,  8.91s/it]
+
hellaswag_da:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 252/291 [36:33<05:44,  8.83s/it]
+
hellaswag_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 253/291 [36:42<05:34,  8.79s/it]
+
hellaswag_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 254/291 [36:50<05:21,  8.69s/it]
+
hellaswag_da:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 255/291 [36:59<05:13,  8.71s/it]
+
hellaswag_da:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌             | 256/291 [37:08<05:04,  8.69s/it]
+
hellaswag_da:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉             | 257/291 [37:16<04:53,  8.62s/it]
+
hellaswag_da:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 258/291 [37:24<04:42,  8.56s/it]
+
hellaswag_da:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 259/291 [37:33<04:34,  8.57s/it]
+
hellaswag_da:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 260/291 [37:41<04:24,  8.53s/it]
+
hellaswag_da:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 261/291 [37:50<04:18,  8.62s/it]
+
hellaswag_da:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 262/291 [37:58<04:04,  8.43s/it]
+
hellaswag_da:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 263/291 [38:07<03:57,  8.48s/it]
+
hellaswag_da:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 264/291 [38:16<03:52,  8.59s/it]
+
hellaswag_da:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 265/291 [38:25<03:49,  8.84s/it]
+
hellaswag_da:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 266/291 [38:34<03:39,  8.76s/it]
+
hellaswag_da:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 267/291 [38:42<03:29,  8.74s/it]
+
hellaswag_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 268/291 [38:51<03:21,  8.77s/it]
+
hellaswag_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 269/291 [39:00<03:11,  8.72s/it]
+
hellaswag_da:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 270/291 [39:08<02:58,  8.50s/it]
+
hellaswag_da:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 271/291 [39:16<02:50,  8.54s/it]
+
hellaswag_da:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 272/291 [39:25<02:45,  8.68s/it]
+
hellaswag_da:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 273/291 [39:34<02:35,  8.63s/it]
+
hellaswag_da:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 274/291 [39:43<02:27,  8.66s/it]
+
hellaswag_da:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 275/291 [39:52<02:19,  8.75s/it]
+
hellaswag_da:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 276/291 [40:00<02:11,  8.76s/it]
+
hellaswag_da:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 277/291 [40:09<02:02,  8.74s/it]
+
hellaswag_da:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 278/291 [40:18<01:52,  8.67s/it]
+
hellaswag_da:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 279/291 [40:27<01:46,  8.85s/it]
+
hellaswag_da:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 280/291 [40:35<01:36,  8.76s/it]
+
hellaswag_da:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 281/291 [40:45<01:29,  8.91s/it]
+
hellaswag_da:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 282/291 [40:53<01:19,  8.81s/it]
+
hellaswag_da:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 283/291 [41:02<01:10,  8.82s/it]
+
hellaswag_da:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 284/291 [41:11<01:01,  8.78s/it]
+
hellaswag_da:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 285/291 [41:20<00:52,  8.81s/it]
+
hellaswag_da:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 286/291 [41:29<00:44,  8.88s/it]
+
hellaswag_da:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 287/291 [41:37<00:35,  8.82s/it]
+
hellaswag_da:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 288/291 [41:46<00:26,  8.83s/it]
+
hellaswag_da:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 289/291 [41:56<00:17,  8.97s/it]
+
hellaswag_da: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 290/291 [42:04<00:08,  8.83s/it]
+
hellaswag_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [42:11<00:00,  8.38s/it]
hellaswag_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [42:11<00:00,  8.70s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_da_acc 0.4268672756582483
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_da_acc_norm 0.570123589468028
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:04:28,316 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:04:28,316 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:28,447 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:04:28,448 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:28,579 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:04:28,579 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:28,711 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:04:28,712 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 13:04:28,712 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 13:04:28,845 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 13:04:28,845 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_da_acc'}
+2024-05-29 13:04:28,912 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 13:04:28,912 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1147, 'value': 0.4268672756582483}
+2024-05-29 13:04:28,979 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:04:29,629 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:04:29,629 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:29,757 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:04:29,757 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:29,884 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:04:29,885 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:30,012 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:04:30,013 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 13:04:30,013 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 13:04:30,144 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 13:04:30,145 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_da_acc_norm'}
+2024-05-29 13:04:30,209 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 13:04:30,209 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1148, 'value': 0.570123589468028}
+2024-05-29 13:04:30,274 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  28%|██████████████████████████████▊                                                                              | 35/124 [6:16:59<59:29:18, 2406.27s/it]['hellaswag_de']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:04:30,886 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:04:30,886 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:31,006 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:04:31,006 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:31,126 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:04:31,126 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:04:31,245 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:04:31,246 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 13:04:31,246 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_de'}
+2024-05-29 13:04:31,366 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_de task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:03,  3.03s/ examples]
+
Generating validation split: 2000 examples [00:03, 891.34 examples/s]
+
Generating validation split: 4000 examples [00:03, 2013.94 examples/s]
+
Generating validation split: 6000 examples [00:03, 3371.91 examples/s]
+
Generating validation split: 8000 examples [00:03, 4935.21 examples/s]
Generating validation split: 9368 examples [00:03, 2606.89 examples/s]
+Loaded 9368 examples
+Running loglikelihood requests
+
+
hellaswag_de:   0%|                                                                                                                          | 0/293 [00:00<?, ?it/s]
+
hellaswag_de:   0%|▍                                                                                                                 | 1/293 [00:08<39:54,  8.20s/it]
+
hellaswag_de:   1%|▊                                                                                                                 | 2/293 [00:17<41:51,  8.63s/it]
+
hellaswag_de:   1%|█▏                                                                                                                | 3/293 [00:25<40:29,  8.38s/it]
+
hellaswag_de:   1%|█▌                                                                                                                | 4/293 [00:33<40:43,  8.45s/it]
+
hellaswag_de:   2%|█▉                                                                                                                | 5/293 [00:41<39:54,  8.32s/it]
+
hellaswag_de:   2%|██▎                                                                                                               | 6/293 [00:50<40:56,  8.56s/it]
+
hellaswag_de:   2%|██▋                                                                                                               | 7/293 [00:59<40:42,  8.54s/it]
+
hellaswag_de:   3%|███                                                                                                               | 8/293 [01:08<41:01,  8.64s/it]
+
hellaswag_de:   3%|███▌                                                                                                              | 9/293 [01:16<40:24,  8.54s/it]
+
hellaswag_de:   3%|███▊                                                                                                             | 10/293 [01:24<39:28,  8.37s/it]
+
hellaswag_de:   4%|████▏                                                                                                            | 11/293 [01:33<39:52,  8.48s/it]
+
hellaswag_de:   4%|████▋                                                                                                            | 12/293 [01:41<39:27,  8.42s/it]
+
hellaswag_de:   4%|█████                                                                                                            | 13/293 [01:49<38:44,  8.30s/it]
+
hellaswag_de:   5%|█████▍                                                                                                           | 14/293 [01:58<39:41,  8.54s/it]
+
hellaswag_de:   5%|█████▊                                                                                                           | 15/293 [02:06<38:36,  8.33s/it]
+
hellaswag_de:   5%|██████▏                                                                                                          | 16/293 [02:15<38:47,  8.40s/it]
+
hellaswag_de:   6%|██████▌                                                                                                          | 17/293 [02:23<38:12,  8.31s/it]
+
hellaswag_de:   6%|██████▉                                                                                                          | 18/293 [02:31<37:49,  8.25s/it]
+
hellaswag_de:   6%|███████▎                                                                                                         | 19/293 [02:40<38:34,  8.45s/it]
+
hellaswag_de:   7%|███████▋                                                                                                         | 20/293 [02:48<37:58,  8.35s/it]
+
hellaswag_de:   7%|████████                                                                                                         | 21/293 [02:56<37:19,  8.23s/it]
+
hellaswag_de:   8%|████████▍                                                                                                        | 22/293 [03:04<36:51,  8.16s/it]
+
hellaswag_de:   8%|████████▊                                                                                                        | 23/293 [03:13<37:57,  8.44s/it]
+
hellaswag_de:   8%|█████████▎                                                                                                       | 24/293 [03:21<37:03,  8.27s/it]
+
hellaswag_de:   9%|█████████▋                                                                                                       | 25/293 [03:29<37:04,  8.30s/it]
+
hellaswag_de:   9%|██████████                                                                                                       | 26/293 [03:37<36:28,  8.20s/it]
+
hellaswag_de:   9%|██████████▍                                                                                                      | 27/293 [03:46<37:28,  8.45s/it]
+
hellaswag_de:  10%|██████████▊                                                                                                      | 28/293 [03:55<37:38,  8.52s/it]
+
hellaswag_de:  10%|███████████▏                                                                                                     | 29/293 [04:03<36:48,  8.37s/it]
+
hellaswag_de:  10%|███████████▌                                                                                                     | 30/293 [04:11<36:26,  8.31s/it]
+
hellaswag_de:  11%|███████████▉                                                                                                     | 31/293 [04:19<36:24,  8.34s/it]
+
hellaswag_de:  11%|████████████▎                                                                                                    | 32/293 [04:28<37:04,  8.52s/it]
+
hellaswag_de:  11%|████████████▋                                                                                                    | 33/293 [04:36<36:02,  8.32s/it]
+
hellaswag_de:  12%|█████████████                                                                                                    | 34/293 [04:44<35:45,  8.28s/it]
+
hellaswag_de:  12%|█████████████▍                                                                                                   | 35/293 [04:53<36:33,  8.50s/it]
+
hellaswag_de:  12%|█████████████▉                                                                                                   | 36/293 [05:02<36:19,  8.48s/it]
+
hellaswag_de:  13%|██████████████▎                                                                                                  | 37/293 [05:10<35:36,  8.35s/it]
+
hellaswag_de:  13%|██████████████▋                                                                                                  | 38/293 [05:18<35:07,  8.26s/it]
+
hellaswag_de:  13%|███████████████                                                                                                  | 39/293 [05:27<35:27,  8.37s/it]
+
hellaswag_de:  14%|███████████████▍                                                                                                 | 40/293 [05:35<34:49,  8.26s/it]
+
hellaswag_de:  14%|███████████████▊                                                                                                 | 41/293 [05:44<35:38,  8.49s/it]
+
hellaswag_de:  14%|████████████████▏                                                                                                | 42/293 [05:52<35:46,  8.55s/it]
+
hellaswag_de:  15%|████████████████▌                                                                                                | 43/293 [06:01<35:53,  8.61s/it]
+
hellaswag_de:  15%|████████████████▉                                                                                                | 44/293 [06:09<35:19,  8.51s/it]
+
hellaswag_de:  15%|█████████████████▎                                                                                               | 45/293 [06:17<34:42,  8.40s/it]
+
hellaswag_de:  16%|█████████████████▋                                                                                               | 46/293 [06:26<34:32,  8.39s/it]
+
hellaswag_de:  16%|██████████████████▏                                                                                              | 47/293 [06:34<34:16,  8.36s/it]
+
hellaswag_de:  16%|██████████████████▌                                                                                              | 48/293 [06:42<34:05,  8.35s/it]
+
hellaswag_de:  17%|██████████████████▉                                                                                              | 49/293 [06:51<34:36,  8.51s/it]
+
hellaswag_de:  17%|███████████████████▎                                                                                             | 50/293 [07:00<34:43,  8.57s/it]
+
hellaswag_de:  17%|███████████████████▋                                                                                             | 51/293 [07:08<33:39,  8.34s/it]
+
hellaswag_de:  18%|████████████████████                                                                                             | 52/293 [07:16<33:51,  8.43s/it]
+
hellaswag_de:  18%|████████████████████▍                                                                                            | 53/293 [07:25<33:55,  8.48s/it]
+
hellaswag_de:  18%|████████████████████▊                                                                                            | 54/293 [07:33<33:02,  8.29s/it]
+
hellaswag_de:  19%|█████████████████████▏                                                                                           | 55/293 [07:41<32:28,  8.19s/it]
+
hellaswag_de:  19%|█████████████████████▌                                                                                           | 56/293 [07:49<32:21,  8.19s/it]
+
hellaswag_de:  19%|█████████████████████▉                                                                                           | 57/293 [07:58<32:40,  8.31s/it]
+
hellaswag_de:  20%|██████████████████████▎                                                                                          | 58/293 [08:06<32:42,  8.35s/it]
+
hellaswag_de:  20%|██████████████████████▊                                                                                          | 59/293 [08:14<32:08,  8.24s/it]
+
hellaswag_de:  20%|███████████████████████▏                                                                                         | 60/293 [08:22<32:03,  8.25s/it]
+
hellaswag_de:  21%|███████████████████████▌                                                                                         | 61/293 [08:30<31:43,  8.20s/it]
+
hellaswag_de:  21%|███████████████████████▉                                                                                         | 62/293 [08:38<31:14,  8.11s/it]
+
hellaswag_de:  22%|████████████████████████▎                                                                                        | 63/293 [08:47<31:26,  8.20s/it]
+
hellaswag_de:  22%|████████████████████████▋                                                                                        | 64/293 [08:55<31:05,  8.14s/it]
+
hellaswag_de:  22%|█████████████████████████                                                                                        | 65/293 [09:04<32:00,  8.42s/it]
+
hellaswag_de:  23%|█████████████████████████▍                                                                                       | 66/293 [09:13<32:15,  8.52s/it]
+
hellaswag_de:  23%|█████████████████████████▊                                                                                       | 67/293 [09:22<32:57,  8.75s/it]
+
hellaswag_de:  23%|██████████████████████████▏                                                                                      | 68/293 [09:30<32:05,  8.56s/it]
+
hellaswag_de:  24%|██████████████████████████▌                                                                                      | 69/293 [09:39<32:42,  8.76s/it]
+
hellaswag_de:  24%|██████████████████████████▉                                                                                      | 70/293 [09:48<32:11,  8.66s/it]
+
hellaswag_de:  24%|███████████████████████████▍                                                                                     | 71/293 [09:56<31:18,  8.46s/it]
+
hellaswag_de:  25%|███████████████████████████▊                                                                                     | 72/293 [10:04<31:00,  8.42s/it]
+
hellaswag_de:  25%|████████████████████████████▏                                                                                    | 73/293 [10:12<30:20,  8.27s/it]
+
hellaswag_de:  25%|████████████████████████████▌                                                                                    | 74/293 [10:20<29:55,  8.20s/it]
+
hellaswag_de:  26%|████████████████████████████▉                                                                                    | 75/293 [10:29<30:20,  8.35s/it]
+
hellaswag_de:  26%|█████████████████████████████▎                                                                                   | 76/293 [10:37<30:10,  8.34s/it]
+
hellaswag_de:  26%|█████████████████████████████▋                                                                                   | 77/293 [10:45<29:44,  8.26s/it]
+
hellaswag_de:  27%|██████████████████████████████                                                                                   | 78/293 [10:53<29:48,  8.32s/it]
+
hellaswag_de:  27%|██████████████████████████████▍                                                                                  | 79/293 [11:02<30:01,  8.42s/it]
+
hellaswag_de:  27%|██████████████████████████████▊                                                                                  | 80/293 [11:10<29:23,  8.28s/it]
+
hellaswag_de:  28%|███████████████████████████████▏                                                                                 | 81/293 [11:18<28:51,  8.17s/it]
+
hellaswag_de:  28%|███████████████████████████████▌                                                                                 | 82/293 [11:26<28:30,  8.11s/it]
+
hellaswag_de:  28%|████████████████████████████████                                                                                 | 83/293 [11:35<29:17,  8.37s/it]
+
hellaswag_de:  29%|████████████████████████████████▍                                                                                | 84/293 [11:43<28:46,  8.26s/it]
+
hellaswag_de:  29%|████████████████████████████████▊                                                                                | 85/293 [11:52<28:57,  8.35s/it]
+
hellaswag_de:  29%|█████████████████████████████████▏                                                                               | 86/293 [12:00<29:03,  8.42s/it]
+
hellaswag_de:  30%|█████████████████████████████████▌                                                                               | 87/293 [12:08<28:51,  8.41s/it]
+
hellaswag_de:  30%|█████████████████████████████████▉                                                                               | 88/293 [12:17<29:06,  8.52s/it]
+
hellaswag_de:  30%|██████████████████████████████████▎                                                                              | 89/293 [12:26<28:44,  8.45s/it]
+
hellaswag_de:  31%|██████████████████████████████████▋                                                                              | 90/293 [12:35<29:10,  8.62s/it]
+
hellaswag_de:  31%|███████████████████████████████████                                                                              | 91/293 [12:43<28:21,  8.42s/it]
+
hellaswag_de:  31%|███████████████████████████████████▍                                                                             | 92/293 [12:50<27:41,  8.26s/it]
+
hellaswag_de:  32%|███████████████████████████████████▊                                                                             | 93/293 [12:58<27:15,  8.18s/it]
+
hellaswag_de:  32%|████████████████████████████████████▎                                                                            | 94/293 [13:07<27:19,  8.24s/it]
+
hellaswag_de:  32%|████████████████████████████████████▋                                                                            | 95/293 [13:15<27:03,  8.20s/it]
+
hellaswag_de:  33%|█████████████████████████████████████                                                                            | 96/293 [13:23<26:37,  8.11s/it]
+
hellaswag_de:  33%|█████████████████████████████████████▍                                                                           | 97/293 [13:31<26:30,  8.12s/it]
+
hellaswag_de:  33%|█████████████████████████████████████▊                                                                           | 98/293 [13:39<26:33,  8.17s/it]
+
hellaswag_de:  34%|██████████████████████████████████████▏                                                                          | 99/293 [13:48<27:25,  8.48s/it]
+
hellaswag_de:  34%|██████████████████████████████████████▏                                                                         | 100/293 [13:56<26:52,  8.35s/it]
+
hellaswag_de:  34%|██████████████████████████████████████▌                                                                         | 101/293 [14:05<26:51,  8.39s/it]
+
hellaswag_de:  35%|██████████████████████████████████████▉                                                                         | 102/293 [14:13<26:29,  8.32s/it]
+
hellaswag_de:  35%|███████████████████████████████████████▎                                                                        | 103/293 [14:21<25:58,  8.20s/it]
+
hellaswag_de:  35%|███████████████████████████████████████▊                                                                        | 104/293 [14:29<26:03,  8.27s/it]
+
hellaswag_de:  36%|████████████████████████████████████████▏                                                                       | 105/293 [14:37<25:37,  8.18s/it]
+
hellaswag_de:  36%|████████████████████████████████████████▌                                                                       | 106/293 [14:46<25:37,  8.22s/it]
+
hellaswag_de:  37%|████████████████████████████████████████▉                                                                       | 107/293 [14:54<25:34,  8.25s/it]
+
hellaswag_de:  37%|█████████████████████████████████████████▎                                                                      | 108/293 [15:02<25:18,  8.21s/it]
+
hellaswag_de:  37%|█████████████████████████████████████████▋                                                                      | 109/293 [15:10<25:03,  8.17s/it]
+
hellaswag_de:  38%|██████████████████████████████████████████                                                                      | 110/293 [15:19<25:05,  8.23s/it]
+
hellaswag_de:  38%|██████████████████████████████████████████▍                                                                     | 111/293 [15:27<24:43,  8.15s/it]
+
hellaswag_de:  38%|██████████████████████████████████████████▊                                                                     | 112/293 [15:35<25:05,  8.32s/it]
+
hellaswag_de:  39%|███████████████████████████████████████████▏                                                                    | 113/293 [15:43<24:42,  8.24s/it]
+
hellaswag_de:  39%|███████████████████████████████████████████▌                                                                    | 114/293 [15:51<24:24,  8.18s/it]
+
hellaswag_de:  39%|███████████████████████████████████████████▉                                                                    | 115/293 [15:59<24:04,  8.11s/it]
+
hellaswag_de:  40%|████████████████████████████████████████████▎                                                                   | 116/293 [16:07<23:40,  8.02s/it]
+
hellaswag_de:  40%|████████████████████████████████████████████▋                                                                   | 117/293 [16:16<24:30,  8.35s/it]
+
hellaswag_de:  40%|█████████████████████████████████████████████                                                                   | 118/293 [16:24<24:04,  8.25s/it]
+
hellaswag_de:  41%|█████████████████████████████████████████████▍                                                                  | 119/293 [16:33<24:04,  8.30s/it]
+
hellaswag_de:  41%|█████████████████████████████████████████████▊                                                                  | 120/293 [16:41<23:44,  8.23s/it]
+
hellaswag_de:  41%|██████████████████████████████████████████████▎                                                                 | 121/293 [16:49<23:44,  8.28s/it]
+
hellaswag_de:  42%|██████████████████████████████████████████████▋                                                                 | 122/293 [16:57<23:26,  8.22s/it]
+
hellaswag_de:  42%|███████████████████████████████████████████████                                                                 | 123/293 [17:06<23:48,  8.40s/it]
+
hellaswag_de:  42%|███████████████████████████████████████████████▍                                                                | 124/293 [17:14<23:38,  8.40s/it]
+
hellaswag_de:  43%|███████████████████████████████████████████████▊                                                                | 125/293 [17:23<23:25,  8.36s/it]
+
hellaswag_de:  43%|████████████████████████████████████████████████▏                                                               | 126/293 [17:31<22:56,  8.24s/it]
+
hellaswag_de:  43%|████████████████████████████████████████████████▌                                                               | 127/293 [17:39<22:33,  8.16s/it]
+
hellaswag_de:  44%|████████████████████████████████████████████████▉                                                               | 128/293 [17:47<22:15,  8.09s/it]
+
hellaswag_de:  44%|█████████████████████████████████████████████████▎                                                              | 129/293 [17:55<22:36,  8.27s/it]
+
hellaswag_de:  44%|█████████████████████████████████████████████████▋                                                              | 130/293 [18:03<22:09,  8.16s/it]
+
hellaswag_de:  45%|██████████████████████████████████████████████████                                                              | 131/293 [18:11<21:53,  8.11s/it]
+
hellaswag_de:  45%|██████████████████████████████████████████████████▍                                                             | 132/293 [18:19<21:54,  8.16s/it]
+
hellaswag_de:  45%|██████████████████████████████████████████████████▊                                                             | 133/293 [18:28<21:50,  8.19s/it]
+
hellaswag_de:  46%|███████████████████████████████████████████████████▏                                                            | 134/293 [18:36<21:35,  8.15s/it]
+
hellaswag_de:  46%|███████████████████████████████████████████████████▌                                                            | 135/293 [18:44<21:44,  8.25s/it]
+
hellaswag_de:  46%|███████████████████████████████████████████████████▉                                                            | 136/293 [18:52<21:21,  8.16s/it]
+
hellaswag_de:  47%|████████████████████████████████████████████████████▎                                                           | 137/293 [19:01<21:51,  8.41s/it]
+
hellaswag_de:  47%|████████████████████████████████████████████████████▊                                                           | 138/293 [19:09<21:24,  8.29s/it]
+
hellaswag_de:  47%|█████████████████████████████████████████████████████▏                                                          | 139/293 [19:18<21:34,  8.40s/it]
+
hellaswag_de:  48%|█████████████████████████████████████████████████████▌                                                          | 140/293 [19:26<21:11,  8.31s/it]
+
hellaswag_de:  48%|█████████████████████████████████████████████████████▉                                                          | 141/293 [19:34<21:08,  8.35s/it]
+
hellaswag_de:  48%|██████████████████████████████████████████████████████▎                                                         | 142/293 [19:42<20:45,  8.25s/it]
+
hellaswag_de:  49%|██████████████████████████████████████████████████████▋                                                         | 143/293 [19:50<20:23,  8.16s/it]
+
hellaswag_de:  49%|███████████████████████████████████████████████████████                                                         | 144/293 [19:59<20:36,  8.30s/it]
+
hellaswag_de:  49%|███████████████████████████████████████████████████████▍                                                        | 145/293 [20:07<20:22,  8.26s/it]
+
hellaswag_de:  50%|███████████████████████████████████████████████████████▊                                                        | 146/293 [20:15<20:02,  8.18s/it]
+
hellaswag_de:  50%|████████████████████████████████████████████████████████▏                                                       | 147/293 [20:24<20:25,  8.39s/it]
+
hellaswag_de:  51%|████████████████████████████████████████████████████████▌                                                       | 148/293 [20:33<20:28,  8.47s/it]
+
hellaswag_de:  51%|████████████████████████████████████████████████████████▉                                                       | 149/293 [20:41<20:04,  8.37s/it]
+
hellaswag_de:  51%|█████████████████████████████████████████████████████████▎                                                      | 150/293 [20:49<19:37,  8.24s/it]
+
hellaswag_de:  52%|█████████████████████████████████████████████████████████▋                                                      | 151/293 [20:57<19:40,  8.31s/it]
+
hellaswag_de:  52%|██████████████████████████████████████████████████████████                                                      | 152/293 [21:05<19:16,  8.20s/it]
+
hellaswag_de:  52%|██████████████████████████████████████████████████████████▍                                                     | 153/293 [21:13<18:59,  8.14s/it]
+
hellaswag_de:  53%|██████████████████████████████████████████████████████████▊                                                     | 154/293 [21:21<18:40,  8.06s/it]
+
hellaswag_de:  53%|███████████████████████████████████████████████████████████▏                                                    | 155/293 [21:29<18:28,  8.03s/it]
+
hellaswag_de:  53%|███████████████████████████████████████████████████████████▋                                                    | 156/293 [21:37<18:20,  8.03s/it]
+
hellaswag_de:  54%|████████████████████████████████████████████████████████████                                                    | 157/293 [21:46<18:55,  8.35s/it]
+
hellaswag_de:  54%|████████████████████████████████████████████████████████████▍                                                   | 158/293 [21:54<18:37,  8.28s/it]
+
hellaswag_de:  54%|████████████████████████████████████████████████████████████▊                                                   | 159/293 [22:03<18:33,  8.31s/it]
+
hellaswag_de:  55%|█████████████████████████████████████████████████████████████▏                                                  | 160/293 [22:11<18:19,  8.27s/it]
+
hellaswag_de:  55%|█████████████████████████████████████████████████████████████▌                                                  | 161/293 [22:19<17:57,  8.16s/it]
+
hellaswag_de:  55%|█████████████████████████████████████████████████████████████▉                                                  | 162/293 [22:27<17:43,  8.12s/it]
+
hellaswag_de:  56%|██████████████████████████████████████████████████████████████▎                                                 | 163/293 [22:35<17:26,  8.05s/it]
+
hellaswag_de:  56%|██████████████████████████████████████████████████████████████▋                                                 | 164/293 [22:43<17:33,  8.17s/it]
+
hellaswag_de:  56%|███████████████████████████████████████████████████████████████                                                 | 165/293 [22:51<17:15,  8.09s/it]
+
hellaswag_de:  57%|███████████████████████████████████████████████████████████████▍                                                | 166/293 [23:00<17:39,  8.34s/it]
+
hellaswag_de:  57%|███████████████████████████████████████████████████████████████▊                                                | 167/293 [23:08<17:15,  8.22s/it]
+
hellaswag_de:  57%|████████████████████████████████████████████████████████████████▏                                               | 168/293 [23:16<17:02,  8.18s/it]
+
hellaswag_de:  58%|████████████████████████████████████████████████████████████████▌                                               | 169/293 [23:24<16:50,  8.15s/it]
+
hellaswag_de:  58%|████████████████████████████████████████████████████████████████▉                                               | 170/293 [23:33<16:57,  8.27s/it]
+
hellaswag_de:  58%|█████████████████████████████████████████████████████████████████▎                                              | 171/293 [23:41<16:37,  8.18s/it]
+
hellaswag_de:  59%|█████████████████████████████████████████████████████████████████▋                                              | 172/293 [23:49<16:31,  8.20s/it]
+
hellaswag_de:  59%|██████████████████████████████████████████████████████████████████▏                                             | 173/293 [23:57<16:20,  8.17s/it]
+
hellaswag_de:  59%|██████████████████████████████████████████████████████████████████▌                                             | 174/293 [24:05<16:25,  8.28s/it]
+
hellaswag_de:  60%|██████████████████████████████████████████████████████████████████▉                                             | 175/293 [24:13<16:05,  8.19s/it]
+
hellaswag_de:  60%|███████████████████████████████████████████████████████████████████▎                                            | 176/293 [24:22<16:18,  8.37s/it]
+
hellaswag_de:  60%|███████████████████████████████████████████████████████████████████▋                                            | 177/293 [24:31<16:08,  8.35s/it]
+
hellaswag_de:  61%|████████████████████████████████████████████████████████████████████                                            | 178/293 [24:38<15:45,  8.22s/it]
+
hellaswag_de:  61%|████████████████████████████████████████████████████████████████████▍                                           | 179/293 [24:47<15:49,  8.33s/it]
+
hellaswag_de:  61%|████████████████████████████████████████████████████████████████████▊                                           | 180/293 [24:55<15:26,  8.20s/it]
+
hellaswag_de:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 181/293 [25:04<15:31,  8.32s/it]
+
hellaswag_de:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 182/293 [25:11<15:11,  8.21s/it]
+
hellaswag_de:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 183/293 [25:19<14:56,  8.15s/it]
+
hellaswag_de:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 184/293 [25:28<14:56,  8.23s/it]
+
hellaswag_de:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 185/293 [25:36<14:42,  8.17s/it]
+
hellaswag_de:  63%|███████████████████████████████████████████████████████████████████████                                         | 186/293 [25:44<14:29,  8.12s/it]
+
hellaswag_de:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 187/293 [25:52<14:16,  8.08s/it]
+
hellaswag_de:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 188/293 [26:01<14:41,  8.40s/it]
+
hellaswag_de:  65%|████████████████████████████████████████████████████████████████████████▏                                       | 189/293 [26:10<14:47,  8.54s/it]
+
hellaswag_de:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 190/293 [26:18<14:27,  8.42s/it]
+
hellaswag_de:  65%|█████████████████████████████████████████████████████████████████████████                                       | 191/293 [26:26<14:11,  8.35s/it]
+
hellaswag_de:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 192/293 [26:35<14:06,  8.38s/it]
+
hellaswag_de:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 193/293 [26:43<13:45,  8.26s/it]
+
hellaswag_de:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 194/293 [26:51<13:48,  8.37s/it]
+
hellaswag_de:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 195/293 [26:59<13:28,  8.25s/it]
+
hellaswag_de:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 196/293 [27:07<13:11,  8.16s/it]
+
hellaswag_de:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 197/293 [27:17<13:37,  8.52s/it]
+
hellaswag_de:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 198/293 [27:25<13:39,  8.63s/it]
+
hellaswag_de:  68%|████████████████████████████████████████████████████████████████████████████                                    | 199/293 [27:33<13:13,  8.44s/it]
+
hellaswag_de:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 200/293 [27:41<12:50,  8.28s/it]
+
hellaswag_de:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 201/293 [27:50<12:53,  8.41s/it]
+
hellaswag_de:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 202/293 [27:58<12:44,  8.40s/it]
+
hellaswag_de:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 203/293 [28:07<12:37,  8.42s/it]
+
hellaswag_de:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 204/293 [28:15<12:15,  8.26s/it]
+
hellaswag_de:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 205/293 [28:24<12:19,  8.40s/it]
+
hellaswag_de:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 206/293 [28:33<12:26,  8.58s/it]
+
hellaswag_de:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 207/293 [28:41<12:01,  8.39s/it]
+
hellaswag_de:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 208/293 [28:49<11:54,  8.41s/it]
+
hellaswag_de:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 209/293 [28:57<11:35,  8.28s/it]
+
hellaswag_de:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 210/293 [29:05<11:28,  8.30s/it]
+
hellaswag_de:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 211/293 [29:13<11:11,  8.19s/it]
+
hellaswag_de:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 212/293 [29:22<11:09,  8.26s/it]
+
hellaswag_de:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 213/293 [29:30<11:12,  8.40s/it]
+
hellaswag_de:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 214/293 [29:38<10:55,  8.30s/it]
+
hellaswag_de:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 215/293 [29:47<10:55,  8.40s/it]
+
hellaswag_de:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 216/293 [29:55<10:41,  8.33s/it]
+
hellaswag_de:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 217/293 [30:04<10:39,  8.41s/it]
+
hellaswag_de:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 218/293 [30:12<10:32,  8.44s/it]
+
hellaswag_de:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 219/293 [30:20<10:12,  8.28s/it]
+
hellaswag_de:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 220/293 [30:28<09:57,  8.18s/it]
+
hellaswag_de:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 221/293 [30:37<09:57,  8.30s/it]
+
hellaswag_de:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 222/293 [30:45<09:44,  8.24s/it]
+
hellaswag_de:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 223/293 [30:53<09:32,  8.17s/it]
+
hellaswag_de:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 224/293 [31:01<09:21,  8.13s/it]
+
hellaswag_de:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 225/293 [31:09<09:16,  8.18s/it]
+
hellaswag_de:  77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 226/293 [31:17<09:06,  8.15s/it]
+
hellaswag_de:  77%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 227/293 [31:25<08:56,  8.13s/it]
+
hellaswag_de:  78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 228/293 [31:33<08:47,  8.11s/it]
+
hellaswag_de:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 229/293 [31:43<08:59,  8.42s/it]
+
hellaswag_de:  78%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 230/293 [31:51<08:46,  8.35s/it]
+
hellaswag_de:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 231/293 [31:59<08:31,  8.25s/it]
+
hellaswag_de:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 232/293 [32:07<08:17,  8.15s/it]
+
hellaswag_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 233/293 [32:16<08:22,  8.37s/it]
+
hellaswag_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 234/293 [32:24<08:15,  8.40s/it]
+
hellaswag_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 235/293 [32:32<08:00,  8.28s/it]
+
hellaswag_de:  81%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 236/293 [32:41<07:58,  8.40s/it]
+
hellaswag_de:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 237/293 [32:49<07:45,  8.32s/it]
+
hellaswag_de:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 238/293 [32:58<07:43,  8.42s/it]
+
hellaswag_de:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 239/293 [33:06<07:28,  8.31s/it]
+
hellaswag_de:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 240/293 [33:14<07:28,  8.47s/it]
+
hellaswag_de:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 241/293 [33:23<07:14,  8.36s/it]
+
hellaswag_de:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 242/293 [33:31<07:00,  8.24s/it]
+
hellaswag_de:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 243/293 [33:39<06:48,  8.17s/it]
+
hellaswag_de:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 244/293 [33:47<06:39,  8.14s/it]
+
hellaswag_de:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 245/293 [33:55<06:29,  8.12s/it]
+
hellaswag_de:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 246/293 [34:03<06:23,  8.16s/it]
+
hellaswag_de:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 247/293 [34:11<06:19,  8.26s/it]
+
hellaswag_de:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 248/293 [34:19<06:06,  8.15s/it]
+
hellaswag_de:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 249/293 [34:28<06:05,  8.30s/it]
+
hellaswag_de:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 250/293 [34:37<06:01,  8.42s/it]
+
hellaswag_de:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 251/293 [34:45<05:56,  8.48s/it]
+
hellaswag_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 252/293 [34:54<05:49,  8.54s/it]
+
hellaswag_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 253/293 [35:03<05:47,  8.68s/it]
+
hellaswag_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 254/293 [35:12<05:39,  8.71s/it]
+
hellaswag_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍              | 255/293 [35:20<05:31,  8.71s/it]
+
hellaswag_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 256/293 [35:29<05:22,  8.71s/it]
+
hellaswag_de:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 257/293 [35:38<05:15,  8.75s/it]
+
hellaswag_de:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌             | 258/293 [35:47<05:06,  8.75s/it]
+
hellaswag_de:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 259/293 [35:56<04:57,  8.76s/it]
+
hellaswag_de:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍            | 260/293 [36:04<04:44,  8.61s/it]
+
hellaswag_de:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊            | 261/293 [36:13<04:36,  8.65s/it]
+
hellaswag_de:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 262/293 [36:21<04:27,  8.64s/it]
+
hellaswag_de:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 263/293 [36:29<04:11,  8.38s/it]
+
hellaswag_de:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 264/293 [36:37<03:59,  8.26s/it]
+
hellaswag_de:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 265/293 [36:45<03:51,  8.25s/it]
+
hellaswag_de:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 266/293 [36:54<03:44,  8.31s/it]
+
hellaswag_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████          | 267/293 [37:02<03:34,  8.25s/it]
+
hellaswag_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 268/293 [37:10<03:23,  8.13s/it]
+
hellaswag_de:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 269/293 [37:18<03:18,  8.26s/it]
+
hellaswag_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 270/293 [37:26<03:08,  8.21s/it]
+
hellaswag_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 271/293 [37:34<03:00,  8.20s/it]
+
hellaswag_de:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 272/293 [37:42<02:50,  8.13s/it]
+
hellaswag_de:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 273/293 [37:51<02:46,  8.33s/it]
+
hellaswag_de:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 274/293 [37:59<02:37,  8.31s/it]
+
hellaswag_de:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 275/293 [38:07<02:26,  8.15s/it]
+
hellaswag_de:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 276/293 [38:15<02:19,  8.18s/it]
+
hellaswag_de:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 277/293 [38:24<02:12,  8.25s/it]
+
hellaswag_de:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 278/293 [38:32<02:02,  8.19s/it]
+
hellaswag_de:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 279/293 [38:40<01:53,  8.14s/it]
+
hellaswag_de:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 280/293 [38:48<01:44,  8.06s/it]
+
hellaswag_de:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 281/293 [38:56<01:38,  8.20s/it]
+
hellaswag_de:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 282/293 [39:05<01:32,  8.38s/it]
+
hellaswag_de:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 283/293 [39:13<01:22,  8.29s/it]
+
hellaswag_de:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 284/293 [39:21<01:14,  8.25s/it]
+
hellaswag_de:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 285/293 [39:29<01:05,  8.16s/it]
+
hellaswag_de:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 286/293 [39:38<00:57,  8.28s/it]
+
hellaswag_de:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 287/293 [39:46<00:49,  8.23s/it]
+
hellaswag_de:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 288/293 [39:54<00:40,  8.13s/it]
+
hellaswag_de:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 289/293 [40:02<00:32,  8.09s/it]
+
hellaswag_de:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 290/293 [40:10<00:24,  8.17s/it]
+
hellaswag_de:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 291/293 [40:19<00:16,  8.22s/it]
+
hellaswag_de: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 292/293 [40:27<00:08,  8.29s/it]
+
hellaswag_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [40:34<00:00,  7.95s/it]
hellaswag_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [40:34<00:00,  8.31s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_de_acc 0.5149444918872759
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_de_acc_norm 0.6796541417591802
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:45:11,434 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:45:11,434 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:11,559 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:45:11,559 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:11,683 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:45:11,683 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:11,807 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:45:11,808 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 13:45:11,808 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 13:45:11,934 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 13:45:11,934 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_de_acc'}
+2024-05-29 13:45:11,997 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 13:45:11,997 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1149, 'value': 0.5149444918872759}
+2024-05-29 13:45:12,061 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:45:12,720 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:45:12,720 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:12,850 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:45:12,850 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:12,981 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:45:12,981 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:13,112 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:45:13,112 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 13:45:13,113 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 13:45:13,244 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 13:45:13,244 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_de_acc_norm'}
+2024-05-29 13:45:13,310 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 13:45:13,310 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1150, 'value': 0.6796541417591802}
+2024-05-29 13:45:13,376 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  29%|███████████████████████████████▋                                                                             | 36/124 [6:57:42<59:05:24, 2417.32s/it]['hellaswag_es']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 13:45:14,025 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 13:45:14,025 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:14,153 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 13:45:14,153 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:14,280 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 13:45:14,280 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 13:45:14,408 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 13:45:14,409 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 13:45:14,409 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_es'}
+2024-05-29 13:45:14,537 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_es task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.67s/ examples]
+
Generating validation split: 1974 examples [00:02, 996.40 examples/s]
+
Generating validation split: 3620 examples [00:02, 2036.57 examples/s]
+
Generating validation split: 5273 examples [00:02, 3307.01 examples/s]
+
Generating validation split: 7000 examples [00:03, 4838.54 examples/s]
+
Generating validation split: 9000 examples [00:03, 6754.70 examples/s]
Generating validation split: 9374 examples [00:03, 2898.93 examples/s]
+Loaded 9374 examples
+Running loglikelihood requests
+
+
hellaswag_es:   0%|                                                                                                                          | 0/293 [00:00<?, ?it/s]
+
hellaswag_es:   0%|▍                                                                                                                 | 1/293 [00:08<40:10,  8.26s/it]
+
hellaswag_es:   1%|▊                                                                                                                 | 2/293 [00:16<38:43,  7.98s/it]
+
hellaswag_es:   1%|█▏                                                                                                                | 3/293 [00:24<38:45,  8.02s/it]
+
hellaswag_es:   1%|█▌                                                                                                                | 4/293 [00:32<39:53,  8.28s/it]
+
hellaswag_es:   2%|█▉                                                                                                                | 5/293 [00:41<39:47,  8.29s/it]
+
hellaswag_es:   2%|██▎                                                                                                               | 6/293 [00:48<38:50,  8.12s/it]
+
hellaswag_es:   2%|██▋                                                                                                               | 7/293 [00:56<38:15,  8.03s/it]
+
hellaswag_es:   3%|███                                                                                                               | 8/293 [01:04<37:50,  7.97s/it]
+
hellaswag_es:   3%|███▌                                                                                                              | 9/293 [01:12<37:54,  8.01s/it]
+
hellaswag_es:   3%|███▊                                                                                                             | 10/293 [01:20<37:42,  7.99s/it]
+
hellaswag_es:   4%|████▏                                                                                                            | 11/293 [01:28<37:16,  7.93s/it]
+
hellaswag_es:   4%|████▋                                                                                                            | 12/293 [01:36<36:59,  7.90s/it]
+
hellaswag_es:   4%|█████                                                                                                            | 13/293 [01:44<36:57,  7.92s/it]
+
hellaswag_es:   5%|█████▍                                                                                                           | 14/293 [01:52<36:41,  7.89s/it]
+
hellaswag_es:   5%|█████▊                                                                                                           | 15/293 [02:00<36:55,  7.97s/it]
+
hellaswag_es:   5%|██████▏                                                                                                          | 16/293 [02:08<37:19,  8.08s/it]
+
hellaswag_es:   6%|██████▌                                                                                                          | 17/293 [02:16<37:11,  8.09s/it]
+
hellaswag_es:   6%|██████▉                                                                                                          | 18/293 [02:24<36:50,  8.04s/it]
+
hellaswag_es:   6%|███████▎                                                                                                         | 19/293 [02:33<37:47,  8.27s/it]
+
hellaswag_es:   7%|███████▋                                                                                                         | 20/293 [02:41<37:23,  8.22s/it]
+
hellaswag_es:   7%|████████                                                                                                         | 21/293 [02:49<36:42,  8.10s/it]
+
hellaswag_es:   8%|████████▍                                                                                                        | 22/293 [02:57<36:14,  8.02s/it]
+
hellaswag_es:   8%|████████▊                                                                                                        | 23/293 [03:05<35:54,  7.98s/it]
+
hellaswag_es:   8%|█████████▎                                                                                                       | 24/293 [03:12<35:45,  7.97s/it]
+
hellaswag_es:   9%|█████████▋                                                                                                       | 25/293 [03:20<35:23,  7.93s/it]
+
hellaswag_es:   9%|██████████                                                                                                       | 26/293 [03:28<35:06,  7.89s/it]
+
hellaswag_es:   9%|██████████▍                                                                                                      | 27/293 [03:36<35:06,  7.92s/it]
+
hellaswag_es:  10%|██████████▊                                                                                                      | 28/293 [03:45<36:02,  8.16s/it]
+
hellaswag_es:  10%|███████████▏                                                                                                     | 29/293 [03:53<35:27,  8.06s/it]
+
hellaswag_es:  10%|███████████▌                                                                                                     | 30/293 [04:01<35:11,  8.03s/it]
+
hellaswag_es:  11%|███████████▉                                                                                                     | 31/293 [04:08<34:51,  7.98s/it]
+
hellaswag_es:  11%|████████████▎                                                                                                    | 32/293 [04:17<34:58,  8.04s/it]
+
hellaswag_es:  11%|████████████▋                                                                                                    | 33/293 [04:24<34:32,  7.97s/it]
+
hellaswag_es:  12%|█████████████                                                                                                    | 34/293 [04:33<35:14,  8.17s/it]
+
hellaswag_es:  12%|█████████████▍                                                                                                   | 35/293 [04:42<35:37,  8.29s/it]
+
hellaswag_es:  12%|█████████████▉                                                                                                   | 36/293 [04:50<35:02,  8.18s/it]
+
hellaswag_es:  13%|██████████████▎                                                                                                  | 37/293 [04:58<34:38,  8.12s/it]
+
hellaswag_es:  13%|██████████████▋                                                                                                  | 38/293 [05:05<34:10,  8.04s/it]
+
hellaswag_es:  13%|███████████████                                                                                                  | 39/293 [05:13<33:59,  8.03s/it]
+
hellaswag_es:  14%|███████████████▍                                                                                                 | 40/293 [05:21<33:36,  7.97s/it]
+
hellaswag_es:  14%|███████████████▊                                                                                                 | 41/293 [05:29<33:38,  8.01s/it]
+
hellaswag_es:  14%|████████████████▏                                                                                                | 42/293 [05:37<33:22,  7.98s/it]
+
hellaswag_es:  15%|████████████████▌                                                                                                | 43/293 [05:45<33:10,  7.96s/it]
+
hellaswag_es:  15%|████████████████▉                                                                                                | 44/293 [05:54<33:52,  8.16s/it]
+
hellaswag_es:  15%|█████████████████▎                                                                                               | 45/293 [06:02<34:16,  8.29s/it]
+
hellaswag_es:  16%|█████████████████▋                                                                                               | 46/293 [06:11<34:01,  8.26s/it]
+
hellaswag_es:  16%|██████████████████▏                                                                                              | 47/293 [06:19<33:32,  8.18s/it]
+
hellaswag_es:  16%|██████████████████▌                                                                                              | 48/293 [06:27<33:11,  8.13s/it]
+
hellaswag_es:  17%|██████████████████▉                                                                                              | 49/293 [06:35<32:51,  8.08s/it]
+
hellaswag_es:  17%|███████████████████▎                                                                                             | 50/293 [06:43<32:54,  8.13s/it]
+
hellaswag_es:  17%|███████████████████▋                                                                                             | 51/293 [06:51<33:23,  8.28s/it]
+
hellaswag_es:  18%|████████████████████                                                                                             | 52/293 [06:59<32:58,  8.21s/it]
+
hellaswag_es:  18%|████████████████████▍                                                                                            | 53/293 [07:08<33:15,  8.31s/it]
+
hellaswag_es:  18%|████████████████████▊                                                                                            | 54/293 [07:17<33:36,  8.44s/it]
+
hellaswag_es:  19%|█████████████████████▏                                                                                           | 55/293 [07:25<32:45,  8.26s/it]
+
hellaswag_es:  19%|█████████████████████▌                                                                                           | 56/293 [07:32<32:11,  8.15s/it]
+
hellaswag_es:  19%|█████████████████████▉                                                                                           | 57/293 [07:40<31:48,  8.09s/it]
+
hellaswag_es:  20%|██████████████████████▎                                                                                          | 58/293 [07:49<32:13,  8.23s/it]
+
hellaswag_es:  20%|██████████████████████▊                                                                                          | 59/293 [07:57<31:47,  8.15s/it]
+
hellaswag_es:  20%|███████████████████████▏                                                                                         | 60/293 [08:05<31:31,  8.12s/it]
+
hellaswag_es:  21%|███████████████████████▌                                                                                         | 61/293 [08:13<31:13,  8.07s/it]
+
hellaswag_es:  21%|███████████████████████▉                                                                                         | 62/293 [08:22<31:42,  8.24s/it]
+
hellaswag_es:  22%|████████████████████████▎                                                                                        | 63/293 [08:30<31:19,  8.17s/it]
+
hellaswag_es:  22%|████████████████████████▋                                                                                        | 64/293 [08:37<30:50,  8.08s/it]
+
hellaswag_es:  22%|█████████████████████████                                                                                        | 65/293 [08:46<30:53,  8.13s/it]
+
hellaswag_es:  23%|█████████████████████████▍                                                                                       | 66/293 [08:54<30:41,  8.11s/it]
+
hellaswag_es:  23%|█████████████████████████▊                                                                                       | 67/293 [09:02<30:16,  8.04s/it]
+
hellaswag_es:  23%|██████████████████████████▏                                                                                      | 68/293 [09:09<29:49,  7.95s/it]
+
hellaswag_es:  24%|██████████████████████████▌                                                                                      | 69/293 [09:18<30:16,  8.11s/it]
+
hellaswag_es:  24%|██████████████████████████▉                                                                                      | 70/293 [09:26<29:50,  8.03s/it]
+
hellaswag_es:  24%|███████████████████████████▍                                                                                     | 71/293 [09:34<30:12,  8.16s/it]
+
hellaswag_es:  25%|███████████████████████████▊                                                                                     | 72/293 [09:42<29:44,  8.07s/it]
+
hellaswag_es:  25%|████████████████████████████▏                                                                                    | 73/293 [09:51<30:45,  8.39s/it]
+
hellaswag_es:  25%|████████████████████████████▌                                                                                    | 74/293 [09:59<30:06,  8.25s/it]
+
hellaswag_es:  26%|████████████████████████████▉                                                                                    | 75/293 [10:07<29:43,  8.18s/it]
+
hellaswag_es:  26%|█████████████████████████████▎                                                                                   | 76/293 [10:15<29:15,  8.09s/it]
+
hellaswag_es:  26%|█████████████████████████████▋                                                                                   | 77/293 [10:23<29:07,  8.09s/it]
+
hellaswag_es:  27%|██████████████████████████████                                                                                   | 78/293 [10:31<28:49,  8.04s/it]
+
hellaswag_es:  27%|██████████████████████████████▍                                                                                  | 79/293 [10:39<28:34,  8.01s/it]
+
hellaswag_es:  27%|██████████████████████████████▊                                                                                  | 80/293 [10:47<28:58,  8.16s/it]
+
hellaswag_es:  28%|███████████████████████████████▏                                                                                 | 81/293 [10:55<28:35,  8.09s/it]
+
hellaswag_es:  28%|███████████████████████████████▌                                                                                 | 82/293 [11:04<29:10,  8.29s/it]
+
hellaswag_es:  28%|████████████████████████████████                                                                                 | 83/293 [11:12<28:40,  8.20s/it]
+
hellaswag_es:  29%|████████████████████████████████▍                                                                                | 84/293 [11:20<28:14,  8.11s/it]
+
hellaswag_es:  29%|████████████████████████████████▊                                                                                | 85/293 [11:28<28:05,  8.10s/it]
+
hellaswag_es:  29%|█████████████████████████████████▏                                                                               | 86/293 [11:36<27:46,  8.05s/it]
+
hellaswag_es:  30%|█████████████████████████████████▌                                                                               | 87/293 [11:44<28:01,  8.16s/it]
+
hellaswag_es:  30%|█████████████████████████████████▉                                                                               | 88/293 [11:52<27:42,  8.11s/it]
+
hellaswag_es:  30%|██████████████████████████████████▎                                                                              | 89/293 [12:00<27:25,  8.07s/it]
+
hellaswag_es:  31%|██████████████████████████████████▋                                                                              | 90/293 [12:08<27:01,  7.99s/it]
+
hellaswag_es:  31%|███████████████████████████████████                                                                              | 91/293 [12:17<27:22,  8.13s/it]
+
hellaswag_es:  31%|███████████████████████████████████▍                                                                             | 92/293 [12:25<27:00,  8.06s/it]
+
hellaswag_es:  32%|███████████████████████████████████▊                                                                             | 93/293 [12:33<27:26,  8.23s/it]
+
hellaswag_es:  32%|████████████████████████████████████▎                                                                            | 94/293 [12:41<27:16,  8.22s/it]
+
hellaswag_es:  32%|████████████████████████████████████▋                                                                            | 95/293 [12:49<26:47,  8.12s/it]
+
hellaswag_es:  33%|█████████████████████████████████████                                                                            | 96/293 [12:57<26:31,  8.08s/it]
+
hellaswag_es:  33%|█████████████████████████████████████▍                                                                           | 97/293 [13:05<26:20,  8.07s/it]
+
hellaswag_es:  33%|█████████████████████████████████████▊                                                                           | 98/293 [13:13<26:00,  8.00s/it]
+
hellaswag_es:  34%|██████████████████████████████████████▏                                                                          | 99/293 [13:21<25:36,  7.92s/it]
+
hellaswag_es:  34%|██████████████████████████████████████▏                                                                         | 100/293 [13:29<25:24,  7.90s/it]
+
hellaswag_es:  34%|██████████████████████████████████████▌                                                                         | 101/293 [13:37<25:25,  7.94s/it]
+
hellaswag_es:  35%|██████████████████████████████████████▉                                                                         | 102/293 [13:45<25:45,  8.09s/it]
+
hellaswag_es:  35%|███████████████████████████████████████▎                                                                        | 103/293 [13:53<25:23,  8.02s/it]
+
hellaswag_es:  35%|███████████████████████████████████████▊                                                                        | 104/293 [14:02<25:41,  8.16s/it]
+
hellaswag_es:  36%|████████████████████████████████████████▏                                                                       | 105/293 [14:10<26:01,  8.31s/it]
+
hellaswag_es:  36%|████████████████████████████████████████▌                                                                       | 106/293 [14:18<25:28,  8.17s/it]
+
hellaswag_es:  37%|████████████████████████████████████████▉                                                                       | 107/293 [14:26<24:59,  8.06s/it]
+
hellaswag_es:  37%|█████████████████████████████████████████▎                                                                      | 108/293 [14:34<25:07,  8.15s/it]
+
hellaswag_es:  37%|█████████████████████████████████████████▋                                                                      | 109/293 [14:42<24:45,  8.07s/it]
+
hellaswag_es:  38%|██████████████████████████████████████████                                                                      | 110/293 [14:50<24:35,  8.07s/it]
+
hellaswag_es:  38%|██████████████████████████████████████████▍                                                                     | 111/293 [14:59<24:56,  8.22s/it]
+
hellaswag_es:  38%|██████████████████████████████████████████▊                                                                     | 112/293 [15:07<24:31,  8.13s/it]
+
hellaswag_es:  39%|███████████████████████████████████████████▏                                                                    | 113/293 [15:15<24:17,  8.10s/it]
+
hellaswag_es:  39%|███████████████████████████████████████████▌                                                                    | 114/293 [15:23<24:04,  8.07s/it]
+
hellaswag_es:  39%|███████████████████████████████████████████▉                                                                    | 115/293 [15:31<23:49,  8.03s/it]
+
hellaswag_es:  40%|████████████████████████████████████████████▎                                                                   | 116/293 [15:39<23:40,  8.03s/it]
+
hellaswag_es:  40%|████████████████████████████████████████████▋                                                                   | 117/293 [15:47<24:02,  8.19s/it]
+
hellaswag_es:  40%|█████████████████████████████████████████████                                                                   | 118/293 [15:55<23:35,  8.09s/it]
+
hellaswag_es:  41%|█████████████████████████████████████████████▍                                                                  | 119/293 [16:04<24:01,  8.29s/it]
+
hellaswag_es:  41%|█████████████████████████████████████████████▊                                                                  | 120/293 [16:12<24:04,  8.35s/it]
+
hellaswag_es:  41%|██████████████████████████████████████████████▎                                                                 | 121/293 [16:20<23:33,  8.22s/it]
+
hellaswag_es:  42%|██████████████████████████████████████████████▋                                                                 | 122/293 [16:28<23:16,  8.16s/it]
+
hellaswag_es:  42%|███████████████████████████████████████████████                                                                 | 123/293 [16:37<23:19,  8.23s/it]
+
hellaswag_es:  42%|███████████████████████████████████████████████▍                                                                | 124/293 [16:46<23:52,  8.48s/it]
+
hellaswag_es:  43%|███████████████████████████████████████████████▊                                                                | 125/293 [16:54<23:21,  8.34s/it]
+
hellaswag_es:  43%|████████████████████████████████████████████████▏                                                               | 126/293 [17:02<22:56,  8.24s/it]
+
hellaswag_es:  43%|████████████████████████████████████████████████▌                                                               | 127/293 [17:10<22:34,  8.16s/it]
+
hellaswag_es:  44%|████████████████████████████████████████████████▉                                                               | 128/293 [17:19<23:03,  8.38s/it]
+
hellaswag_es:  44%|█████████████████████████████████████████████████▎                                                              | 129/293 [17:27<23:04,  8.44s/it]
+
hellaswag_es:  44%|█████████████████████████████████████████████████▋                                                              | 130/293 [17:36<23:01,  8.47s/it]
+
hellaswag_es:  45%|██████████████████████████████████████████████████                                                              | 131/293 [17:44<22:26,  8.31s/it]
+
hellaswag_es:  45%|██████████████████████████████████████████████████▍                                                             | 132/293 [17:52<22:39,  8.44s/it]
+
hellaswag_es:  45%|██████████████████████████████████████████████████▊                                                             | 133/293 [18:01<22:37,  8.48s/it]
+
hellaswag_es:  46%|███████████████████████████████████████████████████▏                                                            | 134/293 [18:09<21:58,  8.30s/it]
+
hellaswag_es:  46%|███████████████████████████████████████████████████▌                                                            | 135/293 [18:17<21:29,  8.16s/it]
+
hellaswag_es:  46%|███████████████████████████████████████████████████▉                                                            | 136/293 [18:25<21:06,  8.06s/it]
+
hellaswag_es:  47%|████████████████████████████████████████████████████▎                                                           | 137/293 [18:33<20:55,  8.05s/it]
+
hellaswag_es:  47%|████████████████████████████████████████████████████▊                                                           | 138/293 [18:40<20:38,  7.99s/it]
+
hellaswag_es:  47%|█████████████████████████████████████████████████████▏                                                          | 139/293 [18:49<21:11,  8.26s/it]
+
hellaswag_es:  48%|█████████████████████████████████████████████████████▌                                                          | 140/293 [18:57<20:49,  8.17s/it]
+
hellaswag_es:  48%|█████████████████████████████████████████████████████▉                                                          | 141/293 [19:06<20:54,  8.25s/it]
+
hellaswag_es:  48%|██████████████████████████████████████████████████████▎                                                         | 142/293 [19:14<20:57,  8.33s/it]
+
hellaswag_es:  49%|██████████████████████████████████████████████████████▋                                                         | 143/293 [19:22<20:26,  8.18s/it]
+
hellaswag_es:  49%|███████████████████████████████████████████████████████                                                         | 144/293 [19:31<20:49,  8.39s/it]
+
hellaswag_es:  49%|███████████████████████████████████████████████████████▍                                                        | 145/293 [19:39<20:20,  8.24s/it]
+
hellaswag_es:  50%|███████████████████████████████████████████████████████▊                                                        | 146/293 [19:47<19:59,  8.16s/it]
+
hellaswag_es:  50%|████████████████████████████████████████████████████████▏                                                       | 147/293 [19:55<19:43,  8.11s/it]
+
hellaswag_es:  51%|████████████████████████████████████████████████████████▌                                                       | 148/293 [20:03<19:57,  8.26s/it]
+
hellaswag_es:  51%|████████████████████████████████████████████████████████▉                                                       | 149/293 [20:11<19:31,  8.13s/it]
+
hellaswag_es:  51%|█████████████████████████████████████████████████████████▎                                                      | 150/293 [20:20<19:51,  8.33s/it]
+
hellaswag_es:  52%|█████████████████████████████████████████████████████████▋                                                      | 151/293 [20:29<19:53,  8.41s/it]
+
hellaswag_es:  52%|██████████████████████████████████████████████████████████                                                      | 152/293 [20:38<20:11,  8.59s/it]
+
hellaswag_es:  52%|██████████████████████████████████████████████████████████▍                                                     | 153/293 [20:46<19:51,  8.51s/it]
+
hellaswag_es:  53%|██████████████████████████████████████████████████████████▊                                                     | 154/293 [20:54<19:20,  8.35s/it]
+
hellaswag_es:  53%|███████████████████████████████████████████████████████████▏                                                    | 155/293 [21:02<18:55,  8.23s/it]
+
hellaswag_es:  53%|███████████████████████████████████████████████████████████▋                                                    | 156/293 [21:10<18:33,  8.13s/it]
+
hellaswag_es:  54%|████████████████████████████████████████████████████████████                                                    | 157/293 [21:18<18:17,  8.07s/it]
+
hellaswag_es:  54%|████████████████████████████████████████████████████████████▍                                                   | 158/293 [21:26<18:19,  8.14s/it]
+
hellaswag_es:  54%|████████████████████████████████████████████████████████████▊                                                   | 159/293 [21:35<18:35,  8.33s/it]
+
hellaswag_es:  55%|█████████████████████████████████████████████████████████████▏                                                  | 160/293 [21:43<18:14,  8.23s/it]
+
hellaswag_es:  55%|█████████████████████████████████████████████████████████████▌                                                  | 161/293 [21:52<18:31,  8.42s/it]
+
hellaswag_es:  55%|█████████████████████████████████████████████████████████████▉                                                  | 162/293 [22:00<18:30,  8.48s/it]
+
hellaswag_es:  56%|██████████████████████████████████████████████████████████████▎                                                 | 163/293 [22:08<18:00,  8.31s/it]
+
hellaswag_es:  56%|██████████████████████████████████████████████████████████████▋                                                 | 164/293 [22:17<17:57,  8.35s/it]
+
hellaswag_es:  56%|███████████████████████████████████████████████████████████████                                                 | 165/293 [22:25<17:54,  8.40s/it]
+
hellaswag_es:  57%|███████████████████████████████████████████████████████████████▍                                                | 166/293 [22:33<17:25,  8.23s/it]
+
hellaswag_es:  57%|███████████████████████████████████████████████████████████████▊                                                | 167/293 [22:41<17:06,  8.15s/it]
+
hellaswag_es:  57%|████████████████████████████████████████████████████████████████▏                                               | 168/293 [22:49<16:48,  8.07s/it]
+
hellaswag_es:  58%|████████████████████████████████████████████████████████████████▌                                               | 169/293 [22:57<16:37,  8.05s/it]
+
hellaswag_es:  58%|████████████████████████████████████████████████████████████████▉                                               | 170/293 [23:05<16:43,  8.16s/it]
+
hellaswag_es:  58%|█████████████████████████████████████████████████████████████████▎                                              | 171/293 [23:13<16:27,  8.10s/it]
+
hellaswag_es:  59%|█████████████████████████████████████████████████████████████████▋                                              | 172/293 [23:22<16:27,  8.16s/it]
+
hellaswag_es:  59%|██████████████████████████████████████████████████████████████████▏                                             | 173/293 [23:30<16:20,  8.17s/it]
+
hellaswag_es:  59%|██████████████████████████████████████████████████████████████████▌                                             | 174/293 [23:38<16:08,  8.14s/it]
+
hellaswag_es:  60%|██████████████████████████████████████████████████████████████████▉                                             | 175/293 [23:46<15:56,  8.11s/it]
+
hellaswag_es:  60%|███████████████████████████████████████████████████████████████████▎                                            | 176/293 [23:54<15:39,  8.03s/it]
+
hellaswag_es:  60%|███████████████████████████████████████████████████████████████████▋                                            | 177/293 [24:02<15:26,  7.99s/it]
+
hellaswag_es:  61%|████████████████████████████████████████████████████████████████████                                            | 178/293 [24:09<15:10,  7.92s/it]
+
hellaswag_es:  61%|████████████████████████████████████████████████████████████████████▍                                           | 179/293 [24:18<15:19,  8.06s/it]
+
hellaswag_es:  61%|████████████████████████████████████████████████████████████████████▊                                           | 180/293 [24:27<15:46,  8.37s/it]
+
hellaswag_es:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 181/293 [24:35<15:28,  8.29s/it]
+
hellaswag_es:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 182/293 [24:43<15:06,  8.16s/it]
+
hellaswag_es:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 183/293 [24:51<14:48,  8.08s/it]
+
hellaswag_es:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 184/293 [24:59<14:37,  8.05s/it]
+
hellaswag_es:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 185/293 [25:07<14:33,  8.08s/it]
+
hellaswag_es:  63%|███████████████████████████████████████████████████████████████████████                                         | 186/293 [25:15<14:17,  8.02s/it]
+
hellaswag_es:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 187/293 [25:23<14:07,  7.99s/it]
+
hellaswag_es:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 188/293 [25:31<14:05,  8.05s/it]
+
hellaswag_es:  65%|████████████████████████████████████████████████████████████████████████▏                                       | 189/293 [25:39<13:58,  8.06s/it]
+
hellaswag_es:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 190/293 [25:47<13:43,  8.00s/it]
+
hellaswag_es:  65%|█████████████████████████████████████████████████████████████████████████                                       | 191/293 [25:55<13:34,  7.98s/it]
+
hellaswag_es:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 192/293 [26:03<13:37,  8.09s/it]
+
hellaswag_es:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 193/293 [26:11<13:31,  8.11s/it]
+
hellaswag_es:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 194/293 [26:20<13:36,  8.25s/it]
+
hellaswag_es:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 195/293 [26:28<13:15,  8.12s/it]
+
hellaswag_es:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 196/293 [26:35<12:58,  8.03s/it]
+
hellaswag_es:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 197/293 [26:43<12:49,  8.02s/it]
+
hellaswag_es:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 198/293 [26:51<12:38,  7.99s/it]
+
hellaswag_es:  68%|████████████████████████████████████████████████████████████████████████████                                    | 199/293 [26:59<12:25,  7.94s/it]
+
hellaswag_es:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 200/293 [27:07<12:14,  7.90s/it]
+
hellaswag_es:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 201/293 [27:15<12:09,  7.93s/it]
+
hellaswag_es:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 202/293 [27:23<12:01,  7.93s/it]
+
hellaswag_es:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 203/293 [27:31<11:51,  7.91s/it]
+
hellaswag_es:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 204/293 [27:39<11:55,  8.04s/it]
+
hellaswag_es:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 205/293 [27:48<12:02,  8.21s/it]
+
hellaswag_es:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 206/293 [27:56<11:47,  8.13s/it]
+
hellaswag_es:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 207/293 [28:04<11:43,  8.18s/it]
+
hellaswag_es:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 208/293 [28:12<11:29,  8.11s/it]
+
hellaswag_es:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 209/293 [28:20<11:24,  8.14s/it]
+
hellaswag_es:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 210/293 [28:28<11:09,  8.06s/it]
+
hellaswag_es:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 211/293 [28:36<10:55,  7.99s/it]
+
hellaswag_es:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 212/293 [28:44<11:02,  8.18s/it]
+
hellaswag_es:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 213/293 [28:53<10:56,  8.21s/it]
+
hellaswag_es:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 214/293 [29:01<10:52,  8.26s/it]
+
hellaswag_es:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 215/293 [29:09<10:45,  8.28s/it]
+
hellaswag_es:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 216/293 [29:17<10:31,  8.20s/it]
+
hellaswag_es:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 217/293 [29:25<10:15,  8.10s/it]
+
hellaswag_es:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 218/293 [29:33<10:05,  8.08s/it]
+
hellaswag_es:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 219/293 [29:41<09:57,  8.08s/it]
+
hellaswag_es:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 220/293 [29:49<09:44,  8.01s/it]
+
hellaswag_es:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 221/293 [29:57<09:36,  8.00s/it]
+
hellaswag_es:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 222/293 [30:05<09:30,  8.03s/it]
+
hellaswag_es:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 223/293 [30:13<09:22,  8.04s/it]
+
hellaswag_es:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 224/293 [30:21<09:11,  8.00s/it]
+
hellaswag_es:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 225/293 [30:29<09:04,  8.01s/it]
+
hellaswag_es:  77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 226/293 [30:38<09:05,  8.15s/it]
+
hellaswag_es:  77%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 227/293 [30:46<09:03,  8.23s/it]
+
hellaswag_es:  78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 228/293 [30:55<08:59,  8.30s/it]
+
hellaswag_es:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 229/293 [31:03<08:44,  8.19s/it]
+
hellaswag_es:  78%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 230/293 [31:11<08:34,  8.16s/it]
+
hellaswag_es:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 231/293 [31:19<08:32,  8.27s/it]
+
hellaswag_es:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 232/293 [31:27<08:18,  8.17s/it]
+
hellaswag_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 233/293 [31:36<08:16,  8.28s/it]
+
hellaswag_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 234/293 [31:44<08:12,  8.34s/it]
+
hellaswag_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 235/293 [31:52<07:56,  8.21s/it]
+
hellaswag_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 236/293 [32:00<07:45,  8.17s/it]
+
hellaswag_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 237/293 [32:08<07:38,  8.18s/it]
+
hellaswag_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 238/293 [32:16<07:29,  8.17s/it]
+
hellaswag_es:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 239/293 [32:24<07:16,  8.09s/it]
+
hellaswag_es:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 240/293 [32:33<07:16,  8.23s/it]
+
hellaswag_es:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 241/293 [32:41<07:01,  8.10s/it]
+
hellaswag_es:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 242/293 [32:50<07:06,  8.36s/it]
+
hellaswag_es:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 243/293 [32:58<06:55,  8.31s/it]
+
hellaswag_es:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 244/293 [33:06<06:40,  8.18s/it]
+
hellaswag_es:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 245/293 [33:14<06:29,  8.11s/it]
+
hellaswag_es:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 246/293 [33:22<06:23,  8.15s/it]
+
hellaswag_es:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 247/293 [33:30<06:19,  8.24s/it]
+
hellaswag_es:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 248/293 [33:38<06:05,  8.12s/it]
+
hellaswag_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 249/293 [33:46<05:54,  8.06s/it]
+
hellaswag_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 250/293 [33:55<05:54,  8.24s/it]
+
hellaswag_es:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 251/293 [34:03<05:43,  8.18s/it]
+
hellaswag_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 252/293 [34:11<05:32,  8.10s/it]
+
hellaswag_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 253/293 [34:19<05:24,  8.10s/it]
+
hellaswag_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 254/293 [34:27<05:21,  8.25s/it]
+
hellaswag_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍              | 255/293 [34:35<05:10,  8.18s/it]
+
hellaswag_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 256/293 [34:43<05:00,  8.12s/it]
+
hellaswag_es:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 257/293 [34:52<04:57,  8.27s/it]
+
hellaswag_es:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌             | 258/293 [35:00<04:45,  8.15s/it]
+
hellaswag_es:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 259/293 [35:08<04:36,  8.13s/it]
+
hellaswag_es:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍            | 260/293 [35:16<04:26,  8.09s/it]
+
hellaswag_es:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊            | 261/293 [35:24<04:17,  8.04s/it]
+
hellaswag_es:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 262/293 [35:32<04:08,  8.02s/it]
+
hellaswag_es:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 263/293 [35:40<04:01,  8.07s/it]
+
hellaswag_es:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 264/293 [35:48<03:53,  8.06s/it]
+
hellaswag_es:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 265/293 [35:56<03:44,  8.00s/it]
+
hellaswag_es:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 266/293 [36:04<03:35,  7.98s/it]
+
hellaswag_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████          | 267/293 [36:12<03:29,  8.05s/it]
+
hellaswag_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 268/293 [36:20<03:19,  7.99s/it]
+
hellaswag_es:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 269/293 [36:28<03:14,  8.12s/it]
+
hellaswag_es:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 270/293 [36:37<03:09,  8.25s/it]
+
hellaswag_es:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 271/293 [36:45<03:01,  8.27s/it]
+
hellaswag_es:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 272/293 [36:53<02:52,  8.23s/it]
+
hellaswag_es:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 273/293 [37:02<02:44,  8.20s/it]
+
hellaswag_es:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 274/293 [37:10<02:38,  8.36s/it]
+
hellaswag_es:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 275/293 [37:19<02:30,  8.37s/it]
+
hellaswag_es:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 276/293 [37:27<02:21,  8.30s/it]
+
hellaswag_es:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 277/293 [37:35<02:13,  8.34s/it]
+
hellaswag_es:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 278/293 [37:44<02:06,  8.46s/it]
+
hellaswag_es:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 279/293 [37:53<01:59,  8.56s/it]
+
hellaswag_es:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 280/293 [38:01<01:49,  8.42s/it]
+
hellaswag_es:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 281/293 [38:09<01:39,  8.26s/it]
+
hellaswag_es:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 282/293 [38:17<01:29,  8.13s/it]
+
hellaswag_es:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 283/293 [38:24<01:20,  8.03s/it]
+
hellaswag_es:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 284/293 [38:33<01:14,  8.30s/it]
+
hellaswag_es:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 285/293 [38:41<01:05,  8.15s/it]
+
hellaswag_es:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 286/293 [38:49<00:56,  8.05s/it]
+
hellaswag_es:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 287/293 [38:57<00:47,  7.95s/it]
+
hellaswag_es:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 288/293 [39:06<00:41,  8.37s/it]
+
hellaswag_es:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 289/293 [39:14<00:32,  8.21s/it]
+
hellaswag_es:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 290/293 [39:22<00:24,  8.26s/it]
+
hellaswag_es:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 291/293 [39:30<00:16,  8.14s/it]
+
hellaswag_es: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 292/293 [39:38<00:08,  8.06s/it]
+
hellaswag_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [39:46<00:00,  7.97s/it]
hellaswag_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 293/293 [39:46<00:00,  8.14s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_es_acc 0.5501386814593556
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_es_acc_norm 0.736398549178579
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 14:25:06,070 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 14:25:06,070 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:06,188 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 14:25:06,188 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:06,306 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 14:25:06,306 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:06,424 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 14:25:06,425 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 14:25:06,425 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 14:25:06,544 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 14:25:06,544 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_es_acc'}
+2024-05-29 14:25:06,604 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 14:25:06,604 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1151, 'value': 0.5501386814593556}
+2024-05-29 14:25:06,665 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 14:25:07,306 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 14:25:07,306 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:07,433 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 14:25:07,433 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:07,560 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 14:25:07,560 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:07,687 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 14:25:07,688 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 14:25:07,688 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 14:25:07,816 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 14:25:07,816 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_es_acc_norm'}
+2024-05-29 14:25:07,880 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 14:25:07,880 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1152, 'value': 0.736398549178579}
+2024-05-29 14:25:07,944 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  30%|████████████████████████████████▌                                                                            | 37/124 [7:37:37<58:15:12, 2410.49s/it]['hellaswag_eu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 14:25:08,604 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 14:25:08,604 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:08,734 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 14:25:08,734 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:08,864 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 14:25:08,864 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 14:25:08,994 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 14:25:08,995 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 14:25:08,995 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_eu'}
+2024-05-29 14:25:09,126 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_eu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.93s/ examples]
+
Generating validation split: 2000 examples [00:03, 921.73 examples/s]
+
Generating validation split: 3856 examples [00:03, 2011.31 examples/s]
+
Generating validation split: 5591 examples [00:03, 3255.03 examples/s]
+
Generating validation split: 7338 examples [00:03, 4730.58 examples/s]
+
Generating validation split: 9093 examples [00:03, 6385.64 examples/s]
Generating validation split: 9255 examples [00:03, 2670.39 examples/s]
+Loaded 9255 examples
+Running loglikelihood requests
+
+
hellaswag_eu:   0%|                                                                                                                          | 0/290 [00:00<?, ?it/s]
+
hellaswag_eu:   0%|▍                                                                                                                 | 1/290 [00:09<44:32,  9.25s/it]
+
hellaswag_eu:   1%|▊                                                                                                                 | 2/290 [00:18<44:36,  9.29s/it]
+
hellaswag_eu:   1%|█▏                                                                                                                | 3/290 [00:27<43:45,  9.15s/it]
+
hellaswag_eu:   1%|█▌                                                                                                                | 4/290 [00:35<42:00,  8.81s/it]
+
hellaswag_eu:   2%|█▉                                                                                                                | 5/290 [00:44<41:43,  8.79s/it]
+
hellaswag_eu:   2%|██▎                                                                                                               | 6/290 [00:53<41:24,  8.75s/it]
+
hellaswag_eu:   2%|██▊                                                                                                               | 7/290 [01:01<41:01,  8.70s/it]
+
hellaswag_eu:   3%|███▏                                                                                                              | 8/290 [01:10<40:15,  8.57s/it]
+
hellaswag_eu:   3%|███▌                                                                                                              | 9/290 [01:18<39:41,  8.47s/it]
+
hellaswag_eu:   3%|███▉                                                                                                             | 10/290 [01:26<39:42,  8.51s/it]
+
hellaswag_eu:   4%|████▎                                                                                                            | 11/290 [01:36<40:40,  8.75s/it]
+
hellaswag_eu:   4%|████▋                                                                                                            | 12/290 [01:45<41:15,  8.91s/it]
+
hellaswag_eu:   4%|█████                                                                                                            | 13/290 [01:54<40:29,  8.77s/it]
+
hellaswag_eu:   5%|█████▍                                                                                                           | 14/290 [02:02<40:01,  8.70s/it]
+
hellaswag_eu:   5%|█████▊                                                                                                           | 15/290 [02:11<39:39,  8.65s/it]
+
hellaswag_eu:   6%|██████▏                                                                                                          | 16/290 [02:19<39:24,  8.63s/it]
+
hellaswag_eu:   6%|██████▌                                                                                                          | 17/290 [02:28<39:21,  8.65s/it]
+
hellaswag_eu:   6%|███████                                                                                                          | 18/290 [02:37<39:22,  8.69s/it]
+
hellaswag_eu:   7%|███████▍                                                                                                         | 19/290 [02:45<39:18,  8.70s/it]
+
hellaswag_eu:   7%|███████▊                                                                                                         | 20/290 [02:54<39:02,  8.67s/it]
+
hellaswag_eu:   7%|████████▏                                                                                                        | 21/290 [03:03<38:59,  8.70s/it]
+
hellaswag_eu:   8%|████████▌                                                                                                        | 22/290 [03:12<39:01,  8.74s/it]
+
hellaswag_eu:   8%|████████▉                                                                                                        | 23/290 [03:20<38:42,  8.70s/it]
+
hellaswag_eu:   8%|█████████▎                                                                                                       | 24/290 [03:29<38:23,  8.66s/it]
+
hellaswag_eu:   9%|█████████▋                                                                                                       | 25/290 [03:38<39:12,  8.88s/it]
+
hellaswag_eu:   9%|██████████▏                                                                                                      | 26/290 [03:47<38:52,  8.83s/it]
+
hellaswag_eu:   9%|██████████▌                                                                                                      | 27/290 [03:56<39:10,  8.94s/it]
+
hellaswag_eu:  10%|██████████▉                                                                                                      | 28/290 [04:05<38:48,  8.89s/it]
+
hellaswag_eu:  10%|███████████▎                                                                                                     | 29/290 [04:14<39:04,  8.98s/it]
+
hellaswag_eu:  10%|███████████▋                                                                                                     | 30/290 [04:23<38:29,  8.88s/it]
+
hellaswag_eu:  11%|████████████                                                                                                     | 31/290 [04:32<38:38,  8.95s/it]
+
hellaswag_eu:  11%|████████████▍                                                                                                    | 32/290 [04:41<38:13,  8.89s/it]
+
hellaswag_eu:  11%|████████████▊                                                                                                    | 33/290 [04:50<38:26,  8.97s/it]
+
hellaswag_eu:  12%|█████████████▏                                                                                                   | 34/290 [04:59<38:16,  8.97s/it]
+
hellaswag_eu:  12%|█████████████▋                                                                                                   | 35/290 [05:07<37:47,  8.89s/it]
+
hellaswag_eu:  12%|██████████████                                                                                                   | 36/290 [05:16<37:17,  8.81s/it]
+
hellaswag_eu:  13%|██████████████▍                                                                                                  | 37/290 [05:24<36:21,  8.62s/it]
+
hellaswag_eu:  13%|██████████████▊                                                                                                  | 38/290 [05:33<36:12,  8.62s/it]
+
hellaswag_eu:  13%|███████████████▏                                                                                                 | 39/290 [05:42<36:49,  8.80s/it]
+
hellaswag_eu:  14%|███████████████▌                                                                                                 | 40/290 [05:51<36:31,  8.77s/it]
+
hellaswag_eu:  14%|███████████████▉                                                                                                 | 41/290 [06:00<36:34,  8.81s/it]
+
hellaswag_eu:  14%|████████████████▎                                                                                                | 42/290 [06:09<37:05,  8.97s/it]
+
hellaswag_eu:  15%|████████████████▊                                                                                                | 43/290 [06:18<36:38,  8.90s/it]
+
hellaswag_eu:  15%|█████████████████▏                                                                                               | 44/290 [06:26<36:15,  8.84s/it]
+
hellaswag_eu:  16%|█████████████████▌                                                                                               | 45/290 [06:35<35:56,  8.80s/it]
+
hellaswag_eu:  16%|█████████████████▉                                                                                               | 46/290 [06:44<36:19,  8.93s/it]
+
hellaswag_eu:  16%|██████████████████▎                                                                                              | 47/290 [06:53<35:53,  8.86s/it]
+
hellaswag_eu:  17%|██████████████████▋                                                                                              | 48/290 [07:02<35:36,  8.83s/it]
+
hellaswag_eu:  17%|███████████████████                                                                                              | 49/290 [07:11<35:23,  8.81s/it]
+
hellaswag_eu:  17%|███████████████████▍                                                                                             | 50/290 [07:19<34:49,  8.71s/it]
+
hellaswag_eu:  18%|███████████████████▊                                                                                             | 51/290 [07:28<34:27,  8.65s/it]
+
hellaswag_eu:  18%|████████████████████▎                                                                                            | 52/290 [07:36<34:26,  8.68s/it]
+
hellaswag_eu:  18%|████████████████████▋                                                                                            | 53/290 [07:45<34:31,  8.74s/it]
+
hellaswag_eu:  19%|█████████████████████                                                                                            | 54/290 [07:54<34:33,  8.78s/it]
+
hellaswag_eu:  19%|█████████████████████▍                                                                                           | 55/290 [08:03<34:22,  8.77s/it]
+
hellaswag_eu:  19%|█████████████████████▊                                                                                           | 56/290 [08:11<33:50,  8.68s/it]
+
hellaswag_eu:  20%|██████████████████████▏                                                                                          | 57/290 [08:21<34:32,  8.89s/it]
+
hellaswag_eu:  20%|██████████████████████▌                                                                                          | 58/290 [08:30<34:31,  8.93s/it]
+
hellaswag_eu:  20%|██████████████████████▉                                                                                          | 59/290 [08:38<34:03,  8.85s/it]
+
hellaswag_eu:  21%|███████████████████████▍                                                                                         | 60/290 [08:47<33:44,  8.80s/it]
+
hellaswag_eu:  21%|███████████████████████▊                                                                                         | 61/290 [08:56<33:38,  8.82s/it]
+
hellaswag_eu:  21%|████████████████████████▏                                                                                        | 62/290 [09:05<33:37,  8.85s/it]
+
hellaswag_eu:  22%|████████████████████████▌                                                                                        | 63/290 [09:14<33:38,  8.89s/it]
+
hellaswag_eu:  22%|████████████████████████▉                                                                                        | 64/290 [09:22<33:11,  8.81s/it]
+
hellaswag_eu:  22%|█████████████████████████▎                                                                                       | 65/290 [09:31<32:51,  8.76s/it]
+
hellaswag_eu:  23%|█████████████████████████▋                                                                                       | 66/290 [09:40<32:44,  8.77s/it]
+
hellaswag_eu:  23%|██████████████████████████                                                                                       | 67/290 [09:48<32:16,  8.68s/it]
+
hellaswag_eu:  23%|██████████████████████████▍                                                                                      | 68/290 [09:57<32:13,  8.71s/it]
+
hellaswag_eu:  24%|██████████████████████████▉                                                                                      | 69/290 [10:06<32:04,  8.71s/it]
+
hellaswag_eu:  24%|███████████████████████████▎                                                                                     | 70/290 [10:14<31:43,  8.65s/it]
+
hellaswag_eu:  24%|███████████████████████████▋                                                                                     | 71/290 [10:23<31:31,  8.64s/it]
+
hellaswag_eu:  25%|████████████████████████████                                                                                     | 72/290 [10:32<32:01,  8.81s/it]
+
hellaswag_eu:  25%|████████████████████████████▍                                                                                    | 73/290 [10:41<31:50,  8.80s/it]
+
hellaswag_eu:  26%|████████████████████████████▊                                                                                    | 74/290 [10:50<31:28,  8.74s/it]
+
hellaswag_eu:  26%|█████████████████████████████▏                                                                                   | 75/290 [10:59<31:50,  8.89s/it]
+
hellaswag_eu:  26%|█████████████████████████████▌                                                                                   | 76/290 [11:07<31:12,  8.75s/it]
+
hellaswag_eu:  27%|██████████████████████████████                                                                                   | 77/290 [11:16<31:05,  8.76s/it]
+
hellaswag_eu:  27%|██████████████████████████████▍                                                                                  | 78/290 [11:25<30:50,  8.73s/it]
+
hellaswag_eu:  27%|██████████████████████████████▊                                                                                  | 79/290 [11:33<30:41,  8.73s/it]
+
hellaswag_eu:  28%|███████████████████████████████▏                                                                                 | 80/290 [11:42<30:10,  8.62s/it]
+
hellaswag_eu:  28%|███████████████████████████████▌                                                                                 | 81/290 [11:51<30:36,  8.79s/it]
+
hellaswag_eu:  28%|███████████████████████████████▉                                                                                 | 82/290 [12:00<30:41,  8.85s/it]
+
hellaswag_eu:  29%|████████████████████████████████▎                                                                                | 83/290 [12:09<30:19,  8.79s/it]
+
hellaswag_eu:  29%|████████████████████████████████▋                                                                                | 84/290 [12:17<30:16,  8.82s/it]
+
hellaswag_eu:  29%|█████████████████████████████████                                                                                | 85/290 [12:26<30:01,  8.79s/it]
+
hellaswag_eu:  30%|█████████████████████████████████▌                                                                               | 86/290 [12:35<29:53,  8.79s/it]
+
hellaswag_eu:  30%|█████████████████████████████████▉                                                                               | 87/290 [12:43<29:16,  8.65s/it]
+
hellaswag_eu:  30%|██████████████████████████████████▎                                                                              | 88/290 [12:52<29:01,  8.62s/it]
+
hellaswag_eu:  31%|██████████████████████████████████▋                                                                              | 89/290 [13:01<28:56,  8.64s/it]
+
hellaswag_eu:  31%|███████████████████████████████████                                                                              | 90/290 [13:09<29:06,  8.73s/it]
+
hellaswag_eu:  31%|███████████████████████████████████▍                                                                             | 91/290 [13:19<29:48,  8.99s/it]
+
hellaswag_eu:  32%|███████████████████████████████████▊                                                                             | 92/290 [13:28<29:35,  8.97s/it]
+
hellaswag_eu:  32%|████████████████████████████████████▏                                                                            | 93/290 [13:37<29:35,  9.01s/it]
+
hellaswag_eu:  32%|████████████████████████████████████▋                                                                            | 94/290 [13:46<29:30,  9.03s/it]
+
hellaswag_eu:  33%|█████████████████████████████████████                                                                            | 95/290 [13:55<29:09,  8.97s/it]
+
hellaswag_eu:  33%|█████████████████████████████████████▍                                                                           | 96/290 [14:04<29:30,  9.12s/it]
+
hellaswag_eu:  33%|█████████████████████████████████████▊                                                                           | 97/290 [14:13<28:58,  9.01s/it]
+
hellaswag_eu:  34%|██████████████████████████████████████▏                                                                          | 98/290 [14:22<28:27,  8.89s/it]
+
hellaswag_eu:  34%|██████████████████████████████████████▌                                                                          | 99/290 [14:31<28:41,  9.01s/it]
+
hellaswag_eu:  34%|██████████████████████████████████████▌                                                                         | 100/290 [14:40<28:04,  8.87s/it]
+
hellaswag_eu:  35%|███████████████████████████████████████                                                                         | 101/290 [14:48<27:44,  8.81s/it]
+
hellaswag_eu:  35%|███████████████████████████████████████▍                                                                        | 102/290 [14:57<27:28,  8.77s/it]
+
hellaswag_eu:  36%|███████████████████████████████████████▊                                                                        | 103/290 [15:06<27:54,  8.95s/it]
+
hellaswag_eu:  36%|████████████████████████████████████████▏                                                                       | 104/290 [15:16<27:59,  9.03s/it]
+
hellaswag_eu:  36%|████████████████████████████████████████▌                                                                       | 105/290 [15:25<27:51,  9.03s/it]
+
hellaswag_eu:  37%|████████████████████████████████████████▉                                                                       | 106/290 [15:33<26:55,  8.78s/it]
+
hellaswag_eu:  37%|█████████████████████████████████████████▎                                                                      | 107/290 [15:41<26:37,  8.73s/it]
+
hellaswag_eu:  37%|█████████████████████████████████████████▋                                                                      | 108/290 [15:50<26:33,  8.76s/it]
+
hellaswag_eu:  38%|██████████████████████████████████████████                                                                      | 109/290 [15:59<26:14,  8.70s/it]
+
hellaswag_eu:  38%|██████████████████████████████████████████▍                                                                     | 110/290 [16:08<26:08,  8.71s/it]
+
hellaswag_eu:  38%|██████████████████████████████████████████▊                                                                     | 111/290 [16:17<26:41,  8.95s/it]
+
hellaswag_eu:  39%|███████████████████████████████████████████▎                                                                    | 112/290 [16:25<25:38,  8.64s/it]
+
hellaswag_eu:  39%|███████████████████████████████████████████▋                                                                    | 113/290 [16:34<25:29,  8.64s/it]
+
hellaswag_eu:  39%|████████████████████████████████████████████                                                                    | 114/290 [16:42<25:19,  8.64s/it]
+
hellaswag_eu:  40%|████████████████████████████████████████████▍                                                                   | 115/290 [16:51<25:17,  8.67s/it]
+
hellaswag_eu:  40%|████████████████████████████████████████████▊                                                                   | 116/290 [17:00<25:00,  8.62s/it]
+
hellaswag_eu:  40%|█████████████████████████████████████████████▏                                                                  | 117/290 [17:08<24:47,  8.60s/it]
+
hellaswag_eu:  41%|█████████████████████████████████████████████▌                                                                  | 118/290 [17:17<24:45,  8.64s/it]
+
hellaswag_eu:  41%|█████████████████████████████████████████████▉                                                                  | 119/290 [17:25<24:37,  8.64s/it]
+
hellaswag_eu:  41%|██████████████████████████████████████████████▎                                                                 | 120/290 [17:35<25:01,  8.83s/it]
+
hellaswag_eu:  42%|██████████████████████████████████████████████▋                                                                 | 121/290 [17:43<24:43,  8.78s/it]
+
hellaswag_eu:  42%|███████████████████████████████████████████████                                                                 | 122/290 [17:53<24:56,  8.91s/it]
+
hellaswag_eu:  42%|███████████████████████████████████████████████▌                                                                | 123/290 [18:01<24:41,  8.87s/it]
+
hellaswag_eu:  43%|███████████████████████████████████████████████▉                                                                | 124/290 [18:10<24:31,  8.86s/it]
+
hellaswag_eu:  43%|████████████████████████████████████████████████▎                                                               | 125/290 [18:19<24:20,  8.85s/it]
+
hellaswag_eu:  43%|████████████████████████████████████████████████▋                                                               | 126/290 [18:28<24:34,  8.99s/it]
+
hellaswag_eu:  44%|█████████████████████████████████████████████████                                                               | 127/290 [18:37<24:02,  8.85s/it]
+
hellaswag_eu:  44%|█████████████████████████████████████████████████▍                                                              | 128/290 [18:46<24:27,  9.06s/it]
+
hellaswag_eu:  44%|█████████████████████████████████████████████████▊                                                              | 129/290 [18:56<24:38,  9.18s/it]
+
hellaswag_eu:  45%|██████████████████████████████████████████████████▏                                                             | 130/290 [19:05<24:31,  9.20s/it]
+
hellaswag_eu:  45%|██████████████████████████████████████████████████▌                                                             | 131/290 [19:14<23:58,  9.05s/it]
+
hellaswag_eu:  46%|██████████████████████████████████████████████████▉                                                             | 132/290 [19:23<23:49,  9.05s/it]
+
hellaswag_eu:  46%|███████████████████████████████████████████████████▎                                                            | 133/290 [19:32<23:29,  8.98s/it]
+
hellaswag_eu:  46%|███████████████████████████████████████████████████▊                                                            | 134/290 [19:41<23:15,  8.94s/it]
+
hellaswag_eu:  47%|████████████████████████████████████████████████████▏                                                           | 135/290 [19:49<22:45,  8.81s/it]
+
hellaswag_eu:  47%|████████████████████████████████████████████████████▌                                                           | 136/290 [19:58<22:28,  8.76s/it]
+
hellaswag_eu:  47%|████████████████████████████████████████████████████▉                                                           | 137/290 [20:07<22:35,  8.86s/it]
+
hellaswag_eu:  48%|█████████████████████████████████████████████████████▎                                                          | 138/290 [20:15<22:14,  8.78s/it]
+
hellaswag_eu:  48%|█████████████████████████████████████████████████████▋                                                          | 139/290 [20:24<22:05,  8.78s/it]
+
hellaswag_eu:  48%|██████████████████████████████████████████████████████                                                          | 140/290 [20:33<21:49,  8.73s/it]
+
hellaswag_eu:  49%|██████████████████████████████████████████████████████▍                                                         | 141/290 [20:41<21:36,  8.70s/it]
+
hellaswag_eu:  49%|██████████████████████████████████████████████████████▊                                                         | 142/290 [20:51<22:01,  8.93s/it]
+
hellaswag_eu:  49%|███████████████████████████████████████████████████████▏                                                        | 143/290 [21:00<21:58,  8.97s/it]
+
hellaswag_eu:  50%|███████████████████████████████████████████████████████▌                                                        | 144/290 [21:08<21:30,  8.84s/it]
+
hellaswag_eu:  50%|████████████████████████████████████████████████████████                                                        | 145/290 [21:18<21:31,  8.91s/it]
+
hellaswag_eu:  50%|████████████████████████████████████████████████████████▍                                                       | 146/290 [21:26<21:11,  8.83s/it]
+
hellaswag_eu:  51%|████████████████████████████████████████████████████████▊                                                       | 147/290 [21:35<21:19,  8.95s/it]
+
hellaswag_eu:  51%|█████████████████████████████████████████████████████████▏                                                      | 148/290 [21:45<21:22,  9.03s/it]
+
hellaswag_eu:  51%|█████████████████████████████████████████████████████████▌                                                      | 149/290 [21:54<21:14,  9.04s/it]
+
hellaswag_eu:  52%|█████████████████████████████████████████████████████████▉                                                      | 150/290 [22:02<20:53,  8.96s/it]
+
hellaswag_eu:  52%|██████████████████████████████████████████████████████████▎                                                     | 151/290 [22:11<20:18,  8.77s/it]
+
hellaswag_eu:  52%|██████████████████████████████████████████████████████████▋                                                     | 152/290 [22:20<20:09,  8.77s/it]
+
hellaswag_eu:  53%|███████████████████████████████████████████████████████████                                                     | 153/290 [22:28<19:57,  8.74s/it]
+
hellaswag_eu:  53%|███████████████████████████████████████████████████████████▍                                                    | 154/290 [22:38<20:20,  8.98s/it]
+
hellaswag_eu:  53%|███████████████████████████████████████████████████████████▊                                                    | 155/290 [22:47<20:09,  8.96s/it]
+
hellaswag_eu:  54%|████████████████████████████████████████████████████████████▏                                                   | 156/290 [22:56<20:01,  8.96s/it]
+
hellaswag_eu:  54%|████████████████████████████████████████████████████████████▋                                                   | 157/290 [23:05<20:19,  9.17s/it]
+
hellaswag_eu:  54%|█████████████████████████████████████████████████████████████                                                   | 158/290 [23:13<19:32,  8.88s/it]
+
hellaswag_eu:  55%|█████████████████████████████████████████████████████████████▍                                                  | 159/290 [23:23<19:53,  9.11s/it]
+
hellaswag_eu:  55%|█████████████████████████████████████████████████████████████▊                                                  | 160/290 [23:32<19:53,  9.18s/it]
+
hellaswag_eu:  56%|██████████████████████████████████████████████████████████████▏                                                 | 161/290 [23:42<19:46,  9.20s/it]
+
hellaswag_eu:  56%|██████████████████████████████████████████████████████████████▌                                                 | 162/290 [23:51<19:23,  9.09s/it]
+
hellaswag_eu:  56%|██████████████████████████████████████████████████████████████▉                                                 | 163/290 [23:59<18:50,  8.90s/it]
+
hellaswag_eu:  57%|███████████████████████████████████████████████████████████████▎                                                | 164/290 [24:08<18:28,  8.80s/it]
+
hellaswag_eu:  57%|███████████████████████████████████████████████████████████████▋                                                | 165/290 [24:16<18:04,  8.68s/it]
+
hellaswag_eu:  57%|████████████████████████████████████████████████████████████████                                                | 166/290 [24:25<18:22,  8.89s/it]
+
hellaswag_eu:  58%|████████████████████████████████████████████████████████████████▍                                               | 167/290 [24:34<18:01,  8.80s/it]
+
hellaswag_eu:  58%|████████████████████████████████████████████████████████████████▉                                               | 168/290 [24:43<18:13,  8.96s/it]
+
hellaswag_eu:  58%|█████████████████████████████████████████████████████████████████▎                                              | 169/290 [24:52<17:47,  8.82s/it]
+
hellaswag_eu:  59%|█████████████████████████████████████████████████████████████████▋                                              | 170/290 [25:00<17:25,  8.71s/it]
+
hellaswag_eu:  59%|██████████████████████████████████████████████████████████████████                                              | 171/290 [25:09<17:25,  8.79s/it]
+
hellaswag_eu:  59%|██████████████████████████████████████████████████████████████████▍                                             | 172/290 [25:19<17:37,  8.97s/it]
+
hellaswag_eu:  60%|██████████████████████████████████████████████████████████████████▊                                             | 173/290 [25:28<17:39,  9.06s/it]
+
hellaswag_eu:  60%|███████████████████████████████████████████████████████████████████▏                                            | 174/290 [25:36<17:14,  8.92s/it]
+
hellaswag_eu:  60%|███████████████████████████████████████████████████████████████████▌                                            | 175/290 [25:45<16:58,  8.86s/it]
+
hellaswag_eu:  61%|███████████████████████████████████████████████████████████████████▉                                            | 176/290 [25:54<17:00,  8.96s/it]
+
hellaswag_eu:  61%|████████████████████████████████████████████████████████████████████▎                                           | 177/290 [26:03<16:52,  8.96s/it]
+
hellaswag_eu:  61%|████████████████████████████████████████████████████████████████████▋                                           | 178/290 [26:12<16:35,  8.89s/it]
+
hellaswag_eu:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 179/290 [26:21<16:37,  8.99s/it]
+
hellaswag_eu:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 180/290 [26:30<16:16,  8.87s/it]
+
hellaswag_eu:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 181/290 [26:38<15:57,  8.78s/it]
+
hellaswag_eu:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 182/290 [26:47<15:43,  8.74s/it]
+
hellaswag_eu:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 183/290 [26:56<15:30,  8.69s/it]
+
hellaswag_eu:  63%|███████████████████████████████████████████████████████████████████████                                         | 184/290 [27:05<15:44,  8.91s/it]
+
hellaswag_eu:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 185/290 [27:14<15:27,  8.83s/it]
+
hellaswag_eu:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 186/290 [27:23<15:16,  8.82s/it]
+
hellaswag_eu:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 187/290 [27:31<14:59,  8.73s/it]
+
hellaswag_eu:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 188/290 [27:40<14:51,  8.74s/it]
+
hellaswag_eu:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 189/290 [27:49<14:43,  8.75s/it]
+
hellaswag_eu:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 190/290 [27:57<14:38,  8.79s/it]
+
hellaswag_eu:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 191/290 [28:06<14:33,  8.82s/it]
+
hellaswag_eu:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 192/290 [28:15<14:24,  8.82s/it]
+
hellaswag_eu:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 193/290 [28:24<14:27,  8.95s/it]
+
hellaswag_eu:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 194/290 [28:33<14:09,  8.85s/it]
+
hellaswag_eu:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 195/290 [28:42<13:56,  8.80s/it]
+
hellaswag_eu:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 196/290 [28:50<13:45,  8.78s/it]
+
hellaswag_eu:  68%|████████████████████████████████████████████████████████████████████████████                                    | 197/290 [29:00<13:47,  8.90s/it]
+
hellaswag_eu:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 198/290 [29:08<13:25,  8.76s/it]
+
hellaswag_eu:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 199/290 [29:17<13:19,  8.79s/it]
+
hellaswag_eu:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 200/290 [29:25<13:04,  8.72s/it]
+
hellaswag_eu:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 201/290 [29:34<12:54,  8.71s/it]
+
hellaswag_eu:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 202/290 [29:44<13:08,  8.96s/it]
+
hellaswag_eu:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 203/290 [29:53<12:58,  8.94s/it]
+
hellaswag_eu:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 204/290 [30:02<12:58,  9.05s/it]
+
hellaswag_eu:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 205/290 [30:11<12:57,  9.14s/it]
+
hellaswag_eu:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 206/290 [30:21<12:54,  9.22s/it]
+
hellaswag_eu:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 207/290 [30:29<12:33,  9.08s/it]
+
hellaswag_eu:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 208/290 [30:38<12:12,  8.93s/it]
+
hellaswag_eu:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 209/290 [30:47<11:58,  8.87s/it]
+
hellaswag_eu:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 210/290 [30:56<12:00,  9.00s/it]
+
hellaswag_eu:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 211/290 [31:05<11:44,  8.92s/it]
+
hellaswag_eu:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 212/290 [31:13<11:26,  8.80s/it]
+
hellaswag_eu:  73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 213/290 [31:22<11:12,  8.74s/it]
+
hellaswag_eu:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 214/290 [31:31<11:05,  8.76s/it]
+
hellaswag_eu:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 215/290 [31:39<10:51,  8.69s/it]
+
hellaswag_eu:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 216/290 [31:49<11:00,  8.93s/it]
+
hellaswag_eu:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 217/290 [31:58<11:02,  9.08s/it]
+
hellaswag_eu:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 218/290 [32:07<11:00,  9.17s/it]
+
hellaswag_eu:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 219/290 [32:16<10:36,  8.96s/it]
+
hellaswag_eu:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 220/290 [32:24<10:14,  8.78s/it]
+
hellaswag_eu:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 221/290 [32:33<10:00,  8.70s/it]
+
hellaswag_eu:  77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 222/290 [32:41<09:50,  8.68s/it]
+
hellaswag_eu:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 223/290 [32:50<09:41,  8.68s/it]
+
hellaswag_eu:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 224/290 [32:59<09:31,  8.66s/it]
+
hellaswag_eu:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 225/290 [33:07<09:23,  8.67s/it]
+
hellaswag_eu:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 226/290 [33:16<09:11,  8.62s/it]
+
hellaswag_eu:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 227/290 [33:25<09:02,  8.61s/it]
+
hellaswag_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 228/290 [33:33<08:58,  8.69s/it]
+
hellaswag_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 229/290 [33:42<08:50,  8.70s/it]
+
hellaswag_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 230/290 [33:51<08:40,  8.68s/it]
+
hellaswag_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 231/290 [33:59<08:23,  8.54s/it]
+
hellaswag_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 232/290 [34:08<08:23,  8.69s/it]
+
hellaswag_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 233/290 [34:17<08:15,  8.70s/it]
+
hellaswag_eu:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 234/290 [34:25<07:59,  8.56s/it]
+
hellaswag_eu:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 235/290 [34:34<07:51,  8.58s/it]
+
hellaswag_eu:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 236/290 [34:42<07:46,  8.63s/it]
+
hellaswag_eu:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 237/290 [34:52<07:51,  8.90s/it]
+
hellaswag_eu:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 238/290 [35:01<07:48,  9.02s/it]
+
hellaswag_eu:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 239/290 [35:10<07:42,  9.08s/it]
+
hellaswag_eu:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 240/290 [35:19<07:29,  8.99s/it]
+
hellaswag_eu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 241/290 [35:28<07:20,  9.00s/it]
+
hellaswag_eu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 242/290 [35:37<07:10,  8.97s/it]
+
hellaswag_eu:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 243/290 [35:46<07:03,  9.02s/it]
+
hellaswag_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 244/290 [35:55<06:47,  8.86s/it]
+
hellaswag_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 245/290 [36:03<06:37,  8.83s/it]
+
hellaswag_eu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 246/290 [36:12<06:24,  8.73s/it]
+
hellaswag_eu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 247/290 [36:21<06:12,  8.67s/it]
+
hellaswag_eu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 248/290 [36:29<06:02,  8.63s/it]
+
hellaswag_eu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 249/290 [36:38<05:57,  8.71s/it]
+
hellaswag_eu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 250/290 [36:47<05:56,  8.91s/it]
+
hellaswag_eu:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 251/290 [36:56<05:44,  8.83s/it]
+
hellaswag_eu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 252/290 [37:05<05:41,  8.98s/it]
+
hellaswag_eu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 253/290 [37:14<05:24,  8.77s/it]
+
hellaswag_eu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 254/290 [37:22<05:13,  8.72s/it]
+
hellaswag_eu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 255/290 [37:31<05:02,  8.65s/it]
+
hellaswag_eu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 256/290 [37:40<05:02,  8.90s/it]
+
hellaswag_eu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 257/290 [37:49<04:51,  8.83s/it]
+
hellaswag_eu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 258/290 [37:58<04:46,  8.95s/it]
+
hellaswag_eu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 259/290 [38:08<04:42,  9.13s/it]
+
hellaswag_eu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 260/290 [38:16<04:30,  9.00s/it]
+
hellaswag_eu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 261/290 [38:25<04:16,  8.84s/it]
+
hellaswag_eu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 262/290 [38:33<04:06,  8.80s/it]
+
hellaswag_eu:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 263/290 [38:43<04:01,  8.94s/it]
+
hellaswag_eu:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 264/290 [38:51<03:50,  8.85s/it]
+
hellaswag_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 265/290 [39:00<03:40,  8.83s/it]
+
hellaswag_eu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 266/290 [39:09<03:30,  8.77s/it]
+
hellaswag_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 267/290 [39:17<03:20,  8.72s/it]
+
hellaswag_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 268/290 [39:26<03:12,  8.75s/it]
+
hellaswag_eu:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 269/290 [39:35<03:03,  8.75s/it]
+
hellaswag_eu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 270/290 [39:44<02:53,  8.70s/it]
+
hellaswag_eu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 271/290 [39:52<02:45,  8.70s/it]
+
hellaswag_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 272/290 [40:01<02:36,  8.69s/it]
+
hellaswag_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 273/290 [40:10<02:27,  8.68s/it]
+
hellaswag_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 274/290 [40:18<02:19,  8.69s/it]
+
hellaswag_eu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 275/290 [40:27<02:09,  8.66s/it]
+
hellaswag_eu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 276/290 [40:36<02:01,  8.68s/it]
+
hellaswag_eu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 277/290 [40:45<01:54,  8.81s/it]
+
hellaswag_eu:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 278/290 [40:54<01:46,  8.84s/it]
+
hellaswag_eu:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 279/290 [41:02<01:37,  8.82s/it]
+
hellaswag_eu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 280/290 [41:11<01:27,  8.76s/it]
+
hellaswag_eu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 281/290 [41:20<01:18,  8.72s/it]
+
hellaswag_eu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 282/290 [41:29<01:11,  8.95s/it]
+
hellaswag_eu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 283/290 [41:38<01:02,  8.88s/it]
+
hellaswag_eu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 284/290 [41:47<00:54,  9.06s/it]
+
hellaswag_eu:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 285/290 [41:56<00:44,  8.91s/it]
+
hellaswag_eu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [42:05<00:35,  9.00s/it]
+
hellaswag_eu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [42:14<00:26,  8.91s/it]
+
hellaswag_eu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [42:23<00:17,  8.92s/it]
+
hellaswag_eu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [42:31<00:08,  8.79s/it]
+
hellaswag_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [42:36<00:00,  7.60s/it]
hellaswag_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [42:36<00:00,  8.82s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_eu_acc 0.2661264181523501
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_eu_acc_norm 0.2922744462452728
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:07:51,236 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:07:51,236 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:51,368 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:07:51,368 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:51,498 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:07:51,499 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:51,629 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:07:51,630 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 15:07:51,630 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 15:07:51,762 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 15:07:51,762 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_eu_acc'}
+2024-05-29 15:07:51,828 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 15:07:51,828 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1153, 'value': 0.2661264181523501}
+2024-05-29 15:07:51,895 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:07:52,562 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:07:52,562 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:52,693 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:07:52,693 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:52,825 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:07:52,825 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:52,956 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:07:52,957 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 15:07:52,957 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 15:07:53,090 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 15:07:53,090 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_eu_acc_norm'}
+2024-05-29 15:07:53,156 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 15:07:53,156 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1154, 'value': 0.2922744462452728}
+2024-05-29 15:07:53,223 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  31%|█████████████████████████████████▍                                                                           | 38/124 [8:20:22<58:41:35, 2456.93s/it]['hellaswag_fr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:07:53,848 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:07:53,848 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:53,970 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:07:53,970 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:54,097 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:07:54,097 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:07:54,219 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:07:54,220 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 15:07:54,220 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_fr'}
+2024-05-29 15:07:54,343 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_fr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.94s/ examples]
+
Generating validation split: 2000 examples [00:03, 916.61 examples/s]
+
Generating validation split: 3994 examples [00:03, 2074.15 examples/s]
+
Generating validation split: 5612 examples [00:03, 3206.75 examples/s]
+
Generating validation split: 7242 examples [00:03, 4554.03 examples/s]
+
Generating validation split: 9000 examples [00:03, 6172.91 examples/s]
Generating validation split: 9338 examples [00:03, 2660.52 examples/s]
+Loaded 9338 examples
+Running loglikelihood requests
+
+
hellaswag_fr:   0%|                                                                                                                          | 0/292 [00:00<?, ?it/s]
+
hellaswag_fr:   0%|▍                                                                                                                 | 1/292 [00:07<38:36,  7.96s/it]
+
hellaswag_fr:   1%|▊                                                                                                                 | 2/292 [00:16<40:28,  8.37s/it]
+
hellaswag_fr:   1%|█▏                                                                                                                | 3/292 [00:24<39:26,  8.19s/it]
+
hellaswag_fr:   1%|█▌                                                                                                                | 4/292 [00:33<40:02,  8.34s/it]
+
hellaswag_fr:   2%|█▉                                                                                                                | 5/292 [00:41<39:47,  8.32s/it]
+
hellaswag_fr:   2%|██▎                                                                                                               | 6/292 [00:49<39:44,  8.34s/it]
+
hellaswag_fr:   2%|██▋                                                                                                               | 7/292 [00:57<39:02,  8.22s/it]
+
hellaswag_fr:   3%|███                                                                                                               | 8/292 [01:05<38:18,  8.09s/it]
+
hellaswag_fr:   3%|███▌                                                                                                              | 9/292 [01:14<39:18,  8.33s/it]
+
hellaswag_fr:   3%|███▊                                                                                                             | 10/292 [01:22<38:57,  8.29s/it]
+
hellaswag_fr:   4%|████▎                                                                                                            | 11/292 [01:30<38:51,  8.30s/it]
+
hellaswag_fr:   4%|████▋                                                                                                            | 12/292 [01:38<38:06,  8.17s/it]
+
hellaswag_fr:   4%|█████                                                                                                            | 13/292 [01:47<38:03,  8.18s/it]
+
hellaswag_fr:   5%|█████▍                                                                                                           | 14/292 [01:55<38:28,  8.30s/it]
+
hellaswag_fr:   5%|█████▊                                                                                                           | 15/292 [02:03<37:54,  8.21s/it]
+
hellaswag_fr:   5%|██████▏                                                                                                          | 16/292 [02:11<37:37,  8.18s/it]
+
hellaswag_fr:   6%|██████▌                                                                                                          | 17/292 [02:19<37:22,  8.15s/it]
+
hellaswag_fr:   6%|██████▉                                                                                                          | 18/292 [02:27<37:08,  8.13s/it]
+
hellaswag_fr:   7%|███████▎                                                                                                         | 19/292 [02:36<37:54,  8.33s/it]
+
hellaswag_fr:   7%|███████▋                                                                                                         | 20/292 [02:45<37:54,  8.36s/it]
+
hellaswag_fr:   7%|████████▏                                                                                                        | 21/292 [02:53<37:19,  8.26s/it]
+
hellaswag_fr:   8%|████████▌                                                                                                        | 22/292 [03:01<37:49,  8.41s/it]
+
hellaswag_fr:   8%|████████▉                                                                                                        | 23/292 [03:09<36:58,  8.25s/it]
+
hellaswag_fr:   8%|█████████▎                                                                                                       | 24/292 [03:17<36:36,  8.20s/it]
+
hellaswag_fr:   9%|█████████▋                                                                                                       | 25/292 [03:25<36:02,  8.10s/it]
+
hellaswag_fr:   9%|██████████                                                                                                       | 26/292 [03:34<36:08,  8.15s/it]
+
hellaswag_fr:   9%|██████████▍                                                                                                      | 27/292 [03:41<35:33,  8.05s/it]
+
hellaswag_fr:  10%|██████████▊                                                                                                      | 28/292 [03:49<35:30,  8.07s/it]
+
hellaswag_fr:  10%|███████████▏                                                                                                     | 29/292 [03:57<35:12,  8.03s/it]
+
hellaswag_fr:  10%|███████████▌                                                                                                     | 30/292 [04:05<34:54,  7.99s/it]
+
hellaswag_fr:  11%|███████████▉                                                                                                     | 31/292 [04:13<34:42,  7.98s/it]
+
hellaswag_fr:  11%|████████████▍                                                                                                    | 32/292 [04:21<34:30,  7.96s/it]
+
hellaswag_fr:  11%|████████████▊                                                                                                    | 33/292 [04:29<34:08,  7.91s/it]
+
hellaswag_fr:  12%|█████████████▏                                                                                                   | 34/292 [04:37<34:13,  7.96s/it]
+
hellaswag_fr:  12%|█████████████▌                                                                                                   | 35/292 [04:46<34:43,  8.11s/it]
+
hellaswag_fr:  12%|█████████████▉                                                                                                   | 36/292 [04:54<34:34,  8.10s/it]
+
hellaswag_fr:  13%|██████████████▎                                                                                                  | 37/292 [05:01<34:00,  8.00s/it]
+
hellaswag_fr:  13%|██████████████▋                                                                                                  | 38/292 [05:09<33:48,  7.99s/it]
+
hellaswag_fr:  13%|███████████████                                                                                                  | 39/292 [05:18<34:59,  8.30s/it]
+
hellaswag_fr:  14%|███████████████▍                                                                                                 | 40/292 [05:26<34:16,  8.16s/it]
+
hellaswag_fr:  14%|███████████████▊                                                                                                 | 41/292 [05:34<34:01,  8.14s/it]
+
hellaswag_fr:  14%|████████████████▎                                                                                                | 42/292 [05:42<33:30,  8.04s/it]
+
hellaswag_fr:  15%|████████████████▋                                                                                                | 43/292 [05:50<33:21,  8.04s/it]
+
hellaswag_fr:  15%|█████████████████                                                                                                | 44/292 [05:59<33:49,  8.18s/it]
+
hellaswag_fr:  15%|█████████████████▍                                                                                               | 45/292 [06:07<34:09,  8.30s/it]
+
hellaswag_fr:  16%|█████████████████▊                                                                                               | 46/292 [06:15<33:40,  8.21s/it]
+
hellaswag_fr:  16%|██████████████████▏                                                                                              | 47/292 [06:23<33:37,  8.23s/it]
+
hellaswag_fr:  16%|██████████████████▌                                                                                              | 48/292 [06:31<33:02,  8.12s/it]
+
hellaswag_fr:  17%|██████████████████▉                                                                                              | 49/292 [06:39<32:43,  8.08s/it]
+
hellaswag_fr:  17%|███████████████████▎                                                                                             | 50/292 [06:48<33:19,  8.26s/it]
+
hellaswag_fr:  17%|███████████████████▋                                                                                             | 51/292 [06:56<32:55,  8.20s/it]
+
hellaswag_fr:  18%|████████████████████                                                                                             | 52/292 [07:04<32:18,  8.08s/it]
+
hellaswag_fr:  18%|████████████████████▌                                                                                            | 53/292 [07:12<31:58,  8.03s/it]
+
hellaswag_fr:  18%|████████████████████▉                                                                                            | 54/292 [07:20<31:43,  8.00s/it]
+
hellaswag_fr:  19%|█████████████████████▎                                                                                           | 55/292 [07:28<31:30,  7.98s/it]
+
hellaswag_fr:  19%|█████████████████████▋                                                                                           | 56/292 [07:36<31:25,  7.99s/it]
+
hellaswag_fr:  20%|██████████████████████                                                                                           | 57/292 [07:44<31:13,  7.97s/it]
+
hellaswag_fr:  20%|██████████████████████▍                                                                                          | 58/292 [07:52<31:33,  8.09s/it]
+
hellaswag_fr:  20%|██████████████████████▊                                                                                          | 59/292 [08:00<31:09,  8.02s/it]
+
hellaswag_fr:  21%|███████████████████████▏                                                                                         | 60/292 [08:08<31:01,  8.03s/it]
+
hellaswag_fr:  21%|███████████████████████▌                                                                                         | 61/292 [08:16<30:54,  8.03s/it]
+
hellaswag_fr:  21%|███████████████████████▉                                                                                         | 62/292 [08:24<31:08,  8.13s/it]
+
hellaswag_fr:  22%|████████████████████████▍                                                                                        | 63/292 [08:33<31:37,  8.28s/it]
+
hellaswag_fr:  22%|████████████████████████▊                                                                                        | 64/292 [08:41<31:43,  8.35s/it]
+
hellaswag_fr:  22%|█████████████████████████▏                                                                                       | 65/292 [08:49<30:59,  8.19s/it]
+
hellaswag_fr:  23%|█████████████████████████▌                                                                                       | 66/292 [08:58<31:27,  8.35s/it]
+
hellaswag_fr:  23%|█████████████████████████▉                                                                                       | 67/292 [09:06<30:45,  8.20s/it]
+
hellaswag_fr:  23%|██████████████████████████▎                                                                                      | 68/292 [09:14<30:33,  8.18s/it]
+
hellaswag_fr:  24%|██████████████████████████▋                                                                                      | 69/292 [09:23<31:30,  8.48s/it]
+
hellaswag_fr:  24%|███████████████████████████                                                                                      | 70/292 [09:31<30:58,  8.37s/it]
+
hellaswag_fr:  24%|███████████████████████████▍                                                                                     | 71/292 [09:40<31:39,  8.59s/it]
+
hellaswag_fr:  25%|███████████████████████████▊                                                                                     | 72/292 [09:49<31:39,  8.63s/it]
+
hellaswag_fr:  25%|████████████████████████████▎                                                                                    | 73/292 [09:57<30:42,  8.41s/it]
+
hellaswag_fr:  25%|████████████████████████████▋                                                                                    | 74/292 [10:06<31:20,  8.63s/it]
+
hellaswag_fr:  26%|█████████████████████████████                                                                                    | 75/292 [10:14<30:28,  8.43s/it]
+
hellaswag_fr:  26%|█████████████████████████████▍                                                                                   | 76/292 [10:23<30:35,  8.50s/it]
+
hellaswag_fr:  26%|█████████████████████████████▊                                                                                   | 77/292 [10:32<30:56,  8.64s/it]
+
hellaswag_fr:  27%|██████████████████████████████▏                                                                                  | 78/292 [10:40<30:01,  8.42s/it]
+
hellaswag_fr:  27%|██████████████████████████████▌                                                                                  | 79/292 [10:47<29:16,  8.24s/it]
+
hellaswag_fr:  27%|██████████████████████████████▉                                                                                  | 80/292 [10:55<28:41,  8.12s/it]
+
hellaswag_fr:  28%|███████████████████████████████▎                                                                                 | 81/292 [11:03<28:38,  8.14s/it]
+
hellaswag_fr:  28%|███████████████████████████████▋                                                                                 | 82/292 [11:11<28:13,  8.06s/it]
+
hellaswag_fr:  28%|████████████████████████████████                                                                                 | 83/292 [11:19<27:50,  7.99s/it]
+
hellaswag_fr:  29%|████████████████████████████████▌                                                                                | 84/292 [11:28<28:22,  8.19s/it]
+
hellaswag_fr:  29%|████████████████████████████████▉                                                                                | 85/292 [11:36<28:29,  8.26s/it]
+
hellaswag_fr:  29%|█████████████████████████████████▎                                                                               | 86/292 [11:44<27:55,  8.14s/it]
+
hellaswag_fr:  30%|█████████████████████████████████▋                                                                               | 87/292 [11:52<27:30,  8.05s/it]
+
hellaswag_fr:  30%|██████████████████████████████████                                                                               | 88/292 [12:00<27:11,  8.00s/it]
+
hellaswag_fr:  30%|██████████████████████████████████▍                                                                              | 89/292 [12:08<27:00,  7.98s/it]
+
hellaswag_fr:  31%|██████████████████████████████████▊                                                                              | 90/292 [12:16<26:47,  7.96s/it]
+
hellaswag_fr:  31%|███████████████████████████████████▏                                                                             | 91/292 [12:24<26:38,  7.95s/it]
+
hellaswag_fr:  32%|███████████████████████████████████▌                                                                             | 92/292 [12:32<26:38,  7.99s/it]
+
hellaswag_fr:  32%|███████████████████████████████████▉                                                                             | 93/292 [12:40<26:42,  8.05s/it]
+
hellaswag_fr:  32%|████████████████████████████████████▍                                                                            | 94/292 [12:48<26:26,  8.01s/it]
+
hellaswag_fr:  33%|████████████████████████████████████▊                                                                            | 95/292 [12:56<26:28,  8.06s/it]
+
hellaswag_fr:  33%|█████████████████████████████████████▏                                                                           | 96/292 [13:04<26:12,  8.02s/it]
+
hellaswag_fr:  33%|█████████████████████████████████████▌                                                                           | 97/292 [13:12<26:08,  8.04s/it]
+
hellaswag_fr:  34%|█████████████████████████████████████▉                                                                           | 98/292 [13:21<26:38,  8.24s/it]
+
hellaswag_fr:  34%|██████████████████████████████████████▎                                                                          | 99/292 [13:29<26:21,  8.20s/it]
+
hellaswag_fr:  34%|██████████████████████████████████████▎                                                                         | 100/292 [13:37<25:55,  8.10s/it]
+
hellaswag_fr:  35%|██████████████████████████████████████▋                                                                         | 101/292 [13:45<26:08,  8.21s/it]
+
hellaswag_fr:  35%|███████████████████████████████████████                                                                         | 102/292 [13:53<25:41,  8.11s/it]
+
hellaswag_fr:  35%|███████████████████████████████████████▌                                                                        | 103/292 [14:01<25:22,  8.05s/it]
+
hellaswag_fr:  36%|███████████████████████████████████████▉                                                                        | 104/292 [14:09<25:36,  8.17s/it]
+
hellaswag_fr:  36%|████████████████████████████████████████▎                                                                       | 105/292 [14:17<25:07,  8.06s/it]
+
hellaswag_fr:  36%|████████████████████████████████████████▋                                                                       | 106/292 [14:25<24:55,  8.04s/it]
+
hellaswag_fr:  37%|█████████████████████████████████████████                                                                       | 107/292 [14:33<24:42,  8.01s/it]
+
hellaswag_fr:  37%|█████████████████████████████████████████▍                                                                      | 108/292 [14:41<24:35,  8.02s/it]
+
hellaswag_fr:  37%|█████████████████████████████████████████▊                                                                      | 109/292 [14:49<24:20,  7.98s/it]
+
hellaswag_fr:  38%|██████████████████████████████████████████▏                                                                     | 110/292 [14:57<24:18,  8.01s/it]
+
hellaswag_fr:  38%|██████████████████████████████████████████▌                                                                     | 111/292 [15:05<24:05,  7.98s/it]
+
hellaswag_fr:  38%|██████████████████████████████████████████▉                                                                     | 112/292 [15:14<24:40,  8.23s/it]
+
hellaswag_fr:  39%|███████████████████████████████████████████▎                                                                    | 113/292 [15:22<24:21,  8.17s/it]
+
hellaswag_fr:  39%|███████████████████████████████████████████▋                                                                    | 114/292 [15:30<24:09,  8.14s/it]
+
hellaswag_fr:  39%|████████████████████████████████████████████                                                                    | 115/292 [15:38<23:55,  8.11s/it]
+
hellaswag_fr:  40%|████████████████████████████████████████████▍                                                                   | 116/292 [15:46<23:44,  8.09s/it]
+
hellaswag_fr:  40%|████████████████████████████████████████████▉                                                                   | 117/292 [15:54<23:28,  8.05s/it]
+
hellaswag_fr:  40%|█████████████████████████████████████████████▎                                                                  | 118/292 [16:02<23:10,  7.99s/it]
+
hellaswag_fr:  41%|█████████████████████████████████████████████▋                                                                  | 119/292 [16:10<23:05,  8.01s/it]
+
hellaswag_fr:  41%|██████████████████████████████████████████████                                                                  | 120/292 [16:18<23:22,  8.15s/it]
+
hellaswag_fr:  41%|██████████████████████████████████████████████▍                                                                 | 121/292 [16:26<23:03,  8.09s/it]
+
hellaswag_fr:  42%|██████████████████████████████████████████████▊                                                                 | 122/292 [16:34<22:58,  8.11s/it]
+
hellaswag_fr:  42%|███████████████████████████████████████████████▏                                                                | 123/292 [16:42<22:42,  8.06s/it]
+
hellaswag_fr:  42%|███████████████████████████████████████████████▌                                                                | 124/292 [16:50<22:27,  8.02s/it]
+
hellaswag_fr:  43%|███████████████████████████████████████████████▉                                                                | 125/292 [16:58<22:21,  8.03s/it]
+
hellaswag_fr:  43%|████████████████████████████████████████████████▎                                                               | 126/292 [17:06<22:10,  8.01s/it]
+
hellaswag_fr:  43%|████████████████████████████████████████████████▋                                                               | 127/292 [17:14<21:54,  7.96s/it]
+
hellaswag_fr:  44%|█████████████████████████████████████████████████                                                               | 128/292 [17:22<21:59,  8.04s/it]
+
hellaswag_fr:  44%|█████████████████████████████████████████████████▍                                                              | 129/292 [17:30<21:43,  8.00s/it]
+
hellaswag_fr:  45%|█████████████████████████████████████████████████▊                                                              | 130/292 [17:38<21:32,  7.98s/it]
+
hellaswag_fr:  45%|██████████████████████████████████████████████████▏                                                             | 131/292 [17:46<21:20,  7.95s/it]
+
hellaswag_fr:  45%|██████████████████████████████████████████████████▋                                                             | 132/292 [17:54<21:25,  8.04s/it]
+
hellaswag_fr:  46%|███████████████████████████████████████████████████                                                             | 133/292 [18:02<21:16,  8.03s/it]
+
hellaswag_fr:  46%|███████████████████████████████████████████████████▍                                                            | 134/292 [18:10<21:09,  8.03s/it]
+
hellaswag_fr:  46%|███████████████████████████████████████████████████▊                                                            | 135/292 [18:18<20:58,  8.01s/it]
+
hellaswag_fr:  47%|████████████████████████████████████████████████████▏                                                           | 136/292 [18:28<21:42,  8.35s/it]
+
hellaswag_fr:  47%|████████████████████████████████████████████████████▌                                                           | 137/292 [18:36<21:42,  8.40s/it]
+
hellaswag_fr:  47%|████████████████████████████████████████████████████▉                                                           | 138/292 [18:45<22:05,  8.61s/it]
+
hellaswag_fr:  48%|█████████████████████████████████████████████████████▎                                                          | 139/292 [18:53<21:31,  8.44s/it]
+
hellaswag_fr:  48%|█████████████████████████████████████████████████████▋                                                          | 140/292 [19:02<21:35,  8.52s/it]
+
hellaswag_fr:  48%|██████████████████████████████████████████████████████                                                          | 141/292 [19:10<20:56,  8.32s/it]
+
hellaswag_fr:  49%|██████████████████████████████████████████████████████▍                                                         | 142/292 [19:18<20:27,  8.18s/it]
+
hellaswag_fr:  49%|██████████████████████████████████████████████████████▊                                                         | 143/292 [19:26<20:22,  8.21s/it]
+
hellaswag_fr:  49%|███████████████████████████████████████████████████████▏                                                        | 144/292 [19:35<20:46,  8.42s/it]
+
hellaswag_fr:  50%|███████████████████████████████████████████████████████▌                                                        | 145/292 [19:43<20:14,  8.26s/it]
+
hellaswag_fr:  50%|████████████████████████████████████████████████████████                                                        | 146/292 [19:51<20:18,  8.35s/it]
+
hellaswag_fr:  50%|████████████████████████████████████████████████████████▍                                                       | 147/292 [19:59<19:53,  8.23s/it]
+
hellaswag_fr:  51%|████████████████████████████████████████████████████████▊                                                       | 148/292 [20:07<19:23,  8.08s/it]
+
hellaswag_fr:  51%|█████████████████████████████████████████████████████████▏                                                      | 149/292 [20:16<19:36,  8.23s/it]
+
hellaswag_fr:  51%|█████████████████████████████████████████████████████████▌                                                      | 150/292 [20:23<19:13,  8.12s/it]
+
hellaswag_fr:  52%|█████████████████████████████████████████████████████████▉                                                      | 151/292 [20:31<18:57,  8.07s/it]
+
hellaswag_fr:  52%|██████████████████████████████████████████████████████████▎                                                     | 152/292 [20:40<19:29,  8.36s/it]
+
hellaswag_fr:  52%|██████████████████████████████████████████████████████████▋                                                     | 153/292 [20:48<19:04,  8.24s/it]
+
hellaswag_fr:  53%|███████████████████████████████████████████████████████████                                                     | 154/292 [20:57<19:11,  8.34s/it]
+
hellaswag_fr:  53%|███████████████████████████████████████████████████████████▍                                                    | 155/292 [21:05<18:40,  8.18s/it]
+
hellaswag_fr:  53%|███████████████████████████████████████████████████████████▊                                                    | 156/292 [21:13<18:21,  8.10s/it]
+
hellaswag_fr:  54%|████████████████████████████████████████████████████████████▏                                                   | 157/292 [21:21<18:22,  8.16s/it]
+
hellaswag_fr:  54%|████████████████████████████████████████████████████████████▌                                                   | 158/292 [21:29<18:02,  8.08s/it]
+
hellaswag_fr:  54%|████████████████████████████████████████████████████████████▉                                                   | 159/292 [21:37<17:44,  8.00s/it]
+
hellaswag_fr:  55%|█████████████████████████████████████████████████████████████▎                                                  | 160/292 [21:45<17:45,  8.07s/it]
+
hellaswag_fr:  55%|█████████████████████████████████████████████████████████████▊                                                  | 161/292 [21:53<17:36,  8.06s/it]
+
hellaswag_fr:  55%|██████████████████████████████████████████████████████████████▏                                                 | 162/292 [22:01<17:17,  7.98s/it]
+
hellaswag_fr:  56%|██████████████████████████████████████████████████████████████▌                                                 | 163/292 [22:09<17:08,  7.97s/it]
+
hellaswag_fr:  56%|██████████████████████████████████████████████████████████████▉                                                 | 164/292 [22:17<17:00,  7.97s/it]
+
hellaswag_fr:  57%|███████████████████████████████████████████████████████████████▎                                                | 165/292 [22:25<16:55,  8.00s/it]
+
hellaswag_fr:  57%|███████████████████████████████████████████████████████████████▋                                                | 166/292 [22:33<16:45,  7.98s/it]
+
hellaswag_fr:  57%|████████████████████████████████████████████████████████████████                                                | 167/292 [22:40<16:33,  7.95s/it]
+
hellaswag_fr:  58%|████████████████████████████████████████████████████████████████▍                                               | 168/292 [22:48<16:24,  7.94s/it]
+
hellaswag_fr:  58%|████████████████████████████████████████████████████████████████▊                                               | 169/292 [22:57<16:50,  8.22s/it]
+
hellaswag_fr:  58%|█████████████████████████████████████████████████████████████████▏                                              | 170/292 [23:05<16:36,  8.16s/it]
+
hellaswag_fr:  59%|█████████████████████████████████████████████████████████████████▌                                              | 171/292 [23:14<16:39,  8.26s/it]
+
hellaswag_fr:  59%|█████████████████████████████████████████████████████████████████▉                                              | 172/292 [23:22<16:37,  8.31s/it]
+
hellaswag_fr:  59%|██████████████████████████████████████████████████████████████████▎                                             | 173/292 [23:30<16:21,  8.24s/it]
+
hellaswag_fr:  60%|██████████████████████████████████████████████████████████████████▋                                             | 174/292 [23:38<16:03,  8.16s/it]
+
hellaswag_fr:  60%|███████████████████████████████████████████████████████████████████                                             | 175/292 [23:46<15:46,  8.09s/it]
+
hellaswag_fr:  60%|███████████████████████████████████████████████████████████████████▌                                            | 176/292 [23:54<15:29,  8.01s/it]
+
hellaswag_fr:  61%|███████████████████████████████████████████████████████████████████▉                                            | 177/292 [24:02<15:27,  8.07s/it]
+
hellaswag_fr:  61%|████████████████████████████████████████████████████████████████████▎                                           | 178/292 [24:11<15:32,  8.18s/it]
+
hellaswag_fr:  61%|████████████████████████████████████████████████████████████████████▋                                           | 179/292 [24:19<15:40,  8.33s/it]
+
hellaswag_fr:  62%|█████████████████████████████████████████████████████████████████████                                           | 180/292 [24:28<15:31,  8.31s/it]
+
hellaswag_fr:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 181/292 [24:36<15:28,  8.36s/it]
+
hellaswag_fr:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 182/292 [24:44<15:07,  8.25s/it]
+
hellaswag_fr:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 183/292 [24:52<14:48,  8.15s/it]
+
hellaswag_fr:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 184/292 [25:00<14:46,  8.21s/it]
+
hellaswag_fr:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 185/292 [25:08<14:36,  8.19s/it]
+
hellaswag_fr:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 186/292 [25:17<14:42,  8.33s/it]
+
hellaswag_fr:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 187/292 [25:26<14:45,  8.44s/it]
+
hellaswag_fr:  64%|████████████████████████████████████████████████████████████████████████                                        | 188/292 [25:34<14:20,  8.27s/it]
+
hellaswag_fr:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 189/292 [25:42<14:17,  8.33s/it]
+
hellaswag_fr:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 190/292 [25:50<13:53,  8.17s/it]
+
hellaswag_fr:  65%|█████████████████████████████████████████████████████████████████████████▎                                      | 191/292 [25:58<13:38,  8.10s/it]
+
hellaswag_fr:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 192/292 [26:06<13:41,  8.21s/it]
+
hellaswag_fr:  66%|██████████████████████████████████████████████████████████████████████████                                      | 193/292 [26:15<13:42,  8.31s/it]
+
hellaswag_fr:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 194/292 [26:24<13:47,  8.44s/it]
+
hellaswag_fr:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 195/292 [26:32<13:25,  8.30s/it]
+
hellaswag_fr:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 196/292 [26:40<13:05,  8.18s/it]
+
hellaswag_fr:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 197/292 [26:48<13:02,  8.24s/it]
+
hellaswag_fr:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 198/292 [26:56<12:49,  8.19s/it]
+
hellaswag_fr:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 199/292 [27:05<12:52,  8.31s/it]
+
hellaswag_fr:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 200/292 [27:14<13:04,  8.53s/it]
+
hellaswag_fr:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 201/292 [27:22<13:03,  8.61s/it]
+
hellaswag_fr:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 202/292 [27:31<12:54,  8.60s/it]
+
hellaswag_fr:  70%|█████████████████████████████████████████████████████████████████████████████▊                                  | 203/292 [27:39<12:27,  8.40s/it]
+
hellaswag_fr:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 204/292 [27:47<12:21,  8.43s/it]
+
hellaswag_fr:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 205/292 [27:55<12:01,  8.29s/it]
+
hellaswag_fr:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 206/292 [28:04<11:48,  8.23s/it]
+
hellaswag_fr:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 207/292 [28:11<11:30,  8.13s/it]
+
hellaswag_fr:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 208/292 [28:19<11:15,  8.04s/it]
+
hellaswag_fr:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 209/292 [28:27<11:01,  7.97s/it]
+
hellaswag_fr:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 210/292 [28:35<10:53,  7.97s/it]
+
hellaswag_fr:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 211/292 [28:44<11:04,  8.20s/it]
+
hellaswag_fr:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 212/292 [28:52<10:50,  8.13s/it]
+
hellaswag_fr:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 213/292 [29:00<10:44,  8.16s/it]
+
hellaswag_fr:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 214/292 [29:08<10:30,  8.08s/it]
+
hellaswag_fr:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 215/292 [29:16<10:17,  8.01s/it]
+
hellaswag_fr:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 216/292 [29:24<10:05,  7.97s/it]
+
hellaswag_fr:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 217/292 [29:32<10:12,  8.17s/it]
+
hellaswag_fr:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 218/292 [29:41<10:15,  8.32s/it]
+
hellaswag_fr:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 219/292 [29:49<09:56,  8.17s/it]
+
hellaswag_fr:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 220/292 [29:57<09:49,  8.18s/it]
+
hellaswag_fr:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 221/292 [30:05<09:47,  8.28s/it]
+
hellaswag_fr:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 222/292 [30:13<09:33,  8.20s/it]
+
hellaswag_fr:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 223/292 [30:22<09:25,  8.20s/it]
+
hellaswag_fr:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 224/292 [30:30<09:12,  8.12s/it]
+
hellaswag_fr:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 225/292 [30:38<09:03,  8.11s/it]
+
hellaswag_fr:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 226/292 [30:46<08:55,  8.11s/it]
+
hellaswag_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 227/292 [30:55<08:59,  8.31s/it]
+
hellaswag_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 228/292 [31:02<08:44,  8.19s/it]
+
hellaswag_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 229/292 [31:10<08:33,  8.15s/it]
+
hellaswag_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 230/292 [31:19<08:32,  8.27s/it]
+
hellaswag_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 231/292 [31:28<08:28,  8.33s/it]
+
hellaswag_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 232/292 [31:35<08:10,  8.17s/it]
+
hellaswag_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 233/292 [31:43<07:57,  8.09s/it]
+
hellaswag_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 234/292 [31:51<07:44,  8.02s/it]
+
hellaswag_fr:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 235/292 [32:00<07:52,  8.29s/it]
+
hellaswag_fr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 236/292 [32:08<07:40,  8.22s/it]
+
hellaswag_fr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 237/292 [32:16<07:33,  8.24s/it]
+
hellaswag_fr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 238/292 [32:24<07:18,  8.13s/it]
+
hellaswag_fr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 239/292 [32:33<07:18,  8.28s/it]
+
hellaswag_fr:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 240/292 [32:41<07:05,  8.19s/it]
+
hellaswag_fr:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 241/292 [32:49<07:03,  8.29s/it]
+
hellaswag_fr:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 242/292 [32:58<06:57,  8.35s/it]
+
hellaswag_fr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 243/292 [33:06<06:41,  8.20s/it]
+
hellaswag_fr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 244/292 [33:13<06:27,  8.08s/it]
+
hellaswag_fr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 245/292 [33:22<06:23,  8.15s/it]
+
hellaswag_fr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 246/292 [33:30<06:15,  8.16s/it]
+
hellaswag_fr:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 247/292 [33:38<06:09,  8.22s/it]
+
hellaswag_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 248/292 [33:46<05:58,  8.14s/it]
+
hellaswag_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 249/292 [33:54<05:47,  8.09s/it]
+
hellaswag_fr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 250/292 [34:02<05:38,  8.05s/it]
+
hellaswag_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 251/292 [34:10<05:27,  7.99s/it]
+
hellaswag_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 252/292 [34:18<05:18,  7.96s/it]
+
hellaswag_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 253/292 [34:26<05:09,  7.94s/it]
+
hellaswag_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍              | 254/292 [34:34<05:03,  8.00s/it]
+
hellaswag_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 255/292 [34:42<04:56,  8.01s/it]
+
hellaswag_fr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 256/292 [34:50<04:46,  7.97s/it]
+
hellaswag_fr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌             | 257/292 [34:58<04:40,  8.01s/it]
+
hellaswag_fr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉             | 258/292 [35:06<04:31,  7.98s/it]
+
hellaswag_fr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 259/292 [35:14<04:27,  8.10s/it]
+
hellaswag_fr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 260/292 [35:22<04:17,  8.05s/it]
+
hellaswag_fr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 261/292 [35:30<04:07,  7.99s/it]
+
hellaswag_fr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 262/292 [35:38<04:01,  8.05s/it]
+
hellaswag_fr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 263/292 [35:48<04:03,  8.41s/it]
+
hellaswag_fr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 264/292 [35:56<03:58,  8.50s/it]
+
hellaswag_fr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 265/292 [36:04<03:46,  8.38s/it]
+
hellaswag_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████          | 266/292 [36:13<03:39,  8.43s/it]
+
hellaswag_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 267/292 [36:21<03:27,  8.30s/it]
+
hellaswag_fr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 268/292 [36:29<03:17,  8.22s/it]
+
hellaswag_fr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 269/292 [36:37<03:07,  8.14s/it]
+
hellaswag_fr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 270/292 [36:45<02:58,  8.10s/it]
+
hellaswag_fr:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 271/292 [36:54<02:53,  8.28s/it]
+
hellaswag_fr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 272/292 [37:02<02:45,  8.28s/it]
+
hellaswag_fr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 273/292 [37:10<02:34,  8.15s/it]
+
hellaswag_fr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 274/292 [37:18<02:25,  8.09s/it]
+
hellaswag_fr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 275/292 [37:26<02:19,  8.21s/it]
+
hellaswag_fr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 276/292 [37:34<02:10,  8.15s/it]
+
hellaswag_fr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 277/292 [37:43<02:03,  8.25s/it]
+
hellaswag_fr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 278/292 [37:51<01:57,  8.38s/it]
+
hellaswag_fr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 279/292 [37:59<01:47,  8.28s/it]
+
hellaswag_fr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 280/292 [38:07<01:38,  8.17s/it]
+
hellaswag_fr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 281/292 [38:15<01:29,  8.16s/it]
+
hellaswag_fr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 282/292 [38:23<01:21,  8.12s/it]
+
hellaswag_fr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 283/292 [38:32<01:13,  8.14s/it]
+
hellaswag_fr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 284/292 [38:40<01:04,  8.07s/it]
+
hellaswag_fr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 285/292 [38:48<00:57,  8.26s/it]
+
hellaswag_fr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 286/292 [38:56<00:49,  8.24s/it]
+
hellaswag_fr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 287/292 [39:05<00:41,  8.24s/it]
+
hellaswag_fr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [39:13<00:32,  8.15s/it]
+
hellaswag_fr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [39:21<00:24,  8.12s/it]
+
hellaswag_fr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [39:29<00:16,  8.19s/it]
+
hellaswag_fr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [39:37<00:08,  8.11s/it]
+
hellaswag_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [39:44<00:00,  7.86s/it]
hellaswag_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [39:44<00:00,  8.17s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_fr_acc 0.5412293853073463
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_fr_acc_norm 0.7244591989719426
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:47:44,580 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:47:44,580 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:44,703 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:47:44,703 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:44,826 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:47:44,826 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:44,948 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:47:44,949 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 15:47:44,949 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 15:47:45,075 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 15:47:45,075 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_fr_acc'}
+2024-05-29 15:47:45,137 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 15:47:45,137 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1155, 'value': 0.5412293853073463}
+2024-05-29 15:47:45,200 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:47:45,832 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:47:45,832 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:45,957 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:47:45,957 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:46,081 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:47:46,081 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 15:47:46,206 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 15:47:46,332 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 15:47:46,332 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_fr_acc_norm'}
+2024-05-29 15:47:46,395 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 15:47:46,395 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1156, 'value': 0.7244591989719426}
+2024-05-29 15:47:46,458 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  31%|██████████████████████████████████▎                                                                          | 39/124 [9:00:15<57:33:34, 2437.82s/it]['hellaswag_gu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 15:47:47,097 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 15:47:47,097 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:47,223 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 15:47:47,223 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:47,348 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 15:47:47,348 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 15:47:47,474 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 15:47:47,475 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 15:47:47,475 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_gu'}
+2024-05-29 15:47:47,601 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_gu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:04,  4.71s/ examples]
+
Generating validation split: 1967 examples [00:04, 576.57 examples/s]
+
Generating validation split: 3435 examples [00:04, 1143.48 examples/s]
+
Generating validation split: 5000 examples [00:05, 1926.89 examples/s]
+
Generating validation split: 7000 examples [00:05, 3163.07 examples/s]
+
Generating validation split: 8732 examples [00:05, 4457.35 examples/s]
Generating validation split: 8803 examples [00:05, 1666.54 examples/s]
+Loaded 8803 examples
+Running loglikelihood requests
+
+
hellaswag_gu:   0%|                                                                                                                          | 0/276 [00:00<?, ?it/s]
+
hellaswag_gu:   0%|▍                                                                                                               | 1/276 [00:17<1:19:43, 17.39s/it]
+
hellaswag_gu:   1%|▊                                                                                                               | 2/276 [00:35<1:22:20, 18.03s/it]
+
hellaswag_gu:   1%|█▏                                                                                                              | 3/276 [00:52<1:19:59, 17.58s/it]
+
hellaswag_gu:   1%|█▌                                                                                                              | 4/276 [01:13<1:25:35, 18.88s/it]
+
hellaswag_gu:   2%|██                                                                                                              | 5/276 [01:34<1:28:34, 19.61s/it]
+
hellaswag_gu:   2%|██▍                                                                                                             | 6/276 [01:52<1:26:10, 19.15s/it]
+
hellaswag_gu:   3%|██▊                                                                                                             | 7/276 [02:11<1:24:33, 18.86s/it]
+
hellaswag_gu:   3%|███▏                                                                                                            | 8/276 [02:29<1:24:01, 18.81s/it]
+
hellaswag_gu:   3%|███▋                                                                                                            | 9/276 [02:48<1:23:01, 18.66s/it]
+
hellaswag_gu:   4%|████                                                                                                           | 10/276 [03:07<1:23:15, 18.78s/it]
+
hellaswag_gu:   4%|████▍                                                                                                          | 11/276 [03:26<1:23:08, 18.83s/it]
+
hellaswag_gu:   4%|████▊                                                                                                          | 12/276 [03:45<1:22:49, 18.82s/it]
+
hellaswag_gu:   5%|█████▏                                                                                                         | 13/276 [04:06<1:25:35, 19.52s/it]
+
hellaswag_gu:   5%|█████▋                                                                                                         | 14/276 [04:27<1:27:34, 20.05s/it]
+
hellaswag_gu:   5%|██████                                                                                                         | 15/276 [04:47<1:27:16, 20.06s/it]
+
hellaswag_gu:   6%|██████▍                                                                                                        | 16/276 [05:04<1:22:54, 19.13s/it]
+
hellaswag_gu:   6%|██████▊                                                                                                        | 17/276 [05:22<1:21:39, 18.92s/it]
+
hellaswag_gu:   7%|███████▏                                                                                                       | 18/276 [05:42<1:22:43, 19.24s/it]
+
hellaswag_gu:   7%|███████▋                                                                                                       | 19/276 [06:02<1:22:47, 19.33s/it]
+
hellaswag_gu:   7%|████████                                                                                                       | 20/276 [06:22<1:22:58, 19.45s/it]
+
hellaswag_gu:   8%|████████▍                                                                                                      | 21/276 [06:40<1:21:29, 19.18s/it]
+
hellaswag_gu:   8%|████████▊                                                                                                      | 22/276 [06:59<1:20:02, 18.91s/it]
+
hellaswag_gu:   8%|█████████▎                                                                                                     | 23/276 [07:18<1:20:07, 19.00s/it]
+
hellaswag_gu:   9%|█████████▋                                                                                                     | 24/276 [07:35<1:17:22, 18.42s/it]
+
hellaswag_gu:   9%|██████████                                                                                                     | 25/276 [07:54<1:17:27, 18.52s/it]
+
hellaswag_gu:   9%|██████████▍                                                                                                    | 26/276 [08:13<1:18:54, 18.94s/it]
+
hellaswag_gu:  10%|██████████▊                                                                                                    | 27/276 [08:33<1:19:29, 19.15s/it]
+
hellaswag_gu:  10%|███████████▎                                                                                                   | 28/276 [08:51<1:17:53, 18.84s/it]
+
hellaswag_gu:  11%|███████████▋                                                                                                   | 29/276 [09:10<1:17:52, 18.92s/it]
+
hellaswag_gu:  11%|████████████                                                                                                   | 30/276 [09:30<1:18:53, 19.24s/it]
+
hellaswag_gu:  11%|████████████▍                                                                                                  | 31/276 [09:49<1:18:02, 19.11s/it]
+
hellaswag_gu:  12%|████████████▊                                                                                                  | 32/276 [10:08<1:17:06, 18.96s/it]
+
hellaswag_gu:  12%|█████████████▎                                                                                                 | 33/276 [10:26<1:15:23, 18.61s/it]
+
hellaswag_gu:  12%|█████████████▋                                                                                                 | 34/276 [10:44<1:14:50, 18.56s/it]
+
hellaswag_gu:  13%|██████████████                                                                                                 | 35/276 [11:03<1:14:52, 18.64s/it]
+
hellaswag_gu:  13%|██████████████▍                                                                                                | 36/276 [11:22<1:14:47, 18.70s/it]
+
hellaswag_gu:  13%|██████████████▉                                                                                                | 37/276 [11:39<1:13:12, 18.38s/it]
+
hellaswag_gu:  14%|███████████████▎                                                                                               | 38/276 [11:59<1:14:57, 18.90s/it]
+
hellaswag_gu:  14%|███████████████▋                                                                                               | 39/276 [12:18<1:14:33, 18.88s/it]
+
hellaswag_gu:  14%|████████████████                                                                                               | 40/276 [12:37<1:14:28, 18.93s/it]
+
hellaswag_gu:  15%|████████████████▍                                                                                              | 41/276 [12:58<1:15:57, 19.39s/it]
+
hellaswag_gu:  15%|████████████████▉                                                                                              | 42/276 [13:17<1:15:20, 19.32s/it]
+
hellaswag_gu:  16%|█████████████████▎                                                                                             | 43/276 [13:37<1:15:58, 19.56s/it]
+
hellaswag_gu:  16%|█████████████████▋                                                                                             | 44/276 [13:56<1:14:29, 19.26s/it]
+
hellaswag_gu:  16%|██████████████████                                                                                             | 45/276 [14:14<1:13:43, 19.15s/it]
+
hellaswag_gu:  17%|██████████████████▌                                                                                            | 46/276 [14:33<1:13:10, 19.09s/it]
+
hellaswag_gu:  17%|██████████████████▉                                                                                            | 47/276 [14:52<1:12:40, 19.04s/it]
+
hellaswag_gu:  17%|███████████████████▎                                                                                           | 48/276 [15:12<1:13:01, 19.21s/it]
+
hellaswag_gu:  18%|███████████████████▋                                                                                           | 49/276 [15:30<1:11:51, 19.00s/it]
+
hellaswag_gu:  18%|████████████████████                                                                                           | 50/276 [15:49<1:10:39, 18.76s/it]
+
hellaswag_gu:  18%|████████████████████▌                                                                                          | 51/276 [16:08<1:10:53, 18.90s/it]
+
hellaswag_gu:  19%|████████████████████▉                                                                                          | 52/276 [16:25<1:09:04, 18.50s/it]
+
hellaswag_gu:  19%|█████████████████████▎                                                                                         | 53/276 [16:46<1:10:39, 19.01s/it]
+
hellaswag_gu:  20%|█████████████████████▋                                                                                         | 54/276 [17:03<1:08:51, 18.61s/it]
+
hellaswag_gu:  20%|██████████████████████                                                                                         | 55/276 [17:23<1:09:40, 18.91s/it]
+
hellaswag_gu:  20%|██████████████████████▌                                                                                        | 56/276 [17:41<1:08:51, 18.78s/it]
+
hellaswag_gu:  21%|██████████████████████▉                                                                                        | 57/276 [18:01<1:08:58, 18.90s/it]
+
hellaswag_gu:  21%|███████████████████████▎                                                                                       | 58/276 [18:20<1:09:02, 19.00s/it]
+
hellaswag_gu:  21%|███████████████████████▋                                                                                       | 59/276 [18:37<1:07:00, 18.53s/it]
+
hellaswag_gu:  22%|████████████████████████▏                                                                                      | 60/276 [18:56<1:06:57, 18.60s/it]
+
hellaswag_gu:  22%|████████████████████████▌                                                                                      | 61/276 [19:14<1:05:49, 18.37s/it]
+
hellaswag_gu:  22%|████████████████████████▉                                                                                      | 62/276 [19:33<1:06:42, 18.70s/it]
+
hellaswag_gu:  23%|█████████████████████████▎                                                                                     | 63/276 [19:53<1:06:56, 18.86s/it]
+
hellaswag_gu:  23%|█████████████████████████▋                                                                                     | 64/276 [20:11<1:06:04, 18.70s/it]
+
hellaswag_gu:  24%|██████████████████████████▏                                                                                    | 65/276 [20:29<1:05:38, 18.67s/it]
+
hellaswag_gu:  24%|██████████████████████████▌                                                                                    | 66/276 [20:49<1:06:34, 19.02s/it]
+
hellaswag_gu:  24%|██████████████████████████▉                                                                                    | 67/276 [21:09<1:07:16, 19.32s/it]
+
hellaswag_gu:  25%|███████████████████████████▎                                                                                   | 68/276 [21:28<1:06:45, 19.26s/it]
+
hellaswag_gu:  25%|███████████████████████████▊                                                                                   | 69/276 [21:46<1:04:25, 18.67s/it]
+
hellaswag_gu:  25%|████████████████████████████▏                                                                                  | 70/276 [22:06<1:05:32, 19.09s/it]
+
hellaswag_gu:  26%|████████████████████████████▌                                                                                  | 71/276 [22:26<1:06:20, 19.42s/it]
+
hellaswag_gu:  26%|████████████████████████████▉                                                                                  | 72/276 [22:45<1:05:40, 19.32s/it]
+
hellaswag_gu:  26%|█████████████████████████████▎                                                                                 | 73/276 [23:04<1:05:09, 19.26s/it]
+
hellaswag_gu:  27%|█████████████████████████████▊                                                                                 | 74/276 [23:23<1:04:02, 19.02s/it]
+
hellaswag_gu:  27%|██████████████████████████████▏                                                                                | 75/276 [23:42<1:04:07, 19.14s/it]
+
hellaswag_gu:  28%|██████████████████████████████▌                                                                                | 76/276 [24:00<1:02:26, 18.73s/it]
+
hellaswag_gu:  28%|██████████████████████████████▉                                                                                | 77/276 [24:19<1:02:23, 18.81s/it]
+
hellaswag_gu:  28%|███████████████████████████████▎                                                                               | 78/276 [24:38<1:02:10, 18.84s/it]
+
hellaswag_gu:  29%|████████████████████████████████▎                                                                                | 79/276 [24:54<59:45, 18.20s/it]
+
hellaswag_gu:  29%|████████████████████████████████▏                                                                              | 80/276 [25:13<1:00:06, 18.40s/it]
+
hellaswag_gu:  29%|████████████████████████████████▌                                                                              | 81/276 [25:32<1:00:18, 18.55s/it]
+
hellaswag_gu:  30%|█████████████████████████████████▌                                                                               | 82/276 [25:50<59:30, 18.41s/it]
+
hellaswag_gu:  30%|█████████████████████████████████▉                                                                               | 83/276 [26:08<58:34, 18.21s/it]
+
hellaswag_gu:  30%|██████████████████████████████████▍                                                                              | 84/276 [26:28<59:40, 18.65s/it]
+
hellaswag_gu:  31%|██████████████████████████████████▊                                                                              | 85/276 [26:46<59:21, 18.65s/it]
+
hellaswag_gu:  31%|██████████████████████████████████▌                                                                            | 86/276 [27:06<1:00:04, 18.97s/it]
+
hellaswag_gu:  32%|███████████████████████████████████▌                                                                             | 87/276 [27:24<58:53, 18.70s/it]
+
hellaswag_gu:  32%|████████████████████████████████████                                                                             | 88/276 [27:42<58:10, 18.57s/it]
+
hellaswag_gu:  32%|████████████████████████████████████▍                                                                            | 89/276 [28:01<57:43, 18.52s/it]
+
hellaswag_gu:  33%|████████████████████████████████████▊                                                                            | 90/276 [28:19<57:13, 18.46s/it]
+
hellaswag_gu:  33%|█████████████████████████████████████▎                                                                           | 91/276 [28:39<57:53, 18.78s/it]
+
hellaswag_gu:  33%|█████████████████████████████████████▋                                                                           | 92/276 [28:56<56:04, 18.28s/it]
+
hellaswag_gu:  34%|██████████████████████████████████████                                                                           | 93/276 [29:15<56:41, 18.59s/it]
+
hellaswag_gu:  34%|██████████████████████████████████████▍                                                                          | 94/276 [29:33<55:43, 18.37s/it]
+
hellaswag_gu:  34%|██████████████████████████████████████▉                                                                          | 95/276 [29:51<54:52, 18.19s/it]
+
hellaswag_gu:  35%|███████████████████████████████████████▎                                                                         | 96/276 [30:11<56:08, 18.71s/it]
+
hellaswag_gu:  35%|███████████████████████████████████████▋                                                                         | 97/276 [30:29<55:52, 18.73s/it]
+
hellaswag_gu:  36%|████████████████████████████████████████                                                                         | 98/276 [30:48<55:34, 18.73s/it]
+
hellaswag_gu:  36%|████████████████████████████████████████▌                                                                        | 99/276 [31:10<57:49, 19.60s/it]
+
hellaswag_gu:  36%|████████████████████████████████████████▌                                                                       | 100/276 [31:28<56:14, 19.17s/it]
+
hellaswag_gu:  37%|████████████████████████████████████████▉                                                                       | 101/276 [31:47<55:41, 19.09s/it]
+
hellaswag_gu:  37%|█████████████████████████████████████████▍                                                                      | 102/276 [32:07<56:36, 19.52s/it]
+
hellaswag_gu:  37%|█████████████████████████████████████████▊                                                                      | 103/276 [32:26<55:37, 19.29s/it]
+
hellaswag_gu:  38%|██████████████████████████████████████████▏                                                                     | 104/276 [32:44<53:55, 18.81s/it]
+
hellaswag_gu:  38%|██████████████████████████████████████████▌                                                                     | 105/276 [33:02<53:12, 18.67s/it]
+
hellaswag_gu:  38%|███████████████████████████████████████████                                                                     | 106/276 [33:21<53:22, 18.84s/it]
+
hellaswag_gu:  39%|███████████████████████████████████████████▍                                                                    | 107/276 [33:43<55:11, 19.59s/it]
+
hellaswag_gu:  39%|███████████████████████████████████████████▊                                                                    | 108/276 [34:01<53:20, 19.05s/it]
+
hellaswag_gu:  39%|████████████████████████████████████████████▏                                                                   | 109/276 [34:19<52:25, 18.83s/it]
+
hellaswag_gu:  40%|████████████████████████████████████████████▋                                                                   | 110/276 [34:38<52:25, 18.95s/it]
+
hellaswag_gu:  40%|█████████████████████████████████████████████                                                                   | 111/276 [34:57<52:26, 19.07s/it]
+
hellaswag_gu:  41%|█████████████████████████████████████████████▍                                                                  | 112/276 [35:17<52:33, 19.23s/it]
+
hellaswag_gu:  41%|█████████████████████████████████████████████▊                                                                  | 113/276 [35:36<52:08, 19.19s/it]
+
hellaswag_gu:  41%|██████████████████████████████████████████████▎                                                                 | 114/276 [35:55<51:38, 19.13s/it]
+
hellaswag_gu:  42%|██████████████████████████████████████████████▋                                                                 | 115/276 [36:16<52:57, 19.74s/it]
+
hellaswag_gu:  42%|███████████████████████████████████████████████                                                                 | 116/276 [36:36<52:13, 19.59s/it]
+
hellaswag_gu:  42%|███████████████████████████████████████████████▍                                                                | 117/276 [36:56<52:13, 19.71s/it]
+
hellaswag_gu:  43%|███████████████████████████████████████████████▉                                                                | 118/276 [37:14<50:50, 19.30s/it]
+
hellaswag_gu:  43%|████████████████████████████████████████████████▎                                                               | 119/276 [37:32<49:54, 19.07s/it]
+
hellaswag_gu:  43%|████████████████████████████████████████████████▋                                                               | 120/276 [37:52<49:45, 19.14s/it]
+
hellaswag_gu:  44%|█████████████████████████████████████████████████                                                               | 121/276 [38:11<49:36, 19.20s/it]
+
hellaswag_gu:  44%|█████████████████████████████████████████████████▌                                                              | 122/276 [38:28<47:51, 18.65s/it]
+
hellaswag_gu:  45%|█████████████████████████████████████████████████▉                                                              | 123/276 [38:47<47:26, 18.60s/it]
+
hellaswag_gu:  45%|██████████████████████████████████████████████████▎                                                             | 124/276 [39:05<46:51, 18.50s/it]
+
hellaswag_gu:  45%|██████████████████████████████████████████████████▋                                                             | 125/276 [39:25<47:29, 18.87s/it]
+
hellaswag_gu:  46%|███████████████████████████████████████████████████▏                                                            | 126/276 [39:43<46:50, 18.74s/it]
+
hellaswag_gu:  46%|███████████████████████████████████████████████████▌                                                            | 127/276 [40:03<47:01, 18.94s/it]
+
hellaswag_gu:  46%|███████████████████████████████████████████████████▉                                                            | 128/276 [40:21<46:09, 18.71s/it]
+
hellaswag_gu:  47%|████████████████████████████████████████████████████▎                                                           | 129/276 [40:41<46:37, 19.03s/it]
+
hellaswag_gu:  47%|████████████████████████████████████████████████████▊                                                           | 130/276 [41:01<46:52, 19.26s/it]
+
hellaswag_gu:  47%|█████████████████████████████████████████████████████▏                                                          | 131/276 [41:21<47:21, 19.59s/it]
+
hellaswag_gu:  48%|█████████████████████████████████████████████████████▌                                                          | 132/276 [41:39<46:16, 19.28s/it]
+
hellaswag_gu:  48%|█████████████████████████████████████████████████████▉                                                          | 133/276 [41:59<46:15, 19.41s/it]
+
hellaswag_gu:  49%|██████████████████████████████████████████████████████▍                                                         | 134/276 [42:18<45:13, 19.11s/it]
+
hellaswag_gu:  49%|██████████████████████████████████████████████████████▊                                                         | 135/276 [42:35<43:56, 18.70s/it]
+
hellaswag_gu:  49%|███████████████████████████████████████████████████████▏                                                        | 136/276 [42:53<42:50, 18.36s/it]
+
hellaswag_gu:  50%|███████████████████████████████████████████████████████▌                                                        | 137/276 [43:13<43:52, 18.94s/it]
+
hellaswag_gu:  50%|████████████████████████████████████████████████████████                                                        | 138/276 [43:33<44:05, 19.17s/it]
+
hellaswag_gu:  50%|████████████████████████████████████████████████████████▍                                                       | 139/276 [43:52<43:51, 19.21s/it]
+
hellaswag_gu:  51%|████████████████████████████████████████████████████████▊                                                       | 140/276 [44:11<43:07, 19.02s/it]
+
hellaswag_gu:  51%|█████████████████████████████████████████████████████████▏                                                      | 141/276 [44:31<43:56, 19.53s/it]
+
hellaswag_gu:  51%|█████████████████████████████████████████████████████████▌                                                      | 142/276 [44:51<43:48, 19.62s/it]
+
hellaswag_gu:  52%|██████████████████████████████████████████████████████████                                                      | 143/276 [45:08<41:20, 18.65s/it]
+
hellaswag_gu:  52%|██████████████████████████████████████████████████████████▍                                                     | 144/276 [45:27<41:31, 18.88s/it]
+
hellaswag_gu:  53%|██████████████████████████████████████████████████████████▊                                                     | 145/276 [45:46<40:59, 18.77s/it]
+
hellaswag_gu:  53%|███████████████████████████████████████████████████████████▏                                                    | 146/276 [46:05<41:04, 18.96s/it]
+
hellaswag_gu:  53%|███████████████████████████████████████████████████████████▋                                                    | 147/276 [46:23<39:50, 18.53s/it]
+
hellaswag_gu:  54%|████████████████████████████████████████████████████████████                                                    | 148/276 [46:39<38:29, 18.05s/it]
+
hellaswag_gu:  54%|████████████████████████████████████████████████████████████▍                                                   | 149/276 [46:59<39:21, 18.60s/it]
+
hellaswag_gu:  54%|████████████████████████████████████████████████████████████▊                                                   | 150/276 [47:17<38:22, 18.27s/it]
+
hellaswag_gu:  55%|█████████████████████████████████████████████████████████████▎                                                  | 151/276 [47:36<38:26, 18.45s/it]
+
hellaswag_gu:  55%|█████████████████████████████████████████████████████████████▋                                                  | 152/276 [47:54<37:57, 18.37s/it]
+
hellaswag_gu:  55%|██████████████████████████████████████████████████████████████                                                  | 153/276 [48:14<38:30, 18.79s/it]
+
hellaswag_gu:  56%|██████████████████████████████████████████████████████████████▍                                                 | 154/276 [48:34<39:07, 19.24s/it]
+
hellaswag_gu:  56%|██████████████████████████████████████████████████████████████▉                                                 | 155/276 [48:53<38:35, 19.14s/it]
+
hellaswag_gu:  57%|███████████████████████████████████████████████████████████████▎                                                | 156/276 [49:11<37:50, 18.92s/it]
+
hellaswag_gu:  57%|███████████████████████████████████████████████████████████████▋                                                | 157/276 [49:29<36:54, 18.61s/it]
+
hellaswag_gu:  57%|████████████████████████████████████████████████████████████████                                                | 158/276 [49:49<37:07, 18.88s/it]
+
hellaswag_gu:  58%|████████████████████████████████████████████████████████████████▌                                               | 159/276 [50:06<36:02, 18.48s/it]
+
hellaswag_gu:  58%|████████████████████████████████████████████████████████████████▉                                               | 160/276 [50:26<36:30, 18.88s/it]
+
hellaswag_gu:  58%|█████████████████████████████████████████████████████████████████▎                                              | 161/276 [50:46<36:44, 19.17s/it]
+
hellaswag_gu:  59%|█████████████████████████████████████████████████████████████████▋                                              | 162/276 [51:05<36:28, 19.19s/it]
+
hellaswag_gu:  59%|██████████████████████████████████████████████████████████████████▏                                             | 163/276 [51:24<36:03, 19.14s/it]
+
hellaswag_gu:  59%|██████████████████████████████████████████████████████████████████▌                                             | 164/276 [51:44<35:51, 19.21s/it]
+
hellaswag_gu:  60%|██████████████████████████████████████████████████████████████████▉                                             | 165/276 [52:03<35:53, 19.40s/it]
+
hellaswag_gu:  60%|███████████████████████████████████████████████████████████████████▎                                            | 166/276 [52:23<35:31, 19.37s/it]
+
hellaswag_gu:  61%|███████████████████████████████████████████████████████████████████▊                                            | 167/276 [52:42<35:11, 19.37s/it]
+
hellaswag_gu:  61%|████████████████████████████████████████████████████████████████████▏                                           | 168/276 [53:03<35:39, 19.81s/it]
+
hellaswag_gu:  61%|████████████████████████████████████████████████████████████████████▌                                           | 169/276 [53:21<34:19, 19.25s/it]
+
hellaswag_gu:  62%|████████████████████████████████████████████████████████████████████▉                                           | 170/276 [53:41<34:19, 19.43s/it]
+
hellaswag_gu:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 171/276 [54:01<34:33, 19.75s/it]
+
hellaswag_gu:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 172/276 [54:20<33:36, 19.39s/it]
+
hellaswag_gu:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 173/276 [54:39<33:23, 19.45s/it]
+
hellaswag_gu:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 174/276 [54:58<32:51, 19.33s/it]
+
hellaswag_gu:  63%|███████████████████████████████████████████████████████████████████████                                         | 175/276 [55:18<32:34, 19.35s/it]
+
hellaswag_gu:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 176/276 [55:40<33:27, 20.07s/it]
+
hellaswag_gu:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 177/276 [55:58<32:06, 19.46s/it]
+
hellaswag_gu:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 178/276 [56:16<31:10, 19.09s/it]
+
hellaswag_gu:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 179/276 [56:37<31:54, 19.74s/it]
+
hellaswag_gu:  65%|█████████████████████████████████████████████████████████████████████████                                       | 180/276 [56:55<30:54, 19.32s/it]
+
hellaswag_gu:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 181/276 [57:14<30:24, 19.21s/it]
+
hellaswag_gu:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 182/276 [57:32<29:21, 18.74s/it]
+
hellaswag_gu:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 183/276 [57:50<28:55, 18.66s/it]
+
hellaswag_gu:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 184/276 [58:08<28:15, 18.43s/it]
+
hellaswag_gu:  67%|███████████████████████████████████████████████████████████████████████████                                     | 185/276 [58:29<29:01, 19.14s/it]
+
hellaswag_gu:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 186/276 [58:48<28:34, 19.05s/it]
+
hellaswag_gu:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 187/276 [59:07<28:15, 19.06s/it]
+
hellaswag_gu:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 188/276 [59:25<27:39, 18.86s/it]
+
hellaswag_gu:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 189/276 [59:44<27:08, 18.71s/it]
+
hellaswag_gu:  69%|███████████████████████████████████████████████████████████████████████████▋                                  | 190/276 [1:00:03<27:09, 18.95s/it]
+
hellaswag_gu:  69%|████████████████████████████████████████████████████████████████████████████                                  | 191/276 [1:00:22<26:50, 18.95s/it]
+
hellaswag_gu:  70%|████████████████████████████████████████████████████████████████████████████▌                                 | 192/276 [1:00:40<26:10, 18.70s/it]
+
hellaswag_gu:  70%|████████████████████████████████████████████████████████████████████████████▉                                 | 193/276 [1:00:59<25:54, 18.73s/it]
+
hellaswag_gu:  70%|█████████████████████████████████████████████████████████████████████████████▎                                | 194/276 [1:01:19<25:51, 18.92s/it]
+
hellaswag_gu:  71%|█████████████████████████████████████████████████████████████████████████████▋                                | 195/276 [1:01:36<25:03, 18.56s/it]
+
hellaswag_gu:  71%|██████████████████████████████████████████████████████████████████████████████                                | 196/276 [1:01:56<25:02, 18.78s/it]
+
hellaswag_gu:  71%|██████████████████████████████████████████████████████████████████████████████▌                               | 197/276 [1:02:14<24:25, 18.55s/it]
+
hellaswag_gu:  72%|██████████████████████████████████████████████████████████████████████████████▉                               | 198/276 [1:02:32<23:55, 18.40s/it]
+
hellaswag_gu:  72%|███████████████████████████████████████████████████████████████████████████████▎                              | 199/276 [1:02:49<23:08, 18.03s/it]
+
hellaswag_gu:  72%|███████████████████████████████████████████████████████████████████████████████▋                              | 200/276 [1:03:07<22:46, 17.98s/it]
+
hellaswag_gu:  73%|████████████████████████████████████████████████████████████████████████████████                              | 201/276 [1:03:26<23:09, 18.52s/it]
+
hellaswag_gu:  73%|████████████████████████████████████████████████████████████████████████████████▌                             | 202/276 [1:03:45<22:56, 18.60s/it]
+
hellaswag_gu:  74%|████████████████████████████████████████████████████████████████████████████████▉                             | 203/276 [1:04:06<23:30, 19.33s/it]
+
hellaswag_gu:  74%|█████████████████████████████████████████████████████████████████████████████████▎                            | 204/276 [1:04:24<22:32, 18.78s/it]
+
hellaswag_gu:  74%|█████████████████████████████████████████████████████████████████████████████████▋                            | 205/276 [1:04:42<22:07, 18.69s/it]
+
hellaswag_gu:  75%|██████████████████████████████████████████████████████████████████████████████████                            | 206/276 [1:05:02<22:07, 18.96s/it]
+
hellaswag_gu:  75%|██████████████████████████████████████████████████████████████████████████████████▌                           | 207/276 [1:05:21<21:57, 19.09s/it]
+
hellaswag_gu:  75%|██████████████████████████████████████████████████████████████████████████████████▉                           | 208/276 [1:05:41<21:48, 19.24s/it]
+
hellaswag_gu:  76%|███████████████████████████████████████████████████████████████████████████████████▎                          | 209/276 [1:05:59<21:16, 19.05s/it]
+
hellaswag_gu:  76%|███████████████████████████████████████████████████████████████████████████████████▋                          | 210/276 [1:06:19<21:16, 19.35s/it]
+
hellaswag_gu:  76%|████████████████████████████████████████████████████████████████████████████████████                          | 211/276 [1:06:37<20:24, 18.84s/it]
+
hellaswag_gu:  77%|████████████████████████████████████████████████████████████████████████████████████▍                         | 212/276 [1:06:56<20:14, 18.98s/it]
+
hellaswag_gu:  77%|████████████████████████████████████████████████████████████████████████████████████▉                         | 213/276 [1:07:17<20:21, 19.39s/it]
+
hellaswag_gu:  78%|█████████████████████████████████████████████████████████████████████████████████████▎                        | 214/276 [1:07:34<19:26, 18.82s/it]
+
hellaswag_gu:  78%|█████████████████████████████████████████████████████████████████████████████████████▋                        | 215/276 [1:07:52<18:55, 18.62s/it]
+
hellaswag_gu:  78%|██████████████████████████████████████████████████████████████████████████████████████                        | 216/276 [1:08:11<18:28, 18.47s/it]
+
hellaswag_gu:  79%|██████████████████████████████████████████████████████████████████████████████████████▍                       | 217/276 [1:08:30<18:20, 18.65s/it]
+
hellaswag_gu:  79%|██████████████████████████████████████████████████████████████████████████████████████▉                       | 218/276 [1:08:48<17:56, 18.56s/it]
+
hellaswag_gu:  79%|███████████████████████████████████████████████████████████████████████████████████████▎                      | 219/276 [1:09:06<17:25, 18.34s/it]
+
hellaswag_gu:  80%|███████████████████████████████████████████████████████████████████████████████████████▋                      | 220/276 [1:09:25<17:26, 18.68s/it]
+
hellaswag_gu:  80%|████████████████████████████████████████████████████████████████████████████████████████                      | 221/276 [1:09:44<17:09, 18.72s/it]
+
hellaswag_gu:  80%|████████████████████████████████████████████████████████████████████████████████████████▍                     | 222/276 [1:10:03<16:52, 18.76s/it]
+
hellaswag_gu:  81%|████████████████████████████████████████████████████████████████████████████████████████▉                     | 223/276 [1:10:22<16:39, 18.87s/it]
+
hellaswag_gu:  81%|█████████████████████████████████████████████████████████████████████████████████████████▎                    | 224/276 [1:10:41<16:21, 18.88s/it]
+
hellaswag_gu:  82%|█████████████████████████████████████████████████████████████████████████████████████████▋                    | 225/276 [1:10:59<15:43, 18.50s/it]
+
hellaswag_gu:  82%|██████████████████████████████████████████████████████████████████████████████████████████                    | 226/276 [1:11:18<15:34, 18.69s/it]
+
hellaswag_gu:  82%|██████████████████████████████████████████████████████████████████████████████████████████▍                   | 227/276 [1:11:36<15:07, 18.52s/it]
+
hellaswag_gu:  83%|██████████████████████████████████████████████████████████████████████████████████████████▊                   | 228/276 [1:11:53<14:35, 18.24s/it]
+
hellaswag_gu:  83%|███████████████████████████████████████████████████████████████████████████████████████████▎                  | 229/276 [1:12:13<14:30, 18.53s/it]
+
hellaswag_gu:  83%|███████████████████████████████████████████████████████████████████████████████████████████▋                  | 230/276 [1:12:32<14:21, 18.74s/it]
+
hellaswag_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████                  | 231/276 [1:12:50<13:56, 18.60s/it]
+
hellaswag_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████▍                 | 232/276 [1:13:10<13:50, 18.88s/it]
+
hellaswag_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████▊                 | 233/276 [1:13:30<13:51, 19.33s/it]
+
hellaswag_gu:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 234/276 [1:13:49<13:22, 19.10s/it]
+
hellaswag_gu:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 235/276 [1:14:09<13:19, 19.50s/it]
+
hellaswag_gu:  86%|██████████████████████████████████████████████████████████████████████████████████████████████                | 236/276 [1:14:28<12:51, 19.30s/it]
+
hellaswag_gu:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▍               | 237/276 [1:14:47<12:26, 19.13s/it]
+
hellaswag_gu:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▊               | 238/276 [1:15:06<12:11, 19.25s/it]
+
hellaswag_gu:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▎              | 239/276 [1:15:24<11:37, 18.84s/it]
+
hellaswag_gu:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▋              | 240/276 [1:15:43<11:21, 18.93s/it]
+
hellaswag_gu:  87%|████████████████████████████████████████████████████████████████████████████████████████████████              | 241/276 [1:16:02<10:58, 18.83s/it]
+
hellaswag_gu:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▍             | 242/276 [1:16:20<10:34, 18.66s/it]
+
hellaswag_gu:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▊             | 243/276 [1:16:38<10:08, 18.44s/it]
+
hellaswag_gu:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████▏            | 244/276 [1:16:56<09:43, 18.23s/it]
+
hellaswag_gu:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋            | 245/276 [1:17:13<09:19, 18.06s/it]
+
hellaswag_gu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████            | 246/276 [1:17:33<09:16, 18.54s/it]
+
hellaswag_gu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▍           | 247/276 [1:17:52<09:02, 18.70s/it]
+
hellaswag_gu:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▊           | 248/276 [1:18:11<08:46, 18.79s/it]
+
hellaswag_gu:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏          | 249/276 [1:18:30<08:25, 18.74s/it]
+
hellaswag_gu:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋          | 250/276 [1:18:49<08:09, 18.83s/it]
+
hellaswag_gu:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████          | 251/276 [1:19:07<07:43, 18.53s/it]
+
hellaswag_gu:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 252/276 [1:19:25<07:27, 18.65s/it]
+
hellaswag_gu:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 253/276 [1:19:43<06:59, 18.22s/it]
+
hellaswag_gu:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 254/276 [1:20:01<06:44, 18.40s/it]
+
hellaswag_gu:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 255/276 [1:20:21<06:32, 18.71s/it]
+
hellaswag_gu:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 256/276 [1:20:41<06:20, 19.03s/it]
+
hellaswag_gu:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 257/276 [1:20:58<05:52, 18.57s/it]
+
hellaswag_gu:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 258/276 [1:21:18<05:41, 18.96s/it]
+
hellaswag_gu:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 259/276 [1:21:37<05:19, 18.81s/it]
+
hellaswag_gu:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 260/276 [1:21:56<05:02, 18.93s/it]
+
hellaswag_gu:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████      | 261/276 [1:22:14<04:38, 18.60s/it]
+
hellaswag_gu:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 262/276 [1:22:30<04:12, 18.04s/it]
+
hellaswag_gu:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 263/276 [1:22:50<03:59, 18.45s/it]
+
hellaswag_gu:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 264/276 [1:23:09<03:44, 18.72s/it]
+
hellaswag_gu:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 265/276 [1:23:28<03:25, 18.70s/it]
+
hellaswag_gu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████    | 266/276 [1:23:46<03:04, 18.43s/it]
+
hellaswag_gu:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 267/276 [1:24:05<02:48, 18.77s/it]
+
hellaswag_gu:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 268/276 [1:24:25<02:33, 19.14s/it]
+
hellaswag_gu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 269/276 [1:24:45<02:15, 19.32s/it]
+
hellaswag_gu:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 270/276 [1:25:05<01:58, 19.73s/it]
+
hellaswag_gu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 271/276 [1:25:23<01:35, 19.01s/it]
+
hellaswag_gu:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 272/276 [1:25:44<01:18, 19.64s/it]
+
hellaswag_gu:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 273/276 [1:26:04<00:59, 19.76s/it]
+
hellaswag_gu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 274/276 [1:26:24<00:39, 19.85s/it]
+
hellaswag_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 275/276 [1:26:45<00:20, 20.20s/it]
+
hellaswag_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 276/276 [1:26:50<00:00, 15.72s/it]
hellaswag_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 276/276 [1:26:50<00:00, 18.88s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_gu_acc 0.25695785527661025
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_gu_acc_norm 0.28717482676360334
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 17:14:45,800 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 17:14:45,800 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:45,923 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 17:14:45,923 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:46,045 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 17:14:46,045 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:46,167 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 17:14:46,168 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 17:14:46,168 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 17:14:46,292 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 17:14:46,292 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_gu_acc'}
+2024-05-29 17:14:46,354 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 17:14:46,354 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1157, 'value': 0.25695785527661025}
+2024-05-29 17:14:46,417 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 17:14:47,074 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 17:14:47,074 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:47,204 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 17:14:47,204 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:47,334 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 17:14:47,334 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:47,464 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 17:14:47,465 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 17:14:47,465 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 17:14:47,596 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 17:14:47,596 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_gu_acc_norm'}
+2024-05-29 17:14:47,662 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 17:14:47,662 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1158, 'value': 0.28717482676360334}
+2024-05-29 17:14:47,728 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  32%|██████████████████████████████████▊                                                                         | 40/124 [10:27:17<76:21:59, 3272.86s/it]['hellaswag_hi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 17:14:48,386 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 17:14:48,386 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:48,516 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 17:14:48,516 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:48,645 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 17:14:48,645 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 17:14:48,774 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 17:14:48,775 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 17:14:48,775 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hi'}
+2024-05-29 17:14:48,905 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_hi task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:05,  5.71s/ examples]
+
Generating validation split: 1602 examples [00:05, 390.69 examples/s]
+
Generating validation split: 3022 examples [00:05, 855.66 examples/s]
+
Generating validation split: 5000 examples [00:06, 1704.23 examples/s]
+
Generating validation split: 7000 examples [00:06, 2772.86 examples/s]
+
Generating validation split: 9000 examples [00:06, 4042.44 examples/s]
Generating validation split: 9416 examples [00:06, 1486.31 examples/s]
+Loaded 9416 examples
+Running loglikelihood requests
+
+
hellaswag_hi:   0%|                                                                                                                          | 0/295 [00:00<?, ?it/s]
+
hellaswag_hi:   0%|▍                                                                                                               | 1/295 [00:14<1:10:34, 14.40s/it]
+
hellaswag_hi:   1%|▊                                                                                                               | 2/295 [00:28<1:10:33, 14.45s/it]
+
hellaswag_hi:   1%|█▏                                                                                                              | 3/295 [00:44<1:13:35, 15.12s/it]
+
hellaswag_hi:   1%|█▌                                                                                                              | 4/295 [00:59<1:11:46, 14.80s/it]
+
hellaswag_hi:   2%|█▉                                                                                                              | 5/295 [01:14<1:11:58, 14.89s/it]
+
hellaswag_hi:   2%|██▎                                                                                                             | 6/295 [01:28<1:11:09, 14.77s/it]
+
hellaswag_hi:   2%|██▋                                                                                                             | 7/295 [01:42<1:09:51, 14.56s/it]
+
hellaswag_hi:   3%|███                                                                                                             | 8/295 [01:57<1:10:29, 14.74s/it]
+
hellaswag_hi:   3%|███▍                                                                                                            | 9/295 [02:12<1:09:24, 14.56s/it]
+
hellaswag_hi:   3%|███▊                                                                                                           | 10/295 [02:27<1:10:38, 14.87s/it]
+
hellaswag_hi:   4%|████▏                                                                                                          | 11/295 [02:41<1:08:40, 14.51s/it]
+
hellaswag_hi:   4%|████▌                                                                                                          | 12/295 [02:55<1:08:03, 14.43s/it]
+
hellaswag_hi:   4%|████▉                                                                                                          | 13/295 [03:10<1:07:59, 14.47s/it]
+
hellaswag_hi:   5%|█████▎                                                                                                         | 14/295 [03:25<1:08:37, 14.65s/it]
+
hellaswag_hi:   5%|█████▋                                                                                                         | 15/295 [03:39<1:07:48, 14.53s/it]
+
hellaswag_hi:   5%|██████                                                                                                         | 16/295 [03:52<1:05:38, 14.11s/it]
+
hellaswag_hi:   6%|██████▍                                                                                                        | 17/295 [04:07<1:05:49, 14.21s/it]
+
hellaswag_hi:   6%|██████▊                                                                                                        | 18/295 [04:22<1:07:37, 14.65s/it]
+
hellaswag_hi:   6%|███████▏                                                                                                       | 19/295 [04:36<1:06:47, 14.52s/it]
+
hellaswag_hi:   7%|███████▌                                                                                                       | 20/295 [04:50<1:05:20, 14.26s/it]
+
hellaswag_hi:   7%|███████▉                                                                                                       | 21/295 [05:04<1:05:02, 14.24s/it]
+
hellaswag_hi:   7%|████████▎                                                                                                      | 22/295 [05:18<1:03:51, 14.03s/it]
+
hellaswag_hi:   8%|████████▋                                                                                                      | 23/295 [05:32<1:04:10, 14.16s/it]
+
hellaswag_hi:   8%|█████████                                                                                                      | 24/295 [05:47<1:04:35, 14.30s/it]
+
hellaswag_hi:   8%|█████████▍                                                                                                     | 25/295 [06:02<1:04:57, 14.44s/it]
+
hellaswag_hi:   9%|█████████▊                                                                                                     | 26/295 [06:16<1:04:26, 14.37s/it]
+
hellaswag_hi:   9%|██████████▏                                                                                                    | 27/295 [06:30<1:03:39, 14.25s/it]
+
hellaswag_hi:   9%|██████████▌                                                                                                    | 28/295 [06:45<1:03:53, 14.36s/it]
+
hellaswag_hi:  10%|██████████▉                                                                                                    | 29/295 [07:00<1:05:17, 14.73s/it]
+
hellaswag_hi:  10%|███████████▎                                                                                                   | 30/295 [07:16<1:06:48, 15.13s/it]
+
hellaswag_hi:  11%|███████████▋                                                                                                   | 31/295 [07:32<1:07:01, 15.23s/it]
+
hellaswag_hi:  11%|████████████                                                                                                   | 32/295 [07:45<1:04:50, 14.79s/it]
+
hellaswag_hi:  11%|████████████▍                                                                                                  | 33/295 [07:59<1:03:38, 14.58s/it]
+
hellaswag_hi:  12%|████████████▊                                                                                                  | 34/295 [08:14<1:03:53, 14.69s/it]
+
hellaswag_hi:  12%|█████████████▏                                                                                                 | 35/295 [08:28<1:02:35, 14.45s/it]
+
hellaswag_hi:  12%|█████████████▌                                                                                                 | 36/295 [08:42<1:01:59, 14.36s/it]
+
hellaswag_hi:  13%|█████████████▉                                                                                                 | 37/295 [08:57<1:01:42, 14.35s/it]
+
hellaswag_hi:  13%|██████████████▎                                                                                                | 38/295 [09:11<1:01:28, 14.35s/it]
+
hellaswag_hi:  13%|██████████████▋                                                                                                | 39/295 [09:26<1:02:12, 14.58s/it]
+
hellaswag_hi:  14%|███████████████                                                                                                | 40/295 [09:41<1:02:23, 14.68s/it]
+
hellaswag_hi:  14%|███████████████▍                                                                                               | 41/295 [09:56<1:02:02, 14.66s/it]
+
hellaswag_hi:  14%|███████████████▊                                                                                               | 42/295 [10:11<1:02:02, 14.71s/it]
+
hellaswag_hi:  15%|████████████████▏                                                                                              | 43/295 [10:26<1:02:30, 14.88s/it]
+
hellaswag_hi:  15%|████████████████▌                                                                                              | 44/295 [10:40<1:01:32, 14.71s/it]
+
hellaswag_hi:  15%|████████████████▉                                                                                              | 45/295 [10:55<1:01:06, 14.67s/it]
+
hellaswag_hi:  16%|█████████████████▎                                                                                             | 46/295 [11:09<1:00:31, 14.58s/it]
+
hellaswag_hi:  16%|██████████████████                                                                                               | 47/295 [11:23<59:54, 14.49s/it]
+
hellaswag_hi:  16%|██████████████████▍                                                                                              | 48/295 [11:38<59:53, 14.55s/it]
+
hellaswag_hi:  17%|██████████████████▊                                                                                              | 49/295 [11:51<57:13, 13.96s/it]
+
hellaswag_hi:  17%|███████████████████▏                                                                                             | 50/295 [12:05<57:55, 14.18s/it]
+
hellaswag_hi:  17%|███████████████████▌                                                                                             | 51/295 [12:20<57:48, 14.22s/it]
+
hellaswag_hi:  18%|███████████████████▉                                                                                             | 52/295 [12:35<58:22, 14.41s/it]
+
hellaswag_hi:  18%|████████████████████▎                                                                                            | 53/295 [12:49<57:59, 14.38s/it]
+
hellaswag_hi:  18%|████████████████████▋                                                                                            | 54/295 [13:03<57:46, 14.38s/it]
+
hellaswag_hi:  19%|█████████████████████                                                                                            | 55/295 [13:18<57:52, 14.47s/it]
+
hellaswag_hi:  19%|█████████████████████▍                                                                                           | 56/295 [13:33<58:10, 14.61s/it]
+
hellaswag_hi:  19%|█████████████████████▊                                                                                           | 57/295 [13:47<57:58, 14.61s/it]
+
hellaswag_hi:  20%|██████████████████████▏                                                                                          | 58/295 [14:01<56:19, 14.26s/it]
+
hellaswag_hi:  20%|██████████████████████▌                                                                                          | 59/295 [14:17<58:08, 14.78s/it]
+
hellaswag_hi:  20%|██████████████████████▉                                                                                          | 60/295 [14:31<57:35, 14.70s/it]
+
hellaswag_hi:  21%|███████████████████████▎                                                                                         | 61/295 [14:45<56:26, 14.47s/it]
+
hellaswag_hi:  21%|███████████████████████▋                                                                                         | 62/295 [14:59<55:22, 14.26s/it]
+
hellaswag_hi:  21%|████████████████████████▏                                                                                        | 63/295 [15:13<55:12, 14.28s/it]
+
hellaswag_hi:  22%|████████████████████████▌                                                                                        | 64/295 [15:28<55:21, 14.38s/it]
+
hellaswag_hi:  22%|████████████████████████▉                                                                                        | 65/295 [15:42<54:47, 14.29s/it]
+
hellaswag_hi:  22%|█████████████████████████▎                                                                                       | 66/295 [15:56<54:29, 14.28s/it]
+
hellaswag_hi:  23%|█████████████████████████▋                                                                                       | 67/295 [16:11<54:26, 14.33s/it]
+
hellaswag_hi:  23%|██████████████████████████                                                                                       | 68/295 [16:25<53:41, 14.19s/it]
+
hellaswag_hi:  23%|██████████████████████████▍                                                                                      | 69/295 [16:39<53:36, 14.23s/it]
+
hellaswag_hi:  24%|██████████████████████████▊                                                                                      | 70/295 [16:54<54:24, 14.51s/it]
+
hellaswag_hi:  24%|███████████████████████████▏                                                                                     | 71/295 [17:09<53:59, 14.46s/it]
+
hellaswag_hi:  24%|███████████████████████████▌                                                                                     | 72/295 [17:23<53:35, 14.42s/it]
+
hellaswag_hi:  25%|███████████████████████████▉                                                                                     | 73/295 [17:37<53:10, 14.37s/it]
+
hellaswag_hi:  25%|████████████████████████████▎                                                                                    | 74/295 [17:52<53:34, 14.55s/it]
+
hellaswag_hi:  25%|████████████████████████████▋                                                                                    | 75/295 [18:06<52:45, 14.39s/it]
+
hellaswag_hi:  26%|█████████████████████████████                                                                                    | 76/295 [18:20<51:29, 14.11s/it]
+
hellaswag_hi:  26%|█████████████████████████████▍                                                                                   | 77/295 [18:34<52:06, 14.34s/it]
+
hellaswag_hi:  26%|█████████████████████████████▉                                                                                   | 78/295 [18:49<52:34, 14.54s/it]
+
hellaswag_hi:  27%|██████████████████████████████▎                                                                                  | 79/295 [19:04<52:17, 14.52s/it]
+
hellaswag_hi:  27%|██████████████████████████████▋                                                                                  | 80/295 [19:18<51:30, 14.37s/it]
+
hellaswag_hi:  27%|███████████████████████████████                                                                                  | 81/295 [19:32<50:49, 14.25s/it]
+
hellaswag_hi:  28%|███████████████████████████████▍                                                                                 | 82/295 [19:47<51:05, 14.39s/it]
+
hellaswag_hi:  28%|███████████████████████████████▊                                                                                 | 83/295 [20:01<50:22, 14.26s/it]
+
hellaswag_hi:  28%|████████████████████████████████▏                                                                                | 84/295 [20:15<50:02, 14.23s/it]
+
hellaswag_hi:  29%|████████████████████████████████▌                                                                                | 85/295 [20:29<50:08, 14.33s/it]
+
hellaswag_hi:  29%|████████████████████████████████▉                                                                                | 86/295 [20:44<50:02, 14.37s/it]
+
hellaswag_hi:  29%|█████████████████████████████████▎                                                                               | 87/295 [20:58<49:18, 14.22s/it]
+
hellaswag_hi:  30%|█████████████████████████████████▋                                                                               | 88/295 [21:11<48:21, 14.02s/it]
+
hellaswag_hi:  30%|██████████████████████████████████                                                                               | 89/295 [21:26<49:17, 14.36s/it]
+
hellaswag_hi:  31%|██████████████████████████████████▍                                                                              | 90/295 [21:42<50:13, 14.70s/it]
+
hellaswag_hi:  31%|██████████████████████████████████▊                                                                              | 91/295 [21:55<48:43, 14.33s/it]
+
hellaswag_hi:  31%|███████████████████████████████████▏                                                                             | 92/295 [22:10<49:16, 14.56s/it]
+
hellaswag_hi:  32%|███████████████████████████████████▌                                                                             | 93/295 [22:26<50:27, 14.99s/it]
+
hellaswag_hi:  32%|████████████████████████████████████                                                                             | 94/295 [22:41<49:21, 14.73s/it]
+
hellaswag_hi:  32%|████████████████████████████████████▍                                                                            | 95/295 [22:56<49:23, 14.82s/it]
+
hellaswag_hi:  33%|████████████████████████████████████▊                                                                            | 96/295 [23:10<48:46, 14.71s/it]
+
hellaswag_hi:  33%|█████████████████████████████████████▏                                                                           | 97/295 [23:24<48:14, 14.62s/it]
+
hellaswag_hi:  33%|█████████████████████████████████████▌                                                                           | 98/295 [23:39<47:58, 14.61s/it]
+
hellaswag_hi:  34%|█████████████████████████████████████▉                                                                           | 99/295 [23:55<48:58, 14.99s/it]
+
hellaswag_hi:  34%|█████████████████████████████████████▉                                                                          | 100/295 [24:10<49:05, 15.10s/it]
+
hellaswag_hi:  34%|██████████████████████████████████████▎                                                                         | 101/295 [24:25<48:48, 15.09s/it]
+
hellaswag_hi:  35%|██████████████████████████████████████▋                                                                         | 102/295 [24:40<47:47, 14.86s/it]
+
hellaswag_hi:  35%|███████████████████████████████████████                                                                         | 103/295 [24:53<46:25, 14.51s/it]
+
hellaswag_hi:  35%|███████████████████████████████████████▍                                                                        | 104/295 [25:07<45:48, 14.39s/it]
+
hellaswag_hi:  36%|███████████████████████████████████████▊                                                                        | 105/295 [25:21<44:50, 14.16s/it]
+
hellaswag_hi:  36%|████████████████████████████████████████▏                                                                       | 106/295 [25:35<44:11, 14.03s/it]
+
hellaswag_hi:  36%|████████████████████████████████████████▌                                                                       | 107/295 [25:50<44:45, 14.29s/it]
+
hellaswag_hi:  37%|█████████████████████████████████████████                                                                       | 108/295 [26:05<45:12, 14.51s/it]
+
hellaswag_hi:  37%|█████████████████████████████████████████▍                                                                      | 109/295 [26:20<45:44, 14.75s/it]
+
hellaswag_hi:  37%|█████████████████████████████████████████▊                                                                      | 110/295 [26:35<45:46, 14.85s/it]
+
hellaswag_hi:  38%|██████████████████████████████████████████▏                                                                     | 111/295 [26:51<46:21, 15.12s/it]
+
hellaswag_hi:  38%|██████████████████████████████████████████▌                                                                     | 112/295 [27:05<45:31, 14.93s/it]
+
hellaswag_hi:  38%|██████████████████████████████████████████▉                                                                     | 113/295 [27:21<45:46, 15.09s/it]
+
hellaswag_hi:  39%|███████████████████████████████████████████▎                                                                    | 114/295 [27:35<44:37, 14.79s/it]
+
hellaswag_hi:  39%|███████████████████████████████████████████▋                                                                    | 115/295 [27:49<43:26, 14.48s/it]
+
hellaswag_hi:  39%|████████████████████████████████████████████                                                                    | 116/295 [28:03<43:22, 14.54s/it]
+
hellaswag_hi:  40%|████████████████████████████████████████████▍                                                                   | 117/295 [28:18<43:08, 14.54s/it]
+
hellaswag_hi:  40%|████████████████████████████████████████████▊                                                                   | 118/295 [28:33<43:18, 14.68s/it]
+
hellaswag_hi:  40%|█████████████████████████████████████████████▏                                                                  | 119/295 [28:47<42:33, 14.51s/it]
+
hellaswag_hi:  41%|█████████████████████████████████████████████▌                                                                  | 120/295 [29:02<42:27, 14.55s/it]
+
hellaswag_hi:  41%|█████████████████████████████████████████████▉                                                                  | 121/295 [29:17<42:53, 14.79s/it]
+
hellaswag_hi:  41%|██████████████████████████████████████████████▎                                                                 | 122/295 [29:31<41:58, 14.56s/it]
+
hellaswag_hi:  42%|██████████████████████████████████████████████▋                                                                 | 123/295 [29:46<42:01, 14.66s/it]
+
hellaswag_hi:  42%|███████████████████████████████████████████████                                                                 | 124/295 [30:00<40:59, 14.38s/it]
+
hellaswag_hi:  42%|███████████████████████████████████████████████▍                                                                | 125/295 [30:13<39:44, 14.03s/it]
+
hellaswag_hi:  43%|███████████████████████████████████████████████▊                                                                | 126/295 [30:27<40:01, 14.21s/it]
+
hellaswag_hi:  43%|████████████████████████████████████████████████▏                                                               | 127/295 [30:42<39:49, 14.22s/it]
+
hellaswag_hi:  43%|████████████████████████████████████████████████▌                                                               | 128/295 [30:57<40:13, 14.45s/it]
+
hellaswag_hi:  44%|████████████████████████████████████████████████▉                                                               | 129/295 [31:11<39:56, 14.44s/it]
+
hellaswag_hi:  44%|█████████████████████████████████████████████████▎                                                              | 130/295 [31:27<40:52, 14.87s/it]
+
hellaswag_hi:  44%|█████████████████████████████████████████████████▋                                                              | 131/295 [31:42<40:22, 14.77s/it]
+
hellaswag_hi:  45%|██████████████████████████████████████████████████                                                              | 132/295 [31:57<40:24, 14.88s/it]
+
hellaswag_hi:  45%|██████████████████████████████████████████████████▍                                                             | 133/295 [32:12<40:14, 14.90s/it]
+
hellaswag_hi:  45%|██████████████████████████████████████████████████▊                                                             | 134/295 [32:27<40:31, 15.10s/it]
+
hellaswag_hi:  46%|███████████████████████████████████████████████████▎                                                            | 135/295 [32:41<39:22, 14.76s/it]
+
hellaswag_hi:  46%|███████████████████████████████████████████████████▋                                                            | 136/295 [32:57<39:48, 15.02s/it]
+
hellaswag_hi:  46%|████████████████████████████████████████████████████                                                            | 137/295 [33:10<38:19, 14.55s/it]
+
hellaswag_hi:  47%|████████████████████████████████████████████████████▍                                                           | 138/295 [33:24<37:32, 14.35s/it]
+
hellaswag_hi:  47%|████████████████████████████████████████████████████▊                                                           | 139/295 [33:39<37:21, 14.37s/it]
+
hellaswag_hi:  47%|█████████████████████████████████████████████████████▏                                                          | 140/295 [33:54<38:04, 14.74s/it]
+
hellaswag_hi:  48%|█████████████████████████████████████████████████████▌                                                          | 141/295 [34:08<37:06, 14.46s/it]
+
hellaswag_hi:  48%|█████████████████████████████████████████████████████▉                                                          | 142/295 [34:24<37:43, 14.80s/it]
+
hellaswag_hi:  48%|██████████████████████████████████████████████████████▎                                                         | 143/295 [34:38<37:37, 14.85s/it]
+
hellaswag_hi:  49%|██████████████████████████████████████████████████████▋                                                         | 144/295 [34:53<36:56, 14.68s/it]
+
hellaswag_hi:  49%|███████████████████████████████████████████████████████                                                         | 145/295 [35:08<37:03, 14.82s/it]
+
hellaswag_hi:  49%|███████████████████████████████████████████████████████▍                                                        | 146/295 [35:24<37:37, 15.15s/it]
+
hellaswag_hi:  50%|███████████████████████████████████████████████████████▊                                                        | 147/295 [35:38<36:52, 14.95s/it]
+
hellaswag_hi:  50%|████████████████████████████████████████████████████████▏                                                       | 148/295 [35:52<36:03, 14.72s/it]
+
hellaswag_hi:  51%|████████████████████████████████████████████████████████▌                                                       | 149/295 [36:06<35:12, 14.47s/it]
+
hellaswag_hi:  51%|████████████████████████████████████████████████████████▉                                                       | 150/295 [36:21<35:11, 14.56s/it]
+
hellaswag_hi:  51%|█████████████████████████████████████████████████████████▎                                                      | 151/295 [36:35<34:40, 14.45s/it]
+
hellaswag_hi:  52%|█████████████████████████████████████████████████████████▋                                                      | 152/295 [36:52<35:45, 15.00s/it]
+
hellaswag_hi:  52%|██████████████████████████████████████████████████████████                                                      | 153/295 [37:07<35:25, 14.97s/it]
+
hellaswag_hi:  52%|██████████████████████████████████████████████████████████▍                                                     | 154/295 [37:21<35:01, 14.90s/it]
+
hellaswag_hi:  53%|██████████████████████████████████████████████████████████▊                                                     | 155/295 [37:36<34:54, 14.96s/it]
+
hellaswag_hi:  53%|███████████████████████████████████████████████████████████▏                                                    | 156/295 [37:51<34:17, 14.80s/it]
+
hellaswag_hi:  53%|███████████████████████████████████████████████████████████▌                                                    | 157/295 [38:05<33:39, 14.64s/it]
+
hellaswag_hi:  54%|███████████████████████████████████████████████████████████▉                                                    | 158/295 [38:19<32:59, 14.45s/it]
+
hellaswag_hi:  54%|████████████████████████████████████████████████████████████▎                                                   | 159/295 [38:33<32:36, 14.38s/it]
+
hellaswag_hi:  54%|████████████████████████████████████████████████████████████▋                                                   | 160/295 [38:48<32:22, 14.39s/it]
+
hellaswag_hi:  55%|█████████████████████████████████████████████████████████████▏                                                  | 161/295 [39:02<31:52, 14.27s/it]
+
hellaswag_hi:  55%|█████████████████████████████████████████████████████████████▌                                                  | 162/295 [39:17<32:06, 14.49s/it]
+
hellaswag_hi:  55%|█████████████████████████████████████████████████████████████▉                                                  | 163/295 [39:31<31:30, 14.32s/it]
+
hellaswag_hi:  56%|██████████████████████████████████████████████████████████████▎                                                 | 164/295 [39:45<31:32, 14.45s/it]
+
hellaswag_hi:  56%|██████████████████████████████████████████████████████████████▋                                                 | 165/295 [40:00<31:18, 14.45s/it]
+
hellaswag_hi:  56%|███████████████████████████████████████████████████████████████                                                 | 166/295 [40:14<30:36, 14.23s/it]
+
hellaswag_hi:  57%|███████████████████████████████████████████████████████████████▍                                                | 167/295 [40:29<31:00, 14.53s/it]
+
hellaswag_hi:  57%|███████████████████████████████████████████████████████████████▊                                                | 168/295 [40:44<30:57, 14.62s/it]
+
hellaswag_hi:  57%|████████████████████████████████████████████████████████████████▏                                               | 169/295 [40:58<30:26, 14.50s/it]
+
hellaswag_hi:  58%|████████████████████████████████████████████████████████████████▌                                               | 170/295 [41:12<29:53, 14.35s/it]
+
hellaswag_hi:  58%|████████████████████████████████████████████████████████████████▉                                               | 171/295 [41:26<29:28, 14.26s/it]
+
hellaswag_hi:  58%|█████████████████████████████████████████████████████████████████▎                                              | 172/295 [41:41<29:30, 14.39s/it]
+
hellaswag_hi:  59%|█████████████████████████████████████████████████████████████████▋                                              | 173/295 [41:54<28:52, 14.20s/it]
+
hellaswag_hi:  59%|██████████████████████████████████████████████████████████████████                                              | 174/295 [42:10<29:15, 14.51s/it]
+
hellaswag_hi:  59%|██████████████████████████████████████████████████████████████████▍                                             | 175/295 [42:23<28:06, 14.06s/it]
+
hellaswag_hi:  60%|██████████████████████████████████████████████████████████████████▊                                             | 176/295 [42:36<27:34, 13.90s/it]
+
hellaswag_hi:  60%|███████████████████████████████████████████████████████████████████▏                                            | 177/295 [42:50<27:25, 13.95s/it]
+
hellaswag_hi:  60%|███████████████████████████████████████████████████████████████████▌                                            | 178/295 [43:04<26:51, 13.77s/it]
+
hellaswag_hi:  61%|███████████████████████████████████████████████████████████████████▉                                            | 179/295 [43:17<26:43, 13.83s/it]
+
hellaswag_hi:  61%|████████████████████████████████████████████████████████████████████▎                                           | 180/295 [43:31<26:03, 13.60s/it]
+
hellaswag_hi:  61%|████████████████████████████████████████████████████████████████████▋                                           | 181/295 [43:45<26:21, 13.88s/it]
+
hellaswag_hi:  62%|█████████████████████████████████████████████████████████████████████                                           | 182/295 [43:59<26:04, 13.84s/it]
+
hellaswag_hi:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 183/295 [44:15<26:57, 14.45s/it]
+
hellaswag_hi:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 184/295 [44:30<27:07, 14.66s/it]
+
hellaswag_hi:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 185/295 [44:44<26:31, 14.47s/it]
+
hellaswag_hi:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 186/295 [44:58<26:08, 14.39s/it]
+
hellaswag_hi:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 187/295 [45:12<25:49, 14.35s/it]
+
hellaswag_hi:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 188/295 [45:27<25:36, 14.36s/it]
+
hellaswag_hi:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 189/295 [45:41<25:25, 14.40s/it]
+
hellaswag_hi:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 190/295 [45:56<25:19, 14.47s/it]
+
hellaswag_hi:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 191/295 [46:10<24:47, 14.30s/it]
+
hellaswag_hi:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 192/295 [46:25<25:00, 14.57s/it]
+
hellaswag_hi:  65%|█████████████████████████████████████████████████████████████████████████▎                                      | 193/295 [46:39<24:30, 14.42s/it]
+
hellaswag_hi:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 194/295 [46:55<24:56, 14.82s/it]
+
hellaswag_hi:  66%|██████████████████████████████████████████████████████████████████████████                                      | 195/295 [47:10<25:08, 15.08s/it]
+
hellaswag_hi:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 196/295 [47:25<24:38, 14.93s/it]
+
hellaswag_hi:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 197/295 [47:39<24:06, 14.76s/it]
+
hellaswag_hi:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 198/295 [47:54<23:34, 14.58s/it]
+
hellaswag_hi:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 199/295 [48:08<23:15, 14.54s/it]
+
hellaswag_hi:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 200/295 [48:23<23:24, 14.78s/it]
+
hellaswag_hi:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 201/295 [48:38<23:15, 14.84s/it]
+
hellaswag_hi:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 202/295 [48:54<23:17, 15.02s/it]
+
hellaswag_hi:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 203/295 [49:08<22:38, 14.77s/it]
+
hellaswag_hi:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 204/295 [49:23<22:32, 14.86s/it]
+
hellaswag_hi:  69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 205/295 [49:37<21:53, 14.60s/it]
+
hellaswag_hi:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 206/295 [49:52<21:38, 14.58s/it]
+
hellaswag_hi:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 207/295 [50:06<21:09, 14.43s/it]
+
hellaswag_hi:  71%|██████████████████████████████████████████████████████████████████████████████▉                                 | 208/295 [50:20<21:06, 14.56s/it]
+
hellaswag_hi:  71%|███████████████████████████████████████████████████████████████████████████████▎                                | 209/295 [50:36<21:18, 14.86s/it]
+
hellaswag_hi:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 210/295 [50:51<20:59, 14.82s/it]
+
hellaswag_hi:  72%|████████████████████████████████████████████████████████████████████████████████                                | 211/295 [51:06<20:55, 14.94s/it]
+
hellaswag_hi:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 212/295 [51:21<20:35, 14.88s/it]
+
hellaswag_hi:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 213/295 [51:36<20:29, 15.00s/it]
+
hellaswag_hi:  73%|█████████████████████████████████████████████████████████████████████████████████▏                              | 214/295 [51:50<19:52, 14.72s/it]
+
hellaswag_hi:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 215/295 [52:05<19:37, 14.72s/it]
+
hellaswag_hi:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 216/295 [52:20<19:33, 14.85s/it]
+
hellaswag_hi:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 217/295 [52:34<19:09, 14.73s/it]
+
hellaswag_hi:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 218/295 [52:49<18:48, 14.65s/it]
+
hellaswag_hi:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 219/295 [53:04<18:46, 14.82s/it]
+
hellaswag_hi:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 220/295 [53:20<18:54, 15.13s/it]
+
hellaswag_hi:  75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 221/295 [53:34<18:20, 14.87s/it]
+
hellaswag_hi:  75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 222/295 [53:49<18:01, 14.81s/it]
+
hellaswag_hi:  76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 223/295 [54:04<17:53, 14.91s/it]
+
hellaswag_hi:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 224/295 [54:19<17:32, 14.82s/it]
+
hellaswag_hi:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 225/295 [54:34<17:26, 14.94s/it]
+
hellaswag_hi:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 226/295 [54:49<17:11, 14.95s/it]
+
hellaswag_hi:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 227/295 [55:03<16:42, 14.74s/it]
+
hellaswag_hi:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 228/295 [55:17<16:19, 14.61s/it]
+
hellaswag_hi:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 229/295 [55:32<15:54, 14.46s/it]
+
hellaswag_hi:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 230/295 [55:46<15:46, 14.56s/it]
+
hellaswag_hi:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 231/295 [56:02<15:58, 14.98s/it]
+
hellaswag_hi:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 232/295 [56:17<15:43, 14.98s/it]
+
hellaswag_hi:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 233/295 [56:32<15:25, 14.92s/it]
+
hellaswag_hi:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 234/295 [56:48<15:26, 15.19s/it]
+
hellaswag_hi:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 235/295 [57:02<14:54, 14.91s/it]
+
hellaswag_hi:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 236/295 [57:16<14:18, 14.55s/it]
+
hellaswag_hi:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 237/295 [57:31<14:14, 14.73s/it]
+
hellaswag_hi:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 238/295 [57:47<14:17, 15.04s/it]
+
hellaswag_hi:  81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 239/295 [58:02<14:03, 15.06s/it]
+
hellaswag_hi:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 240/295 [58:17<13:44, 14.99s/it]
+
hellaswag_hi:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 241/295 [58:31<13:18, 14.79s/it]
+
hellaswag_hi:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 242/295 [58:44<12:41, 14.37s/it]
+
hellaswag_hi:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 243/295 [58:58<12:10, 14.04s/it]
+
hellaswag_hi:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 244/295 [59:13<12:17, 14.45s/it]
+
hellaswag_hi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 245/295 [59:27<11:58, 14.38s/it]
+
hellaswag_hi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 246/295 [59:42<11:54, 14.57s/it]
+
hellaswag_hi:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 247/295 [59:56<11:29, 14.36s/it]
+
hellaswag_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████▍                 | 248/295 [1:00:10<11:04, 14.13s/it]
+
hellaswag_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████▊                 | 249/295 [1:00:25<11:01, 14.38s/it]
+
hellaswag_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▏                | 250/295 [1:00:39<10:46, 14.37s/it]
+
hellaswag_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▌                | 251/295 [1:00:54<10:33, 14.39s/it]
+
hellaswag_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▉                | 252/295 [1:01:10<10:46, 15.04s/it]
+
hellaswag_hi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▎               | 253/295 [1:01:25<10:33, 15.08s/it]
+
hellaswag_hi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▋               | 254/295 [1:01:40<10:16, 15.04s/it]
+
hellaswag_hi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████               | 255/295 [1:01:56<10:05, 15.13s/it]
+
hellaswag_hi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▍              | 256/295 [1:02:10<09:45, 15.01s/it]
+
hellaswag_hi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▊              | 257/295 [1:02:25<09:21, 14.79s/it]
+
hellaswag_hi:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▏             | 258/295 [1:02:39<09:05, 14.74s/it]
+
hellaswag_hi:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▌             | 259/295 [1:02:54<08:48, 14.67s/it]
+
hellaswag_hi:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▉             | 260/295 [1:03:08<08:28, 14.53s/it]
+
hellaswag_hi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████▎            | 261/295 [1:03:23<08:23, 14.82s/it]
+
hellaswag_hi:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋            | 262/295 [1:03:38<08:11, 14.89s/it]
+
hellaswag_hi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████            | 263/295 [1:03:53<07:56, 14.90s/it]
+
hellaswag_hi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▍           | 264/295 [1:04:07<07:32, 14.59s/it]
+
hellaswag_hi:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▊           | 265/295 [1:04:22<07:18, 14.61s/it]
+
hellaswag_hi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏          | 266/295 [1:04:36<07:00, 14.49s/it]
+
hellaswag_hi:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▌          | 267/295 [1:04:51<06:49, 14.63s/it]
+
hellaswag_hi:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉          | 268/295 [1:05:05<06:31, 14.50s/it]
+
hellaswag_hi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 269/295 [1:05:21<06:23, 14.76s/it]
+
hellaswag_hi:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 270/295 [1:05:35<06:08, 14.76s/it]
+
hellaswag_hi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████         | 271/295 [1:05:49<05:48, 14.53s/it]
+
hellaswag_hi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 272/295 [1:06:05<05:40, 14.80s/it]
+
hellaswag_hi:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 273/295 [1:06:19<05:24, 14.74s/it]
+
hellaswag_hi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 274/295 [1:06:34<05:07, 14.62s/it]
+
hellaswag_hi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 275/295 [1:06:48<04:51, 14.56s/it]
+
hellaswag_hi:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 276/295 [1:07:03<04:39, 14.73s/it]
+
hellaswag_hi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 277/295 [1:07:18<04:27, 14.88s/it]
+
hellaswag_hi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 278/295 [1:07:33<04:13, 14.89s/it]
+
hellaswag_hi:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████      | 279/295 [1:07:48<03:57, 14.87s/it]
+
hellaswag_hi:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 280/295 [1:08:03<03:44, 14.96s/it]
+
hellaswag_hi:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 281/295 [1:08:17<03:24, 14.64s/it]
+
hellaswag_hi:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 282/295 [1:08:32<03:08, 14.52s/it]
+
hellaswag_hi:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 283/295 [1:08:46<02:54, 14.54s/it]
+
hellaswag_hi:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 284/295 [1:09:01<02:39, 14.53s/it]
+
hellaswag_hi:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 285/295 [1:09:16<02:26, 14.68s/it]
+
hellaswag_hi:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 286/295 [1:09:30<02:12, 14.72s/it]
+
hellaswag_hi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████   | 287/295 [1:09:45<01:56, 14.52s/it]
+
hellaswag_hi:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 288/295 [1:09:59<01:42, 14.63s/it]
+
hellaswag_hi:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 289/295 [1:10:13<01:26, 14.47s/it]
+
hellaswag_hi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 290/295 [1:10:29<01:13, 14.72s/it]
+
hellaswag_hi:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 291/295 [1:10:44<00:59, 14.80s/it]
+
hellaswag_hi:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 292/295 [1:10:59<00:44, 14.88s/it]
+
hellaswag_hi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 293/295 [1:11:13<00:29, 14.77s/it]
+
hellaswag_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 294/295 [1:11:27<00:14, 14.29s/it]
+
hellaswag_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [1:11:34<00:00, 12.21s/it]
hellaswag_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [1:11:34<00:00, 14.56s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hi_acc 0.27676295666949874
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hi_acc_norm 0.29492353440951574
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 18:26:31,815 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 18:26:31,815 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:31,943 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 18:26:31,944 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:32,072 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 18:26:32,072 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:32,200 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 18:26:32,201 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 18:26:32,201 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 18:26:32,330 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 18:26:32,330 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_hi_acc'}
+2024-05-29 18:26:32,395 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 18:26:32,395 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1159, 'value': 0.27676295666949874}
+2024-05-29 18:26:32,461 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 18:26:33,095 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 18:26:33,095 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:33,219 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 18:26:33,219 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:33,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 18:26:33,343 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 18:26:33,467 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 18:26:33,593 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 18:26:33,593 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_hi_acc_norm'}
+2024-05-29 18:26:33,656 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 18:26:33,656 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1160, 'value': 0.29492353440951574}
+2024-05-29 18:26:33,719 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  33%|███████████████████████████████████▋                                                                        | 41/124 [11:39:03<82:36:12, 3582.80s/it]['hellaswag_hr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 18:26:34,355 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 18:26:34,355 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:34,480 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 18:26:34,480 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:34,604 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 18:26:34,605 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 18:26:34,729 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 18:26:34,730 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 18:26:34,730 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_hr'}
+2024-05-29 18:26:34,856 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_hr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:03,  3.22s/ examples]
+
Generating validation split: 1712 examples [00:03, 727.19 examples/s]
+
Generating validation split: 3325 examples [00:03, 1608.47 examples/s]
+
Generating validation split: 5000 examples [00:03, 2745.82 examples/s]
+
Generating validation split: 7000 examples [00:03, 4343.00 examples/s]
+
Generating validation split: 9000 examples [00:03, 6080.84 examples/s]
Generating validation split: 9471 examples [00:03, 2491.93 examples/s]
+Loaded 9471 examples
+Running loglikelihood requests
+
+
hellaswag_hr:   0%|                                                                                                                          | 0/296 [00:00<?, ?it/s]
+
hellaswag_hr:   0%|▍                                                                                                                 | 1/296 [00:08<42:30,  8.64s/it]
+
hellaswag_hr:   1%|▊                                                                                                                 | 2/296 [00:17<42:47,  8.73s/it]
+
hellaswag_hr:   1%|█▏                                                                                                                | 3/296 [00:26<43:05,  8.82s/it]
+
hellaswag_hr:   1%|█▌                                                                                                                | 4/296 [00:35<43:00,  8.84s/it]
+
hellaswag_hr:   2%|█▉                                                                                                                | 5/296 [00:43<42:33,  8.78s/it]
+
hellaswag_hr:   2%|██▎                                                                                                               | 6/296 [00:52<42:12,  8.73s/it]
+
hellaswag_hr:   2%|██▋                                                                                                               | 7/296 [01:01<42:55,  8.91s/it]
+
hellaswag_hr:   3%|███                                                                                                               | 8/296 [01:10<42:45,  8.91s/it]
+
hellaswag_hr:   3%|███▍                                                                                                              | 9/296 [01:19<43:06,  9.01s/it]
+
hellaswag_hr:   3%|███▊                                                                                                             | 10/296 [01:28<42:17,  8.87s/it]
+
hellaswag_hr:   4%|████▏                                                                                                            | 11/296 [01:37<42:32,  8.95s/it]
+
hellaswag_hr:   4%|████▌                                                                                                            | 12/296 [01:46<42:49,  9.05s/it]
+
hellaswag_hr:   4%|████▉                                                                                                            | 13/296 [01:56<42:53,  9.09s/it]
+
hellaswag_hr:   5%|█████▎                                                                                                           | 14/296 [02:05<42:49,  9.11s/it]
+
hellaswag_hr:   5%|█████▋                                                                                                           | 15/296 [02:13<42:03,  8.98s/it]
+
hellaswag_hr:   5%|██████                                                                                                           | 16/296 [02:23<42:30,  9.11s/it]
+
hellaswag_hr:   6%|██████▍                                                                                                          | 17/296 [02:32<41:53,  9.01s/it]
+
hellaswag_hr:   6%|██████▊                                                                                                          | 18/296 [02:41<42:32,  9.18s/it]
+
hellaswag_hr:   6%|███████▎                                                                                                         | 19/296 [02:50<41:42,  9.03s/it]
+
hellaswag_hr:   7%|███████▋                                                                                                         | 20/296 [02:59<41:49,  9.09s/it]
+
hellaswag_hr:   7%|████████                                                                                                         | 21/296 [03:08<41:56,  9.15s/it]
+
hellaswag_hr:   7%|████████▍                                                                                                        | 22/296 [03:17<41:15,  9.04s/it]
+
hellaswag_hr:   8%|████████▊                                                                                                        | 23/296 [03:25<40:07,  8.82s/it]
+
hellaswag_hr:   8%|█████████▏                                                                                                       | 24/296 [03:34<39:35,  8.73s/it]
+
hellaswag_hr:   8%|█████████▌                                                                                                       | 25/296 [03:43<39:30,  8.75s/it]
+
hellaswag_hr:   9%|█████████▉                                                                                                       | 26/296 [03:51<39:08,  8.70s/it]
+
hellaswag_hr:   9%|██████████▎                                                                                                      | 27/296 [04:00<38:39,  8.62s/it]
+
hellaswag_hr:   9%|██████████▋                                                                                                      | 28/296 [04:09<38:47,  8.69s/it]
+
hellaswag_hr:  10%|███████████                                                                                                      | 29/296 [04:18<39:25,  8.86s/it]
+
hellaswag_hr:  10%|███████████▍                                                                                                     | 30/296 [04:27<39:13,  8.85s/it]
+
hellaswag_hr:  10%|███████████▊                                                                                                     | 31/296 [04:36<39:55,  9.04s/it]
+
hellaswag_hr:  11%|████████████▏                                                                                                    | 32/296 [04:45<39:38,  9.01s/it]
+
hellaswag_hr:  11%|████████████▌                                                                                                    | 33/296 [04:54<39:19,  8.97s/it]
+
hellaswag_hr:  11%|████████████▉                                                                                                    | 34/296 [05:04<39:51,  9.13s/it]
+
hellaswag_hr:  12%|█████████████▎                                                                                                   | 35/296 [05:13<39:50,  9.16s/it]
+
hellaswag_hr:  12%|█████████████▋                                                                                                   | 36/296 [05:22<39:10,  9.04s/it]
+
hellaswag_hr:  12%|██████████████▏                                                                                                  | 37/296 [05:31<39:24,  9.13s/it]
+
hellaswag_hr:  13%|██████████████▌                                                                                                  | 38/296 [05:40<39:45,  9.25s/it]
+
hellaswag_hr:  13%|██████████████▉                                                                                                  | 39/296 [05:49<39:14,  9.16s/it]
+
hellaswag_hr:  14%|███████████████▎                                                                                                 | 40/296 [05:58<38:49,  9.10s/it]
+
hellaswag_hr:  14%|███████████████▋                                                                                                 | 41/296 [06:07<38:14,  9.00s/it]
+
hellaswag_hr:  14%|████████████████                                                                                                 | 42/296 [06:16<37:41,  8.91s/it]
+
hellaswag_hr:  15%|████████████████▍                                                                                                | 43/296 [06:24<36:40,  8.70s/it]
+
hellaswag_hr:  15%|████████████████▊                                                                                                | 44/296 [06:34<37:35,  8.95s/it]
+
hellaswag_hr:  15%|█████████████████▏                                                                                               | 45/296 [06:42<37:11,  8.89s/it]
+
hellaswag_hr:  16%|█████████████████▌                                                                                               | 46/296 [06:51<36:43,  8.81s/it]
+
hellaswag_hr:  16%|█████████████████▉                                                                                               | 47/296 [07:00<36:25,  8.78s/it]
+
hellaswag_hr:  16%|██████████████████▎                                                                                              | 48/296 [07:08<36:23,  8.81s/it]
+
hellaswag_hr:  17%|██████████████████▋                                                                                              | 49/296 [07:17<36:05,  8.77s/it]
+
hellaswag_hr:  17%|███████████████████                                                                                              | 50/296 [07:27<36:49,  8.98s/it]
+
hellaswag_hr:  17%|███████████████████▍                                                                                             | 51/296 [07:35<35:43,  8.75s/it]
+
hellaswag_hr:  18%|███████████████████▊                                                                                             | 52/296 [07:44<36:10,  8.90s/it]
+
hellaswag_hr:  18%|████████████████████▏                                                                                            | 53/296 [07:53<36:14,  8.95s/it]
+
hellaswag_hr:  18%|████████████████████▌                                                                                            | 54/296 [08:02<35:59,  8.93s/it]
+
hellaswag_hr:  19%|████████████████████▉                                                                                            | 55/296 [08:11<35:34,  8.85s/it]
+
hellaswag_hr:  19%|█████████████████████▍                                                                                           | 56/296 [08:19<35:09,  8.79s/it]
+
hellaswag_hr:  19%|█████████████████████▊                                                                                           | 57/296 [08:28<35:15,  8.85s/it]
+
hellaswag_hr:  20%|██████████████████████▏                                                                                          | 58/296 [08:37<34:50,  8.78s/it]
+
hellaswag_hr:  20%|██████████████████████▌                                                                                          | 59/296 [08:46<34:42,  8.79s/it]
+
hellaswag_hr:  20%|██████████████████████▉                                                                                          | 60/296 [08:54<34:24,  8.75s/it]
+
hellaswag_hr:  21%|███████████████████████▎                                                                                         | 61/296 [09:04<34:52,  8.90s/it]
+
hellaswag_hr:  21%|███████████████████████▋                                                                                         | 62/296 [09:13<35:22,  9.07s/it]
+
hellaswag_hr:  21%|████████████████████████                                                                                         | 63/296 [09:23<35:31,  9.15s/it]
+
hellaswag_hr:  22%|████████████████████████▍                                                                                        | 64/296 [09:32<35:49,  9.27s/it]
+
hellaswag_hr:  22%|████████████████████████▊                                                                                        | 65/296 [09:41<35:44,  9.28s/it]
+
hellaswag_hr:  22%|█████████████████████████▏                                                                                       | 66/296 [09:50<34:52,  9.10s/it]
+
hellaswag_hr:  23%|█████████████████████████▌                                                                                       | 67/296 [09:59<34:15,  8.98s/it]
+
hellaswag_hr:  23%|█████████████████████████▉                                                                                       | 68/296 [10:08<33:55,  8.93s/it]
+
hellaswag_hr:  23%|██████████████████████████▎                                                                                      | 69/296 [10:16<33:39,  8.90s/it]
+
hellaswag_hr:  24%|██████████████████████████▋                                                                                      | 70/296 [10:25<33:27,  8.88s/it]
+
hellaswag_hr:  24%|███████████████████████████                                                                                      | 71/296 [10:35<34:06,  9.10s/it]
+
hellaswag_hr:  24%|███████████████████████████▍                                                                                     | 72/296 [10:44<33:30,  8.98s/it]
+
hellaswag_hr:  25%|███████████████████████████▊                                                                                     | 73/296 [10:52<33:05,  8.91s/it]
+
hellaswag_hr:  25%|████████████████████████████▎                                                                                    | 74/296 [11:01<32:49,  8.87s/it]
+
hellaswag_hr:  25%|████████████████████████████▋                                                                                    | 75/296 [11:10<32:24,  8.80s/it]
+
hellaswag_hr:  26%|█████████████████████████████                                                                                    | 76/296 [11:18<32:11,  8.78s/it]
+
hellaswag_hr:  26%|█████████████████████████████▍                                                                                   | 77/296 [11:27<31:32,  8.64s/it]
+
hellaswag_hr:  26%|█████████████████████████████▊                                                                                   | 78/296 [11:35<31:29,  8.67s/it]
+
hellaswag_hr:  27%|██████████████████████████████▏                                                                                  | 79/296 [11:44<31:29,  8.71s/it]
+
hellaswag_hr:  27%|██████████████████████████████▌                                                                                  | 80/296 [11:53<31:46,  8.83s/it]
+
hellaswag_hr:  27%|██████████████████████████████▉                                                                                  | 81/296 [12:02<31:40,  8.84s/it]
+
hellaswag_hr:  28%|███████████████████████████████▎                                                                                 | 82/296 [12:11<31:28,  8.83s/it]
+
hellaswag_hr:  28%|███████████████████████████████▋                                                                                 | 83/296 [12:20<31:13,  8.80s/it]
+
hellaswag_hr:  28%|████████████████████████████████                                                                                 | 84/296 [12:29<31:37,  8.95s/it]
+
hellaswag_hr:  29%|████████████████████████████████▍                                                                                | 85/296 [12:38<31:00,  8.82s/it]
+
hellaswag_hr:  29%|████████████████████████████████▊                                                                                | 86/296 [12:47<31:24,  8.97s/it]
+
hellaswag_hr:  29%|█████████████████████████████████▏                                                                               | 87/296 [12:56<30:55,  8.88s/it]
+
hellaswag_hr:  30%|█████████████████████████████████▌                                                                               | 88/296 [13:04<30:33,  8.81s/it]
+
hellaswag_hr:  30%|█████████████████████████████████▉                                                                               | 89/296 [13:13<30:05,  8.72s/it]
+
hellaswag_hr:  30%|██████████████████████████████████▎                                                                              | 90/296 [13:22<30:32,  8.90s/it]
+
hellaswag_hr:  31%|██████████████████████████████████▋                                                                              | 91/296 [13:31<30:00,  8.78s/it]
+
hellaswag_hr:  31%|███████████████████████████████████                                                                              | 92/296 [13:39<29:29,  8.68s/it]
+
hellaswag_hr:  31%|███████████████████████████████████▌                                                                             | 93/296 [13:48<29:19,  8.67s/it]
+
hellaswag_hr:  32%|███████████████████████████████████▉                                                                             | 94/296 [13:57<29:44,  8.83s/it]
+
hellaswag_hr:  32%|████████████████████████████████████▎                                                                            | 95/296 [14:06<29:47,  8.90s/it]
+
hellaswag_hr:  32%|████████████████████████████████████▋                                                                            | 96/296 [14:15<29:31,  8.86s/it]
+
hellaswag_hr:  33%|█████████████████████████████████████                                                                            | 97/296 [14:24<29:42,  8.96s/it]
+
hellaswag_hr:  33%|█████████████████████████████████████▍                                                                           | 98/296 [14:33<29:43,  9.01s/it]
+
hellaswag_hr:  33%|█████████████████████████████████████▊                                                                           | 99/296 [14:42<29:10,  8.88s/it]
+
hellaswag_hr:  34%|█████████████████████████████████████▊                                                                          | 100/296 [14:50<28:24,  8.70s/it]
+
hellaswag_hr:  34%|██████████████████████████████████████▏                                                                         | 101/296 [14:59<28:45,  8.85s/it]
+
hellaswag_hr:  34%|██████████████████████████████████████▌                                                                         | 102/296 [15:08<28:57,  8.96s/it]
+
hellaswag_hr:  35%|██████████████████████████████████████▉                                                                         | 103/296 [15:17<28:33,  8.88s/it]
+
hellaswag_hr:  35%|███████████████████████████████████████▎                                                                        | 104/296 [15:26<28:11,  8.81s/it]
+
hellaswag_hr:  35%|███████████████████████████████████████▋                                                                        | 105/296 [15:34<28:02,  8.81s/it]
+
hellaswag_hr:  36%|████████████████████████████████████████                                                                        | 106/296 [15:44<28:32,  9.01s/it]
+
hellaswag_hr:  36%|████████████████████████████████████████▍                                                                       | 107/296 [15:53<28:11,  8.95s/it]
+
hellaswag_hr:  36%|████████████████████████████████████████▊                                                                       | 108/296 [16:01<27:54,  8.91s/it]
+
hellaswag_hr:  37%|█████████████████████████████████████████▏                                                                      | 109/296 [16:10<27:27,  8.81s/it]
+
hellaswag_hr:  37%|█████████████████████████████████████████▌                                                                      | 110/296 [16:18<26:48,  8.65s/it]
+
hellaswag_hr:  38%|██████████████████████████████████████████                                                                      | 111/296 [16:27<26:44,  8.67s/it]
+
hellaswag_hr:  38%|██████████████████████████████████████████▍                                                                     | 112/296 [16:36<26:33,  8.66s/it]
+
hellaswag_hr:  38%|██████████████████████████████████████████▊                                                                     | 113/296 [16:45<26:33,  8.71s/it]
+
hellaswag_hr:  39%|███████████████████████████████████████████▏                                                                    | 114/296 [16:53<26:22,  8.69s/it]
+
hellaswag_hr:  39%|███████████████████████████████████████████▌                                                                    | 115/296 [17:02<26:19,  8.73s/it]
+
hellaswag_hr:  39%|███████████████████████████████████████████▉                                                                    | 116/296 [17:11<26:11,  8.73s/it]
+
hellaswag_hr:  40%|████████████████████████████████████████████▎                                                                   | 117/296 [17:19<26:01,  8.72s/it]
+
hellaswag_hr:  40%|████████████████████████████████████████████▋                                                                   | 118/296 [17:28<26:03,  8.78s/it]
+
hellaswag_hr:  40%|█████████████████████████████████████████████                                                                   | 119/296 [17:38<26:44,  9.07s/it]
+
hellaswag_hr:  41%|█████████████████████████████████████████████▍                                                                  | 120/296 [17:47<26:41,  9.10s/it]
+
hellaswag_hr:  41%|█████████████████████████████████████████████▊                                                                  | 121/296 [17:57<26:52,  9.21s/it]
+
hellaswag_hr:  41%|██████████████████████████████████████████████▏                                                                 | 122/296 [18:06<26:22,  9.10s/it]
+
hellaswag_hr:  42%|██████████████████████████████████████████████▌                                                                 | 123/296 [18:15<26:36,  9.23s/it]
+
hellaswag_hr:  42%|██████████████████████████████████████████████▉                                                                 | 124/296 [18:24<26:21,  9.19s/it]
+
hellaswag_hr:  42%|███████████████████████████████████████████████▎                                                                | 125/296 [18:33<25:26,  8.93s/it]
+
hellaswag_hr:  43%|███████████████████████████████████████████████▋                                                                | 126/296 [18:42<25:37,  9.04s/it]
+
hellaswag_hr:  43%|████████████████████████████████████████████████                                                                | 127/296 [18:51<25:41,  9.12s/it]
+
hellaswag_hr:  43%|████████████████████████████████████████████████▍                                                               | 128/296 [19:00<25:25,  9.08s/it]
+
hellaswag_hr:  44%|████████████████████████████████████████████████▊                                                               | 129/296 [19:09<25:11,  9.05s/it]
+
hellaswag_hr:  44%|█████████████████████████████████████████████████▏                                                              | 130/296 [19:18<24:48,  8.97s/it]
+
hellaswag_hr:  44%|█████████████████████████████████████████████████▌                                                              | 131/296 [19:27<24:59,  9.09s/it]
+
hellaswag_hr:  45%|█████████████████████████████████████████████████▉                                                              | 132/296 [19:36<24:36,  9.00s/it]
+
hellaswag_hr:  45%|██████████████████████████████████████████████████▎                                                             | 133/296 [19:45<24:31,  9.03s/it]
+
hellaswag_hr:  45%|██████████████████████████████████████████████████▋                                                             | 134/296 [19:54<24:16,  8.99s/it]
+
hellaswag_hr:  46%|███████████████████████████████████████████████████                                                             | 135/296 [20:03<24:07,  8.99s/it]
+
hellaswag_hr:  46%|███████████████████████████████████████████████████▍                                                            | 136/296 [20:12<23:56,  8.98s/it]
+
hellaswag_hr:  46%|███████████████████████████████████████████████████▊                                                            | 137/296 [20:21<23:40,  8.93s/it]
+
hellaswag_hr:  47%|████████████████████████████████████████████████████▏                                                           | 138/296 [20:30<23:39,  8.99s/it]
+
hellaswag_hr:  47%|████████████████████████████████████████████████████▌                                                           | 139/296 [20:39<23:19,  8.91s/it]
+
hellaswag_hr:  47%|████████████████████████████████████████████████████▉                                                           | 140/296 [20:48<23:20,  8.98s/it]
+
hellaswag_hr:  48%|█████████████████████████████████████████████████████▎                                                          | 141/296 [20:57<23:10,  8.97s/it]
+
hellaswag_hr:  48%|█████████████████████████████████████████████████████▋                                                          | 142/296 [21:05<22:51,  8.91s/it]
+
hellaswag_hr:  48%|██████████████████████████████████████████████████████                                                          | 143/296 [21:14<22:37,  8.87s/it]
+
hellaswag_hr:  49%|██████████████████████████████████████████████████████▍                                                         | 144/296 [21:23<22:40,  8.95s/it]
+
hellaswag_hr:  49%|██████████████████████████████████████████████████████▊                                                         | 145/296 [21:32<22:20,  8.88s/it]
+
hellaswag_hr:  49%|███████████████████████████████████████████████████████▏                                                        | 146/296 [21:41<22:04,  8.83s/it]
+
hellaswag_hr:  50%|███████████████████████████████████████████████████████▌                                                        | 147/296 [21:50<21:51,  8.80s/it]
+
hellaswag_hr:  50%|████████████████████████████████████████████████████████                                                        | 148/296 [21:58<21:22,  8.67s/it]
+
hellaswag_hr:  50%|████████████████████████████████████████████████████████▍                                                       | 149/296 [22:07<21:46,  8.89s/it]
+
hellaswag_hr:  51%|████████████████████████████████████████████████████████▊                                                       | 150/296 [22:17<21:53,  9.00s/it]
+
hellaswag_hr:  51%|█████████████████████████████████████████████████████████▏                                                      | 151/296 [22:25<21:32,  8.92s/it]
+
hellaswag_hr:  51%|█████████████████████████████████████████████████████████▌                                                      | 152/296 [22:34<21:27,  8.94s/it]
+
hellaswag_hr:  52%|█████████████████████████████████████████████████████████▉                                                      | 153/296 [22:43<20:47,  8.73s/it]
+
hellaswag_hr:  52%|██████████████████████████████████████████████████████████▎                                                     | 154/296 [22:51<20:43,  8.76s/it]
+
hellaswag_hr:  52%|██████████████████████████████████████████████████████████▋                                                     | 155/296 [23:00<20:49,  8.86s/it]
+
hellaswag_hr:  53%|███████████████████████████████████████████████████████████                                                     | 156/296 [23:09<20:35,  8.82s/it]
+
hellaswag_hr:  53%|███████████████████████████████████████████████████████████▍                                                    | 157/296 [23:18<20:15,  8.74s/it]
+
hellaswag_hr:  53%|███████████████████████████████████████████████████████████▊                                                    | 158/296 [23:27<20:23,  8.87s/it]
+
hellaswag_hr:  54%|████████████████████████████████████████████████████████████▏                                                   | 159/296 [23:36<20:20,  8.91s/it]
+
hellaswag_hr:  54%|████████████████████████████████████████████████████████████▌                                                   | 160/296 [23:45<20:05,  8.86s/it]
+
hellaswag_hr:  54%|████████████████████████████████████████████████████████████▉                                                   | 161/296 [23:54<20:01,  8.90s/it]
+
hellaswag_hr:  55%|█████████████████████████████████████████████████████████████▎                                                  | 162/296 [24:03<20:05,  8.99s/it]
+
hellaswag_hr:  55%|█████████████████████████████████████████████████████████████▋                                                  | 163/296 [24:12<19:44,  8.90s/it]
+
hellaswag_hr:  55%|██████████████████████████████████████████████████████████████                                                  | 164/296 [24:20<19:23,  8.82s/it]
+
hellaswag_hr:  56%|██████████████████████████████████████████████████████████████▍                                                 | 165/296 [24:29<19:11,  8.79s/it]
+
hellaswag_hr:  56%|██████████████████████████████████████████████████████████████▊                                                 | 166/296 [24:38<19:15,  8.89s/it]
+
hellaswag_hr:  56%|███████████████████████████████████████████████████████████████▏                                                | 167/296 [24:47<18:57,  8.82s/it]
+
hellaswag_hr:  57%|███████████████████████████████████████████████████████████████▌                                                | 168/296 [24:55<18:28,  8.66s/it]
+
hellaswag_hr:  57%|███████████████████████████████████████████████████████████████▉                                                | 169/296 [25:04<18:23,  8.69s/it]
+
hellaswag_hr:  57%|████████████████████████████████████████████████████████████████▎                                               | 170/296 [25:13<18:22,  8.75s/it]
+
hellaswag_hr:  58%|████████████████████████████████████████████████████████████████▋                                               | 171/296 [25:21<18:06,  8.69s/it]
+
hellaswag_hr:  58%|█████████████████████████████████████████████████████████████████                                               | 172/296 [25:30<17:54,  8.66s/it]
+
hellaswag_hr:  58%|█████████████████████████████████████████████████████████████████▍                                              | 173/296 [25:39<18:08,  8.85s/it]
+
hellaswag_hr:  59%|█████████████████████████████████████████████████████████████████▊                                              | 174/296 [25:48<18:00,  8.85s/it]
+
hellaswag_hr:  59%|██████████████████████████████████████████████████████████████████▏                                             | 175/296 [25:57<17:47,  8.83s/it]
+
hellaswag_hr:  59%|██████████████████████████████████████████████████████████████████▌                                             | 176/296 [26:05<17:32,  8.77s/it]
+
hellaswag_hr:  60%|██████████████████████████████████████████████████████████████████▉                                             | 177/296 [26:14<17:32,  8.84s/it]
+
hellaswag_hr:  60%|███████████████████████████████████████████████████████████████████▎                                            | 178/296 [26:23<17:13,  8.76s/it]
+
hellaswag_hr:  60%|███████████████████████████████████████████████████████████████████▋                                            | 179/296 [26:32<17:22,  8.91s/it]
+
hellaswag_hr:  61%|████████████████████████████████████████████████████████████████████                                            | 180/296 [26:41<17:18,  8.95s/it]
+
hellaswag_hr:  61%|████████████████████████████████████████████████████████████████████▍                                           | 181/296 [26:50<17:00,  8.87s/it]
+
hellaswag_hr:  61%|████████████████████████████████████████████████████████████████████▊                                           | 182/296 [26:59<16:42,  8.79s/it]
+
hellaswag_hr:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 183/296 [27:07<16:37,  8.83s/it]
+
hellaswag_hr:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 184/296 [27:17<16:43,  8.96s/it]
+
hellaswag_hr:  62%|██████████████████████████████████████████████████████████████████████                                          | 185/296 [27:26<16:54,  9.14s/it]
+
hellaswag_hr:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 186/296 [27:35<16:22,  8.94s/it]
+
hellaswag_hr:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 187/296 [27:43<15:59,  8.81s/it]
+
hellaswag_hr:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 188/296 [27:52<15:52,  8.82s/it]
+
hellaswag_hr:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 189/296 [28:01<15:46,  8.85s/it]
+
hellaswag_hr:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 190/296 [28:10<15:39,  8.86s/it]
+
hellaswag_hr:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 191/296 [28:19<15:27,  8.83s/it]
+
hellaswag_hr:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 192/296 [28:28<15:37,  9.02s/it]
+
hellaswag_hr:  65%|█████████████████████████████████████████████████████████████████████████                                       | 193/296 [28:37<15:26,  9.00s/it]
+
hellaswag_hr:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 194/296 [28:46<15:12,  8.94s/it]
+
hellaswag_hr:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 195/296 [28:55<14:57,  8.89s/it]
+
hellaswag_hr:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 196/296 [29:04<14:51,  8.91s/it]
+
hellaswag_hr:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 197/296 [29:12<14:31,  8.80s/it]
+
hellaswag_hr:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 198/296 [29:21<14:17,  8.75s/it]
+
hellaswag_hr:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 199/296 [29:29<14:05,  8.71s/it]
+
hellaswag_hr:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 200/296 [29:38<14:00,  8.76s/it]
+
hellaswag_hr:  68%|████████████████████████████████████████████████████████████████████████████                                    | 201/296 [29:48<14:10,  8.95s/it]
+
hellaswag_hr:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 202/296 [29:56<13:55,  8.88s/it]
+
hellaswag_hr:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 203/296 [30:05<13:43,  8.85s/it]
+
hellaswag_hr:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 204/296 [30:14<13:32,  8.83s/it]
+
hellaswag_hr:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 205/296 [30:23<13:19,  8.79s/it]
+
hellaswag_hr:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 206/296 [30:32<13:18,  8.87s/it]
+
hellaswag_hr:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 207/296 [30:41<13:25,  9.05s/it]
+
hellaswag_hr:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 208/296 [30:50<13:02,  8.89s/it]
+
hellaswag_hr:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 209/296 [30:58<12:48,  8.83s/it]
+
hellaswag_hr:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 210/296 [31:07<12:46,  8.91s/it]
+
hellaswag_hr:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 211/296 [31:17<12:45,  9.01s/it]
+
hellaswag_hr:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 212/296 [31:25<12:30,  8.93s/it]
+
hellaswag_hr:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 213/296 [31:34<12:12,  8.83s/it]
+
hellaswag_hr:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 214/296 [31:43<12:02,  8.82s/it]
+
hellaswag_hr:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 215/296 [31:52<11:55,  8.84s/it]
+
hellaswag_hr:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 216/296 [32:01<11:58,  8.99s/it]
+
hellaswag_hr:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 217/296 [32:10<11:57,  9.08s/it]
+
hellaswag_hr:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 218/296 [32:20<11:54,  9.17s/it]
+
hellaswag_hr:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 219/296 [32:29<11:41,  9.10s/it]
+
hellaswag_hr:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 220/296 [32:37<11:21,  8.96s/it]
+
hellaswag_hr:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 221/296 [32:47<11:19,  9.06s/it]
+
hellaswag_hr:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 222/296 [32:56<11:13,  9.10s/it]
+
hellaswag_hr:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 223/296 [33:04<10:47,  8.88s/it]
+
hellaswag_hr:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 224/296 [33:13<10:34,  8.82s/it]
+
hellaswag_hr:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 225/296 [33:22<10:24,  8.79s/it]
+
hellaswag_hr:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 226/296 [33:31<10:29,  8.99s/it]
+
hellaswag_hr:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 227/296 [33:40<10:16,  8.94s/it]
+
hellaswag_hr:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 228/296 [33:49<10:05,  8.90s/it]
+
hellaswag_hr:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 229/296 [33:57<09:54,  8.88s/it]
+
hellaswag_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 230/296 [34:06<09:46,  8.88s/it]
+
hellaswag_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 231/296 [34:15<09:32,  8.81s/it]
+
hellaswag_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 232/296 [34:24<09:35,  8.99s/it]
+
hellaswag_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 233/296 [34:33<09:23,  8.94s/it]
+
hellaswag_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 234/296 [34:42<09:07,  8.84s/it]
+
hellaswag_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 235/296 [34:50<08:54,  8.77s/it]
+
hellaswag_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 236/296 [34:59<08:48,  8.81s/it]
+
hellaswag_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 237/296 [35:08<08:37,  8.77s/it]
+
hellaswag_hr:  80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 238/296 [35:17<08:25,  8.71s/it]
+
hellaswag_hr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 239/296 [35:25<08:13,  8.66s/it]
+
hellaswag_hr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 240/296 [35:33<07:58,  8.54s/it]
+
hellaswag_hr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 241/296 [35:42<07:51,  8.57s/it]
+
hellaswag_hr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 242/296 [35:51<07:55,  8.81s/it]
+
hellaswag_hr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 243/296 [36:01<08:00,  9.06s/it]
+
hellaswag_hr:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 244/296 [36:10<07:48,  9.00s/it]
+
hellaswag_hr:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 245/296 [36:20<07:48,  9.19s/it]
+
hellaswag_hr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 246/296 [36:29<07:40,  9.20s/it]
+
hellaswag_hr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 247/296 [36:37<07:23,  9.05s/it]
+
hellaswag_hr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 248/296 [36:46<07:11,  8.98s/it]
+
hellaswag_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 249/296 [36:56<07:08,  9.12s/it]
+
hellaswag_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 250/296 [37:05<07:04,  9.22s/it]
+
hellaswag_hr:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 251/296 [37:14<06:48,  9.09s/it]
+
hellaswag_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 252/296 [37:23<06:36,  9.00s/it]
+
hellaswag_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 253/296 [37:32<06:24,  8.95s/it]
+
hellaswag_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 254/296 [37:40<06:13,  8.88s/it]
+
hellaswag_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 255/296 [37:49<06:06,  8.94s/it]
+
hellaswag_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 256/296 [37:59<06:05,  9.13s/it]
+
hellaswag_hr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 257/296 [38:08<05:49,  8.95s/it]
+
hellaswag_hr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 258/296 [38:16<05:37,  8.88s/it]
+
hellaswag_hr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 259/296 [38:25<05:25,  8.81s/it]
+
hellaswag_hr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 260/296 [38:34<05:17,  8.82s/it]
+
hellaswag_hr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 261/296 [38:43<05:15,  9.02s/it]
+
hellaswag_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 262/296 [38:52<05:09,  9.09s/it]
+
hellaswag_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 263/296 [39:01<04:56,  8.99s/it]
+
hellaswag_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 264/296 [39:11<04:50,  9.09s/it]
+
hellaswag_hr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 265/296 [39:19<04:37,  8.96s/it]
+
hellaswag_hr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 266/296 [39:28<04:28,  8.94s/it]
+
hellaswag_hr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 267/296 [39:37<04:17,  8.90s/it]
+
hellaswag_hr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 268/296 [39:46<04:09,  8.91s/it]
+
hellaswag_hr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 269/296 [39:55<04:03,  9.03s/it]
+
hellaswag_hr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 270/296 [40:04<03:52,  8.92s/it]
+
hellaswag_hr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 271/296 [40:13<03:41,  8.86s/it]
+
hellaswag_hr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 272/296 [40:22<03:35,  8.98s/it]
+
hellaswag_hr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 273/296 [40:31<03:24,  8.91s/it]
+
hellaswag_hr:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 274/296 [40:40<03:18,  9.02s/it]
+
hellaswag_hr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████        | 275/296 [40:48<03:03,  8.75s/it]
+
hellaswag_hr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 276/296 [40:57<02:55,  8.76s/it]
+
hellaswag_hr:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 277/296 [41:06<02:50,  8.96s/it]
+
hellaswag_hr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 278/296 [41:15<02:39,  8.87s/it]
+
hellaswag_hr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 279/296 [41:24<02:33,  9.01s/it]
+
hellaswag_hr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 280/296 [41:33<02:22,  8.91s/it]
+
hellaswag_hr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 281/296 [41:42<02:16,  9.07s/it]
+
hellaswag_hr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 282/296 [41:51<02:05,  8.99s/it]
+
hellaswag_hr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 283/296 [42:00<01:55,  8.92s/it]
+
hellaswag_hr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 284/296 [42:09<01:46,  8.87s/it]
+
hellaswag_hr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 285/296 [42:17<01:37,  8.86s/it]
+
hellaswag_hr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 286/296 [42:26<01:28,  8.89s/it]
+
hellaswag_hr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 287/296 [42:35<01:19,  8.83s/it]
+
hellaswag_hr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 288/296 [42:44<01:10,  8.79s/it]
+
hellaswag_hr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/296 [42:53<01:01,  8.81s/it]
+
hellaswag_hr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 290/296 [43:01<00:52,  8.77s/it]
+
hellaswag_hr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 291/296 [43:10<00:43,  8.74s/it]
+
hellaswag_hr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 292/296 [43:19<00:34,  8.70s/it]
+
hellaswag_hr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 293/296 [43:27<00:26,  8.70s/it]
+
hellaswag_hr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 294/296 [43:36<00:17,  8.75s/it]
+
hellaswag_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 295/296 [43:45<00:08,  8.83s/it]
+
hellaswag_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:54<00:00,  8.79s/it]
hellaswag_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:54<00:00,  8.90s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hr_acc 0.3508605215922289
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hr_acc_norm 0.45063879210220675
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:10:34,823 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:10:34,823 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:34,953 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:10:34,953 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:35,083 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:10:35,083 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:35,212 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:10:35,213 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 19:10:35,213 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 19:10:35,344 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 19:10:35,344 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_hr_acc'}
+2024-05-29 19:10:35,410 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 19:10:35,410 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1161, 'value': 0.3508605215922289}
+2024-05-29 19:10:35,476 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:10:36,131 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:10:36,131 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:36,260 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:10:36,260 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:36,388 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:10:36,388 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 19:10:36,517 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 19:10:36,647 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 19:10:36,647 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_hr_acc_norm'}
+2024-05-29 19:10:36,712 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 19:10:36,712 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1162, 'value': 0.45063879210220675}
+2024-05-29 19:10:36,777 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  34%|████████████████████████████████████▌                                                                       | 42/124 [12:23:06<75:11:11, 3300.88s/it]['hellaswag_hu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:10:37,410 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:10:37,410 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:37,533 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:10:37,533 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:37,655 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:10:37,655 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:10:37,778 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:10:37,779 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 19:10:37,779 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hu'}
+2024-05-29 19:10:37,902 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_hu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.66s/ examples]
+
Generating validation split: 2000 examples [00:02, 1008.41 examples/s]
+
Generating validation split: 3768 examples [00:02, 2128.64 examples/s]
+
Generating validation split: 5364 examples [00:02, 3340.00 examples/s]
+
Generating validation split: 7000 examples [00:03, 4770.93 examples/s]
+
Generating validation split: 9000 examples [00:03, 6668.92 examples/s]
Generating validation split: 9119 examples [00:03, 2830.59 examples/s]
+Loaded 9119 examples
+Running loglikelihood requests
+
+
hellaswag_hu:   0%|                                                                                                                          | 0/285 [00:00<?, ?it/s]
+
hellaswag_hu:   0%|▍                                                                                                                 | 1/285 [00:09<44:33,  9.41s/it]
+
hellaswag_hu:   1%|▊                                                                                                                 | 2/285 [00:18<44:01,  9.33s/it]
+
hellaswag_hu:   1%|█▏                                                                                                                | 3/285 [00:28<44:14,  9.41s/it]
+
hellaswag_hu:   1%|█▌                                                                                                                | 4/285 [00:37<43:09,  9.22s/it]
+
hellaswag_hu:   2%|██                                                                                                                | 5/285 [00:46<42:51,  9.18s/it]
+
hellaswag_hu:   2%|██▍                                                                                                               | 6/285 [00:54<42:01,  9.04s/it]
+
hellaswag_hu:   2%|██▊                                                                                                               | 7/285 [01:04<42:26,  9.16s/it]
+
hellaswag_hu:   3%|███▏                                                                                                              | 8/285 [01:14<43:08,  9.34s/it]
+
hellaswag_hu:   3%|███▌                                                                                                              | 9/285 [01:23<43:06,  9.37s/it]
+
hellaswag_hu:   4%|███▉                                                                                                             | 10/285 [01:33<43:17,  9.45s/it]
+
hellaswag_hu:   4%|████▎                                                                                                            | 11/285 [01:41<42:09,  9.23s/it]
+
hellaswag_hu:   4%|████▊                                                                                                            | 12/285 [01:50<41:07,  9.04s/it]
+
hellaswag_hu:   5%|█████▏                                                                                                           | 13/285 [01:59<40:25,  8.92s/it]
+
hellaswag_hu:   5%|█████▌                                                                                                           | 14/285 [02:09<41:47,  9.25s/it]
+
hellaswag_hu:   5%|█████▉                                                                                                           | 15/285 [02:18<41:44,  9.27s/it]
+
hellaswag_hu:   6%|██████▎                                                                                                          | 16/285 [02:28<41:54,  9.35s/it]
+
hellaswag_hu:   6%|██████▋                                                                                                          | 17/285 [02:37<41:45,  9.35s/it]
+
hellaswag_hu:   6%|███████▏                                                                                                         | 18/285 [02:46<41:09,  9.25s/it]
+
hellaswag_hu:   7%|███████▌                                                                                                         | 19/285 [02:55<40:23,  9.11s/it]
+
hellaswag_hu:   7%|███████▉                                                                                                         | 20/285 [03:04<40:42,  9.22s/it]
+
hellaswag_hu:   7%|████████▎                                                                                                        | 21/285 [03:12<39:20,  8.94s/it]
+
hellaswag_hu:   8%|████████▋                                                                                                        | 22/285 [03:22<40:36,  9.27s/it]
+
hellaswag_hu:   8%|█████████                                                                                                        | 23/285 [03:32<40:48,  9.34s/it]
+
hellaswag_hu:   8%|█████████▌                                                                                                       | 24/285 [03:41<40:14,  9.25s/it]
+
hellaswag_hu:   9%|█████████▉                                                                                                       | 25/285 [03:50<40:16,  9.29s/it]
+
hellaswag_hu:   9%|██████████▎                                                                                                      | 26/285 [04:00<40:14,  9.32s/it]
+
hellaswag_hu:   9%|██████████▋                                                                                                      | 27/285 [04:09<40:29,  9.42s/it]
+
hellaswag_hu:  10%|███████████                                                                                                      | 28/285 [04:18<39:21,  9.19s/it]
+
hellaswag_hu:  10%|███████████▍                                                                                                     | 29/285 [04:27<38:21,  8.99s/it]
+
hellaswag_hu:  11%|███████████▉                                                                                                     | 30/285 [04:36<38:41,  9.11s/it]
+
hellaswag_hu:  11%|████████████▎                                                                                                    | 31/285 [04:45<38:59,  9.21s/it]
+
hellaswag_hu:  11%|████████████▋                                                                                                    | 32/285 [04:54<37:38,  8.93s/it]
+
hellaswag_hu:  12%|█████████████                                                                                                    | 33/285 [05:03<37:25,  8.91s/it]
+
hellaswag_hu:  12%|█████████████▍                                                                                                   | 34/285 [05:12<38:00,  9.09s/it]
+
hellaswag_hu:  12%|█████████████▉                                                                                                   | 35/285 [05:21<37:28,  8.99s/it]
+
hellaswag_hu:  13%|██████████████▎                                                                                                  | 36/285 [05:30<37:43,  9.09s/it]
+
hellaswag_hu:  13%|██████████████▋                                                                                                  | 37/285 [05:40<38:20,  9.28s/it]
+
hellaswag_hu:  13%|███████████████                                                                                                  | 38/285 [05:49<37:41,  9.16s/it]
+
hellaswag_hu:  14%|███████████████▍                                                                                                 | 39/285 [05:58<38:01,  9.28s/it]
+
hellaswag_hu:  14%|███████████████▊                                                                                                 | 40/285 [06:08<38:19,  9.38s/it]
+
hellaswag_hu:  14%|████████████████▎                                                                                                | 41/285 [06:18<38:50,  9.55s/it]
+
hellaswag_hu:  15%|████████████████▋                                                                                                | 42/285 [06:27<38:26,  9.49s/it]
+
hellaswag_hu:  15%|█████████████████                                                                                                | 43/285 [06:37<38:26,  9.53s/it]
+
hellaswag_hu:  15%|█████████████████▍                                                                                               | 44/285 [06:46<37:20,  9.30s/it]
+
hellaswag_hu:  16%|█████████████████▊                                                                                               | 45/285 [06:55<36:39,  9.16s/it]
+
hellaswag_hu:  16%|██████████████████▏                                                                                              | 46/285 [07:04<36:45,  9.23s/it]
+
hellaswag_hu:  16%|██████████████████▋                                                                                              | 47/285 [07:13<35:58,  9.07s/it]
+
hellaswag_hu:  17%|███████████████████                                                                                              | 48/285 [07:22<36:31,  9.25s/it]
+
hellaswag_hu:  17%|███████████████████▍                                                                                             | 49/285 [07:32<36:28,  9.27s/it]
+
hellaswag_hu:  18%|███████████████████▊                                                                                             | 50/285 [07:41<36:30,  9.32s/it]
+
hellaswag_hu:  18%|████████████████████▏                                                                                            | 51/285 [07:50<36:12,  9.28s/it]
+
hellaswag_hu:  18%|████████████████████▌                                                                                            | 52/285 [07:59<35:30,  9.14s/it]
+
hellaswag_hu:  19%|█████████████████████                                                                                            | 53/285 [08:08<35:36,  9.21s/it]
+
hellaswag_hu:  19%|█████████████████████▍                                                                                           | 54/285 [08:17<35:02,  9.10s/it]
+
hellaswag_hu:  19%|█████████████████████▊                                                                                           | 55/285 [08:27<35:13,  9.19s/it]
+
hellaswag_hu:  20%|██████████████████████▏                                                                                          | 56/285 [08:36<35:07,  9.20s/it]
+
hellaswag_hu:  20%|██████████████████████▌                                                                                          | 57/285 [08:46<35:28,  9.33s/it]
+
hellaswag_hu:  20%|██████████████████████▉                                                                                          | 58/285 [08:55<36:00,  9.52s/it]
+
hellaswag_hu:  21%|███████████████████████▍                                                                                         | 59/285 [09:04<35:17,  9.37s/it]
+
hellaswag_hu:  21%|███████████████████████▊                                                                                         | 60/285 [09:13<34:27,  9.19s/it]
+
hellaswag_hu:  21%|████████████████████████▏                                                                                        | 61/285 [09:22<33:25,  8.95s/it]
+
hellaswag_hu:  22%|████████████████████████▌                                                                                        | 62/285 [09:30<33:00,  8.88s/it]
+
hellaswag_hu:  22%|████████████████████████▉                                                                                        | 63/285 [09:39<32:47,  8.86s/it]
+
hellaswag_hu:  22%|█████████████████████████▍                                                                                       | 64/285 [09:48<32:45,  8.89s/it]
+
hellaswag_hu:  23%|█████████████████████████▊                                                                                       | 65/285 [09:58<33:11,  9.05s/it]
+
hellaswag_hu:  23%|██████████████████████████▏                                                                                      | 66/285 [10:06<32:40,  8.95s/it]
+
hellaswag_hu:  24%|██████████████████████████▌                                                                                      | 67/285 [10:15<32:24,  8.92s/it]
+
hellaswag_hu:  24%|██████████████████████████▉                                                                                      | 68/285 [10:24<32:44,  9.05s/it]
+
hellaswag_hu:  24%|███████████████████████████▎                                                                                     | 69/285 [10:34<32:37,  9.06s/it]
+
hellaswag_hu:  25%|███████████████████████████▊                                                                                     | 70/285 [10:43<32:56,  9.19s/it]
+
hellaswag_hu:  25%|████████████████████████████▏                                                                                    | 71/285 [10:52<32:15,  9.05s/it]
+
hellaswag_hu:  25%|████████████████████████████▌                                                                                    | 72/285 [11:01<31:47,  8.96s/it]
+
hellaswag_hu:  26%|████████████████████████████▉                                                                                    | 73/285 [11:11<32:59,  9.34s/it]
+
hellaswag_hu:  26%|█████████████████████████████▎                                                                                   | 74/285 [11:20<32:57,  9.37s/it]
+
hellaswag_hu:  26%|█████████████████████████████▋                                                                                   | 75/285 [11:29<32:06,  9.18s/it]
+
hellaswag_hu:  27%|██████████████████████████████▏                                                                                  | 76/285 [11:39<32:40,  9.38s/it]
+
hellaswag_hu:  27%|██████████████████████████████▌                                                                                  | 77/285 [11:48<32:48,  9.47s/it]
+
hellaswag_hu:  27%|██████████████████████████████▉                                                                                  | 78/285 [11:58<32:34,  9.44s/it]
+
hellaswag_hu:  28%|███████████████████████████████▎                                                                                 | 79/285 [12:06<31:37,  9.21s/it]
+
hellaswag_hu:  28%|███████████████████████████████▋                                                                                 | 80/285 [12:16<31:37,  9.25s/it]
+
hellaswag_hu:  28%|████████████████████████████████                                                                                 | 81/285 [12:25<31:39,  9.31s/it]
+
hellaswag_hu:  29%|████████████████████████████████▌                                                                                | 82/285 [12:35<31:33,  9.33s/it]
+
hellaswag_hu:  29%|████████████████████████████████▉                                                                                | 83/285 [12:44<31:36,  9.39s/it]
+
hellaswag_hu:  29%|█████████████████████████████████▎                                                                               | 84/285 [12:54<31:34,  9.42s/it]
+
hellaswag_hu:  30%|█████████████████████████████████▋                                                                               | 85/285 [13:03<30:52,  9.26s/it]
+
hellaswag_hu:  30%|██████████████████████████████████                                                                               | 86/285 [13:12<31:02,  9.36s/it]
+
hellaswag_hu:  31%|██████████████████████████████████▍                                                                              | 87/285 [13:22<31:11,  9.45s/it]
+
hellaswag_hu:  31%|██████████████████████████████████▉                                                                              | 88/285 [13:31<30:31,  9.29s/it]
+
hellaswag_hu:  31%|███████████████████████████████████▎                                                                             | 89/285 [13:41<31:06,  9.52s/it]
+
hellaswag_hu:  32%|███████████████████████████████████▋                                                                             | 90/285 [13:50<30:20,  9.34s/it]
+
hellaswag_hu:  32%|████████████████████████████████████                                                                             | 91/285 [13:58<29:32,  9.14s/it]
+
hellaswag_hu:  32%|████████████████████████████████████▍                                                                            | 92/285 [14:08<29:33,  9.19s/it]
+
hellaswag_hu:  33%|████████████████████████████████████▊                                                                            | 93/285 [14:17<29:34,  9.24s/it]
+
hellaswag_hu:  33%|█████████████████████████████████████▎                                                                           | 94/285 [14:26<29:05,  9.14s/it]
+
hellaswag_hu:  33%|█████████████████████████████████████▋                                                                           | 95/285 [14:35<29:11,  9.22s/it]
+
hellaswag_hu:  34%|██████████████████████████████████████                                                                           | 96/285 [14:44<28:49,  9.15s/it]
+
hellaswag_hu:  34%|██████████████████████████████████████▍                                                                          | 97/285 [14:53<28:13,  9.01s/it]
+
hellaswag_hu:  34%|██████████████████████████████████████▊                                                                          | 98/285 [15:02<28:08,  9.03s/it]
+
hellaswag_hu:  35%|███████████████████████████████████████▎                                                                         | 99/285 [15:11<27:33,  8.89s/it]
+
hellaswag_hu:  35%|███████████████████████████████████████▎                                                                        | 100/285 [15:20<27:24,  8.89s/it]
+
hellaswag_hu:  35%|███████████████████████████████████████▋                                                                        | 101/285 [15:28<27:11,  8.87s/it]
+
hellaswag_hu:  36%|████████████████████████████████████████                                                                        | 102/285 [15:37<26:53,  8.82s/it]
+
hellaswag_hu:  36%|████████████████████████████████████████▍                                                                       | 103/285 [15:46<26:44,  8.81s/it]
+
hellaswag_hu:  36%|████████████████████████████████████████▊                                                                       | 104/285 [15:55<26:40,  8.84s/it]
+
hellaswag_hu:  37%|█████████████████████████████████████████▎                                                                      | 105/285 [16:04<27:04,  9.03s/it]
+
hellaswag_hu:  37%|█████████████████████████████████████████▋                                                                      | 106/285 [16:13<26:42,  8.95s/it]
+
hellaswag_hu:  38%|██████████████████████████████████████████                                                                      | 107/285 [16:22<26:32,  8.95s/it]
+
hellaswag_hu:  38%|██████████████████████████████████████████▍                                                                     | 108/285 [16:31<26:23,  8.94s/it]
+
hellaswag_hu:  38%|██████████████████████████████████████████▊                                                                     | 109/285 [16:40<25:58,  8.85s/it]
+
hellaswag_hu:  39%|███████████████████████████████████████████▏                                                                    | 110/285 [16:49<26:16,  9.01s/it]
+
hellaswag_hu:  39%|███████████████████████████████████████████▌                                                                    | 111/285 [16:58<25:57,  8.95s/it]
+
hellaswag_hu:  39%|████████████████████████████████████████████                                                                    | 112/285 [17:06<25:30,  8.85s/it]
+
hellaswag_hu:  40%|████████████████████████████████████████████▍                                                                   | 113/285 [17:15<25:15,  8.81s/it]
+
hellaswag_hu:  40%|████████████████████████████████████████████▊                                                                   | 114/285 [17:25<25:41,  9.01s/it]
+
hellaswag_hu:  40%|█████████████████████████████████████████████▏                                                                  | 115/285 [17:33<25:27,  8.99s/it]
+
hellaswag_hu:  41%|█████████████████████████████████████████████▌                                                                  | 116/285 [17:42<25:18,  8.98s/it]
+
hellaswag_hu:  41%|█████████████████████████████████████████████▉                                                                  | 117/285 [17:52<25:33,  9.13s/it]
+
hellaswag_hu:  41%|██████████████████████████████████████████████▎                                                                 | 118/285 [18:01<25:45,  9.25s/it]
+
hellaswag_hu:  42%|██████████████████████████████████████████████▊                                                                 | 119/285 [18:11<25:35,  9.25s/it]
+
hellaswag_hu:  42%|███████████████████████████████████████████████▏                                                                | 120/285 [18:20<25:28,  9.26s/it]
+
hellaswag_hu:  42%|███████████████████████████████████████████████▌                                                                | 121/285 [18:29<24:51,  9.10s/it]
+
hellaswag_hu:  43%|███████████████████████████████████████████████▉                                                                | 122/285 [18:38<24:34,  9.05s/it]
+
hellaswag_hu:  43%|████████████████████████████████████████████████▎                                                               | 123/285 [18:46<24:06,  8.93s/it]
+
hellaswag_hu:  44%|████████████████████████████████████████████████▋                                                               | 124/285 [18:55<23:54,  8.91s/it]
+
hellaswag_hu:  44%|█████████████████████████████████████████████████                                                               | 125/285 [19:04<23:33,  8.83s/it]
+
hellaswag_hu:  44%|█████████████████████████████████████████████████▌                                                              | 126/285 [19:14<24:18,  9.17s/it]
+
hellaswag_hu:  45%|█████████████████████████████████████████████████▉                                                              | 127/285 [19:22<23:36,  8.97s/it]
+
hellaswag_hu:  45%|██████████████████████████████████████████████████▎                                                             | 128/285 [19:31<23:25,  8.95s/it]
+
hellaswag_hu:  45%|██████████████████████████████████████████████████▋                                                             | 129/285 [19:40<23:08,  8.90s/it]
+
hellaswag_hu:  46%|███████████████████████████████████████████████████                                                             | 130/285 [19:49<22:54,  8.87s/it]
+
hellaswag_hu:  46%|███████████████████████████████████████████████████▍                                                            | 131/285 [19:59<23:41,  9.23s/it]
+
hellaswag_hu:  46%|███████████████████████████████████████████████████▊                                                            | 132/285 [20:08<23:10,  9.09s/it]
+
hellaswag_hu:  47%|████████████████████████████████████████████████████▎                                                           | 133/285 [20:17<23:13,  9.17s/it]
+
hellaswag_hu:  47%|████████████████████████████████████████████████████▋                                                           | 134/285 [20:27<23:25,  9.31s/it]
+
hellaswag_hu:  47%|█████████████████████████████████████████████████████                                                           | 135/285 [20:36<23:26,  9.38s/it]
+
hellaswag_hu:  48%|█████████████████████████████████████████████████████▍                                                          | 136/285 [20:46<23:26,  9.44s/it]
+
hellaswag_hu:  48%|█████████████████████████████████████████████████████▊                                                          | 137/285 [20:55<22:57,  9.31s/it]
+
hellaswag_hu:  48%|██████████████████████████████████████████████████████▏                                                         | 138/285 [21:04<23:06,  9.43s/it]
+
hellaswag_hu:  49%|██████████████████████████████████████████████████████▌                                                         | 139/285 [21:14<23:01,  9.46s/it]
+
hellaswag_hu:  49%|███████████████████████████████████████████████████████                                                         | 140/285 [21:24<23:06,  9.56s/it]
+
hellaswag_hu:  49%|███████████████████████████████████████████████████████▍                                                        | 141/285 [21:33<22:33,  9.40s/it]
+
hellaswag_hu:  50%|███████████████████████████████████████████████████████▊                                                        | 142/285 [21:42<22:11,  9.31s/it]
+
hellaswag_hu:  50%|████████████████████████████████████████████████████████▏                                                       | 143/285 [21:52<22:16,  9.41s/it]
+
hellaswag_hu:  51%|████████████████████████████████████████████████████████▌                                                       | 144/285 [22:01<21:51,  9.30s/it]
+
hellaswag_hu:  51%|████████████████████████████████████████████████████████▉                                                       | 145/285 [22:09<21:18,  9.13s/it]
+
hellaswag_hu:  51%|█████████████████████████████████████████████████████████▍                                                      | 146/285 [22:18<20:51,  9.01s/it]
+
hellaswag_hu:  52%|█████████████████████████████████████████████████████████▊                                                      | 147/285 [22:27<20:28,  8.90s/it]
+
hellaswag_hu:  52%|██████████████████████████████████████████████████████████▏                                                     | 148/285 [22:36<20:45,  9.09s/it]
+
hellaswag_hu:  52%|██████████████████████████████████████████████████████████▌                                                     | 149/285 [22:45<20:31,  9.06s/it]
+
hellaswag_hu:  53%|██████████████████████████████████████████████████████████▉                                                     | 150/285 [22:54<20:15,  9.00s/it]
+
hellaswag_hu:  53%|███████████████████████████████████████████████████████████▎                                                    | 151/285 [23:03<20:15,  9.07s/it]
+
hellaswag_hu:  53%|███████████████████████████████████████████████████████████▋                                                    | 152/285 [23:13<20:31,  9.26s/it]
+
hellaswag_hu:  54%|████████████████████████████████████████████████████████████▏                                                   | 153/285 [23:23<20:43,  9.42s/it]
+
hellaswag_hu:  54%|████████████████████████████████████████████████████████████▌                                                   | 154/285 [23:31<20:05,  9.20s/it]
+
hellaswag_hu:  54%|████████████████████████████████████████████████████████████▉                                                   | 155/285 [23:40<19:45,  9.12s/it]
+
hellaswag_hu:  55%|█████████████████████████████████████████████████████████████▎                                                  | 156/285 [23:50<19:53,  9.25s/it]
+
hellaswag_hu:  55%|█████████████████████████████████████████████████████████████▋                                                  | 157/285 [23:59<19:33,  9.17s/it]
+
hellaswag_hu:  55%|██████████████████████████████████████████████████████████████                                                  | 158/285 [24:08<19:20,  9.13s/it]
+
hellaswag_hu:  56%|██████████████████████████████████████████████████████████████▍                                                 | 159/285 [24:17<18:56,  9.02s/it]
+
hellaswag_hu:  56%|██████████████████████████████████████████████████████████████▉                                                 | 160/285 [24:26<18:40,  8.96s/it]
+
hellaswag_hu:  56%|███████████████████████████████████████████████████████████████▎                                                | 161/285 [24:35<18:51,  9.12s/it]
+
hellaswag_hu:  57%|███████████████████████████████████████████████████████████████▋                                                | 162/285 [24:45<19:12,  9.37s/it]
+
hellaswag_hu:  57%|████████████████████████████████████████████████████████████████                                                | 163/285 [24:54<18:41,  9.20s/it]
+
hellaswag_hu:  58%|████████████████████████████████████████████████████████████████▍                                               | 164/285 [25:03<18:35,  9.22s/it]
+
hellaswag_hu:  58%|████████████████████████████████████████████████████████████████▊                                               | 165/285 [25:13<18:55,  9.46s/it]
+
hellaswag_hu:  58%|█████████████████████████████████████████████████████████████████▏                                              | 166/285 [25:23<18:45,  9.46s/it]
+
hellaswag_hu:  59%|█████████████████████████████████████████████████████████████████▋                                              | 167/285 [25:31<18:09,  9.24s/it]
+
hellaswag_hu:  59%|██████████████████████████████████████████████████████████████████                                              | 168/285 [25:40<17:44,  9.10s/it]
+
hellaswag_hu:  59%|██████████████████████████████████████████████████████████████████▍                                             | 169/285 [25:49<17:24,  9.00s/it]
+
hellaswag_hu:  60%|██████████████████████████████████████████████████████████████████▊                                             | 170/285 [25:58<17:09,  8.96s/it]
+
hellaswag_hu:  60%|███████████████████████████████████████████████████████████████████▏                                            | 171/285 [26:07<17:15,  9.09s/it]
+
hellaswag_hu:  60%|███████████████████████████████████████████████████████████████████▌                                            | 172/285 [26:16<17:11,  9.13s/it]
+
hellaswag_hu:  61%|███████████████████████████████████████████████████████████████████▉                                            | 173/285 [26:25<16:49,  9.01s/it]
+
hellaswag_hu:  61%|████████████████████████████████████████████████████████████████████▍                                           | 174/285 [26:34<16:34,  8.96s/it]
+
hellaswag_hu:  61%|████████████████████████████████████████████████████████████████████▊                                           | 175/285 [26:44<16:47,  9.16s/it]
+
hellaswag_hu:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 176/285 [26:52<16:32,  9.10s/it]
+
hellaswag_hu:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 177/285 [27:01<16:01,  8.90s/it]
+
hellaswag_hu:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 178/285 [27:10<15:47,  8.86s/it]
+
hellaswag_hu:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 179/285 [27:19<15:59,  9.05s/it]
+
hellaswag_hu:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 180/285 [27:28<15:41,  8.97s/it]
+
hellaswag_hu:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 181/285 [27:37<15:37,  9.02s/it]
+
hellaswag_hu:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 182/285 [27:47<15:43,  9.16s/it]
+
hellaswag_hu:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 183/285 [27:56<15:41,  9.23s/it]
+
hellaswag_hu:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 184/285 [28:05<15:25,  9.16s/it]
+
hellaswag_hu:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 185/285 [28:15<15:31,  9.31s/it]
+
hellaswag_hu:  65%|█████████████████████████████████████████████████████████████████████████                                       | 186/285 [28:24<15:23,  9.32s/it]
+
hellaswag_hu:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 187/285 [28:33<15:10,  9.29s/it]
+
hellaswag_hu:  66%|█████████████████████████████████████████████████████████████████████████▉                                      | 188/285 [28:42<14:56,  9.24s/it]
+
hellaswag_hu:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 189/285 [28:51<14:34,  9.11s/it]
+
hellaswag_hu:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 190/285 [29:00<14:14,  8.99s/it]
+
hellaswag_hu:  67%|███████████████████████████████████████████████████████████████████████████                                     | 191/285 [29:09<14:03,  8.97s/it]
+
hellaswag_hu:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 192/285 [29:18<13:51,  8.94s/it]
+
hellaswag_hu:  68%|███████████████████████████████████████████████████████████████████████████▊                                    | 193/285 [29:26<13:24,  8.74s/it]
+
hellaswag_hu:  68%|████████████████████████████████████████████████████████████████████████████▏                                   | 194/285 [29:35<13:20,  8.80s/it]
+
hellaswag_hu:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 195/285 [29:44<13:28,  8.99s/it]
+
hellaswag_hu:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 196/285 [29:54<13:28,  9.08s/it]
+
hellaswag_hu:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 197/285 [30:03<13:28,  9.19s/it]
+
hellaswag_hu:  69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 198/285 [30:12<13:26,  9.27s/it]
+
hellaswag_hu:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 199/285 [30:22<13:13,  9.23s/it]
+
hellaswag_hu:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 200/285 [30:31<13:14,  9.35s/it]
+
hellaswag_hu:  71%|██████████████████████████████████████████████████████████████████████████████▉                                 | 201/285 [30:40<12:51,  9.18s/it]
+
hellaswag_hu:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 202/285 [30:49<12:46,  9.23s/it]
+
hellaswag_hu:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 203/285 [30:59<12:37,  9.24s/it]
+
hellaswag_hu:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 204/285 [31:07<12:16,  9.09s/it]
+
hellaswag_hu:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 205/285 [31:16<11:59,  8.99s/it]
+
hellaswag_hu:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 206/285 [31:25<11:49,  8.98s/it]
+
hellaswag_hu:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 207/285 [31:34<11:28,  8.82s/it]
+
hellaswag_hu:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 208/285 [31:42<11:09,  8.69s/it]
+
hellaswag_hu:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 209/285 [31:51<11:18,  8.92s/it]
+
hellaswag_hu:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 210/285 [32:01<11:25,  9.13s/it]
+
hellaswag_hu:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 211/285 [32:10<11:19,  9.18s/it]
+
hellaswag_hu:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 212/285 [32:19<11:00,  9.05s/it]
+
hellaswag_hu:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 213/285 [32:28<10:57,  9.13s/it]
+
hellaswag_hu:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 214/285 [32:38<11:01,  9.31s/it]
+
hellaswag_hu:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 215/285 [32:47<10:46,  9.23s/it]
+
hellaswag_hu:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 216/285 [32:57<10:42,  9.31s/it]
+
hellaswag_hu:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 217/285 [33:06<10:30,  9.27s/it]
+
hellaswag_hu:  76%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 218/285 [33:15<10:12,  9.14s/it]
+
hellaswag_hu:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 219/285 [33:24<10:14,  9.31s/it]
+
hellaswag_hu:  77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 220/285 [33:33<09:56,  9.17s/it]
+
hellaswag_hu:  78%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 221/285 [33:43<09:54,  9.29s/it]
+
hellaswag_hu:  78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 222/285 [33:52<09:35,  9.14s/it]
+
hellaswag_hu:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 223/285 [34:00<09:17,  9.00s/it]
+
hellaswag_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 224/285 [34:10<09:14,  9.09s/it]
+
hellaswag_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 225/285 [34:18<09:00,  9.00s/it]
+
hellaswag_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 226/285 [34:27<08:46,  8.92s/it]
+
hellaswag_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 227/285 [34:36<08:36,  8.90s/it]
+
hellaswag_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 228/285 [34:45<08:34,  9.03s/it]
+
hellaswag_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 229/285 [34:54<08:18,  8.90s/it]
+
hellaswag_hu:  81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 230/285 [35:03<08:16,  9.03s/it]
+
hellaswag_hu:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 231/285 [35:12<08:06,  9.01s/it]
+
hellaswag_hu:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 232/285 [35:21<07:57,  9.00s/it]
+
hellaswag_hu:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 233/285 [35:29<07:36,  8.78s/it]
+
hellaswag_hu:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 234/285 [35:38<07:30,  8.83s/it]
+
hellaswag_hu:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 235/285 [35:47<07:22,  8.84s/it]
+
hellaswag_hu:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 236/285 [35:57<07:26,  9.12s/it]
+
hellaswag_hu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 237/285 [36:07<07:30,  9.39s/it]
+
hellaswag_hu:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 238/285 [36:16<07:12,  9.20s/it]
+
hellaswag_hu:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 239/285 [36:25<07:06,  9.27s/it]
+
hellaswag_hu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 240/285 [36:35<07:04,  9.44s/it]
+
hellaswag_hu:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 241/285 [36:44<06:45,  9.21s/it]
+
hellaswag_hu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 242/285 [36:54<06:45,  9.43s/it]
+
hellaswag_hu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 243/285 [37:02<06:28,  9.25s/it]
+
hellaswag_hu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 244/285 [37:13<06:32,  9.56s/it]
+
hellaswag_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 245/285 [37:22<06:21,  9.53s/it]
+
hellaswag_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 246/285 [37:30<05:56,  9.13s/it]
+
hellaswag_hu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 247/285 [37:40<05:55,  9.35s/it]
+
hellaswag_hu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍              | 248/285 [37:50<05:46,  9.36s/it]
+
hellaswag_hu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 249/285 [37:59<05:36,  9.35s/it]
+
hellaswag_hu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 250/285 [38:09<05:29,  9.43s/it]
+
hellaswag_hu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋             | 251/285 [38:18<05:15,  9.29s/it]
+
hellaswag_hu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 252/285 [38:26<05:00,  9.11s/it]
+
hellaswag_hu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍            | 253/285 [38:36<04:54,  9.22s/it]
+
hellaswag_hu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊            | 254/285 [38:45<04:50,  9.37s/it]
+
hellaswag_hu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 255/285 [38:55<04:40,  9.34s/it]
+
hellaswag_hu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 256/285 [39:03<04:25,  9.14s/it]
+
hellaswag_hu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 257/285 [39:13<04:20,  9.32s/it]
+
hellaswag_hu:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 258/285 [39:23<04:14,  9.41s/it]
+
hellaswag_hu:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 259/285 [39:31<03:59,  9.21s/it]
+
hellaswag_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 260/285 [39:41<03:54,  9.38s/it]
+
hellaswag_hu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 261/285 [39:51<03:45,  9.40s/it]
+
hellaswag_hu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 262/285 [40:00<03:32,  9.22s/it]
+
hellaswag_hu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 263/285 [40:08<03:16,  8.95s/it]
+
hellaswag_hu:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 264/285 [40:18<03:13,  9.20s/it]
+
hellaswag_hu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 265/285 [40:27<03:04,  9.23s/it]
+
hellaswag_hu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 266/285 [40:36<02:57,  9.33s/it]
+
hellaswag_hu:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 267/285 [40:45<02:45,  9.18s/it]
+
hellaswag_hu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 268/285 [40:54<02:33,  9.06s/it]
+
hellaswag_hu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 269/285 [41:03<02:24,  9.01s/it]
+
hellaswag_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████      | 270/285 [41:12<02:16,  9.10s/it]
+
hellaswag_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 271/285 [41:22<02:08,  9.16s/it]
+
hellaswag_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 272/285 [41:31<02:01,  9.37s/it]
+
hellaswag_hu:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 273/285 [41:41<01:52,  9.37s/it]
+
hellaswag_hu:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 274/285 [41:50<01:43,  9.39s/it]
+
hellaswag_hu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 275/285 [41:59<01:31,  9.14s/it]
+
hellaswag_hu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 276/285 [42:08<01:21,  9.06s/it]
+
hellaswag_hu:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 277/285 [42:17<01:12,  9.07s/it]
+
hellaswag_hu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 278/285 [42:26<01:03,  9.04s/it]
+
hellaswag_hu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 279/285 [42:35<00:54,  9.16s/it]
+
hellaswag_hu:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 280/285 [42:44<00:45,  9.11s/it]
+
hellaswag_hu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 281/285 [42:53<00:36,  9.05s/it]
+
hellaswag_hu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 282/285 [43:03<00:27,  9.23s/it]
+
hellaswag_hu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 283/285 [43:12<00:18,  9.12s/it]
+
hellaswag_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 284/285 [43:20<00:08,  8.95s/it]
+
hellaswag_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 285/285 [43:29<00:00,  8.89s/it]
hellaswag_hu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 285/285 [43:29<00:00,  9.16s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hu_acc 0.2783199912271082
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hu_acc_norm 0.3179076653141792
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:54:12,632 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:54:12,632 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:12,763 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:54:12,763 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:12,894 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:54:12,895 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:13,026 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:54:13,027 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 19:54:13,027 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 19:54:13,159 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 19:54:13,159 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_hu_acc'}
+2024-05-29 19:54:13,226 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 19:54:13,226 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1163, 'value': 0.2783199912271082}
+2024-05-29 19:54:13,293 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:54:13,925 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:54:13,925 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:14,049 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:54:14,049 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:14,173 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:54:14,173 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:14,296 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:54:14,297 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 19:54:14,297 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 19:54:14,422 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 19:54:14,422 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hu_acc_norm'}
+2024-05-29 19:54:14,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 19:54:14,484 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1164, 'value': 0.3179076653141792}
+2024-05-29 19:54:14,547 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  35%|█████████████████████████████████████▍                                                                      | 43/124 [13:06:43<69:39:31, 3095.94s/it]['hellaswag_hy']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 19:54:15,175 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 19:54:15,175 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:15,298 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 19:54:15,298 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:15,421 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 19:54:15,421 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 19:54:15,545 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_hy'}
+2024-05-29 19:54:15,669 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_hy task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:03,  3.73s/ examples]
+
Generating validation split: 1640 examples [00:03, 604.73 examples/s]
+
Generating validation split: 3121 examples [00:03, 1315.69 examples/s]
+
Generating validation split: 5000 examples [00:04, 2453.13 examples/s]
+
Generating validation split: 7000 examples [00:04, 3882.68 examples/s]
+
Generating validation split: 8632 examples [00:04, 5196.67 examples/s]
Generating validation split: 8632 examples [00:04, 2014.24 examples/s]
+Loaded 8632 examples
+Running loglikelihood requests
+
+
hellaswag_hy:   0%|                                                                                                                          | 0/270 [00:00<?, ?it/s]
+
hellaswag_hy:   0%|▍                                                                                                               | 1/270 [00:17<1:16:23, 17.04s/it]
+
hellaswag_hy:   1%|▊                                                                                                               | 2/270 [00:33<1:13:59, 16.56s/it]
+
hellaswag_hy:   1%|█▏                                                                                                              | 3/270 [00:49<1:13:35, 16.54s/it]
+
hellaswag_hy:   1%|█▋                                                                                                              | 4/270 [01:06<1:13:35, 16.60s/it]
+
hellaswag_hy:   2%|██                                                                                                              | 5/270 [01:23<1:13:36, 16.67s/it]
+
hellaswag_hy:   2%|██▍                                                                                                             | 6/270 [01:38<1:11:36, 16.28s/it]
+
hellaswag_hy:   3%|██▉                                                                                                             | 7/270 [01:56<1:13:23, 16.74s/it]
+
hellaswag_hy:   3%|███▎                                                                                                            | 8/270 [02:12<1:11:59, 16.49s/it]
+
hellaswag_hy:   3%|███▋                                                                                                            | 9/270 [02:29<1:11:58, 16.55s/it]
+
hellaswag_hy:   4%|████                                                                                                           | 10/270 [02:45<1:11:58, 16.61s/it]
+
hellaswag_hy:   4%|████▌                                                                                                          | 11/270 [03:02<1:11:39, 16.60s/it]
+
hellaswag_hy:   4%|████▉                                                                                                          | 12/270 [03:18<1:11:09, 16.55s/it]
+
hellaswag_hy:   5%|█████▎                                                                                                         | 13/270 [03:36<1:11:44, 16.75s/it]
+
hellaswag_hy:   5%|█████▊                                                                                                         | 14/270 [03:53<1:12:13, 16.93s/it]
+
hellaswag_hy:   6%|██████▏                                                                                                        | 15/270 [04:10<1:12:01, 16.95s/it]
+
hellaswag_hy:   6%|██████▌                                                                                                        | 16/270 [04:27<1:12:00, 17.01s/it]
+
hellaswag_hy:   6%|██████▉                                                                                                        | 17/270 [04:43<1:10:45, 16.78s/it]
+
hellaswag_hy:   7%|███████▍                                                                                                       | 18/270 [05:01<1:11:16, 16.97s/it]
+
hellaswag_hy:   7%|███████▊                                                                                                       | 19/270 [05:18<1:11:15, 17.03s/it]
+
hellaswag_hy:   7%|████████▏                                                                                                      | 20/270 [05:34<1:09:46, 16.74s/it]
+
hellaswag_hy:   8%|████████▋                                                                                                      | 21/270 [05:51<1:10:03, 16.88s/it]
+
hellaswag_hy:   8%|█████████                                                                                                      | 22/270 [06:06<1:07:19, 16.29s/it]
+
hellaswag_hy:   9%|█████████▍                                                                                                     | 23/270 [06:22<1:06:46, 16.22s/it]
+
hellaswag_hy:   9%|█████████▊                                                                                                     | 24/270 [06:38<1:05:53, 16.07s/it]
+
hellaswag_hy:   9%|██████████▎                                                                                                    | 25/270 [06:55<1:06:19, 16.24s/it]
+
hellaswag_hy:  10%|██████████▋                                                                                                    | 26/270 [07:13<1:08:20, 16.80s/it]
+
hellaswag_hy:  10%|███████████                                                                                                    | 27/270 [07:30<1:08:12, 16.84s/it]
+
hellaswag_hy:  10%|███████████▌                                                                                                   | 28/270 [07:46<1:07:22, 16.70s/it]
+
hellaswag_hy:  11%|███████████▉                                                                                                   | 29/270 [08:04<1:09:11, 17.23s/it]
+
hellaswag_hy:  11%|████████████▎                                                                                                  | 30/270 [08:21<1:07:38, 16.91s/it]
+
hellaswag_hy:  11%|████████████▋                                                                                                  | 31/270 [08:37<1:06:50, 16.78s/it]
+
hellaswag_hy:  12%|█████████████▏                                                                                                 | 32/270 [08:54<1:07:13, 16.95s/it]
+
hellaswag_hy:  12%|█████████████▌                                                                                                 | 33/270 [09:10<1:05:43, 16.64s/it]
+
hellaswag_hy:  13%|█████████████▉                                                                                                 | 34/270 [09:26<1:04:44, 16.46s/it]
+
hellaswag_hy:  13%|██████████████▍                                                                                                | 35/270 [09:42<1:03:40, 16.26s/it]
+
hellaswag_hy:  13%|██████████████▊                                                                                                | 36/270 [09:59<1:04:06, 16.44s/it]
+
hellaswag_hy:  14%|███████████████▏                                                                                               | 37/270 [10:15<1:02:47, 16.17s/it]
+
hellaswag_hy:  14%|███████████████▌                                                                                               | 38/270 [10:32<1:03:41, 16.47s/it]
+
hellaswag_hy:  14%|████████████████                                                                                               | 39/270 [10:49<1:03:50, 16.58s/it]
+
hellaswag_hy:  15%|████████████████▍                                                                                              | 40/270 [11:05<1:03:07, 16.47s/it]
+
hellaswag_hy:  15%|████████████████▊                                                                                              | 41/270 [11:22<1:03:27, 16.63s/it]
+
hellaswag_hy:  16%|█████████████████▎                                                                                             | 42/270 [11:38<1:02:22, 16.41s/it]
+
hellaswag_hy:  16%|█████████████████▋                                                                                             | 43/270 [11:54<1:02:34, 16.54s/it]
+
hellaswag_hy:  16%|██████████████████                                                                                             | 44/270 [12:13<1:04:19, 17.08s/it]
+
hellaswag_hy:  17%|██████████████████▌                                                                                            | 45/270 [12:29<1:02:44, 16.73s/it]
+
hellaswag_hy:  17%|███████████████████▎                                                                                             | 46/270 [12:43<59:44, 16.00s/it]
+
hellaswag_hy:  17%|███████████████████▎                                                                                           | 47/270 [13:01<1:01:27, 16.54s/it]
+
hellaswag_hy:  18%|███████████████████▋                                                                                           | 48/270 [13:18<1:01:41, 16.67s/it]
+
hellaswag_hy:  18%|████████████████████▏                                                                                          | 49/270 [13:35<1:01:43, 16.76s/it]
+
hellaswag_hy:  19%|████████████████████▉                                                                                            | 50/270 [13:50<59:50, 16.32s/it]
+
hellaswag_hy:  19%|█████████████████████▎                                                                                           | 51/270 [14:05<58:34, 16.05s/it]
+
hellaswag_hy:  19%|█████████████████████▊                                                                                           | 52/270 [14:20<57:08, 15.73s/it]
+
hellaswag_hy:  20%|██████████████████████▏                                                                                          | 53/270 [14:37<58:00, 16.04s/it]
+
hellaswag_hy:  20%|██████████████████████▌                                                                                          | 54/270 [14:55<59:30, 16.53s/it]
+
hellaswag_hy:  20%|███████████████████████                                                                                          | 55/270 [15:10<57:45, 16.12s/it]
+
hellaswag_hy:  21%|███████████████████████▍                                                                                         | 56/270 [15:28<59:01, 16.55s/it]
+
hellaswag_hy:  21%|███████████████████████▊                                                                                         | 57/270 [15:45<59:32, 16.77s/it]
+
hellaswag_hy:  21%|████████████████████████▎                                                                                        | 58/270 [15:59<56:56, 16.12s/it]
+
hellaswag_hy:  22%|████████████████████████▋                                                                                        | 59/270 [16:17<58:06, 16.53s/it]
+
hellaswag_hy:  22%|█████████████████████████                                                                                        | 60/270 [16:33<57:37, 16.46s/it]
+
hellaswag_hy:  23%|█████████████████████████▌                                                                                       | 61/270 [16:51<58:40, 16.85s/it]
+
hellaswag_hy:  23%|█████████████████████████▉                                                                                       | 62/270 [17:08<58:33, 16.89s/it]
+
hellaswag_hy:  23%|██████████████████████████▎                                                                                      | 63/270 [17:23<56:34, 16.40s/it]
+
hellaswag_hy:  24%|██████████████████████████▊                                                                                      | 64/270 [17:40<56:53, 16.57s/it]
+
hellaswag_hy:  24%|███████████████████████████▏                                                                                     | 65/270 [17:57<56:47, 16.62s/it]
+
hellaswag_hy:  24%|███████████████████████████▌                                                                                     | 66/270 [18:14<57:06, 16.80s/it]
+
hellaswag_hy:  25%|████████████████████████████                                                                                     | 67/270 [18:31<56:57, 16.83s/it]
+
hellaswag_hy:  25%|████████████████████████████▍                                                                                    | 68/270 [18:47<56:05, 16.66s/it]
+
hellaswag_hy:  26%|████████████████████████████▉                                                                                    | 69/270 [19:02<54:13, 16.19s/it]
+
hellaswag_hy:  26%|█████████████████████████████▎                                                                                   | 70/270 [19:20<55:40, 16.70s/it]
+
hellaswag_hy:  26%|█████████████████████████████▋                                                                                   | 71/270 [19:36<54:13, 16.35s/it]
+
hellaswag_hy:  27%|██████████████████████████████▏                                                                                  | 72/270 [19:52<53:24, 16.18s/it]
+
hellaswag_hy:  27%|██████████████████████████████▌                                                                                  | 73/270 [20:07<52:00, 15.84s/it]
+
hellaswag_hy:  27%|██████████████████████████████▉                                                                                  | 74/270 [20:24<52:41, 16.13s/it]
+
hellaswag_hy:  28%|███████████████████████████████▍                                                                                 | 75/270 [20:40<53:13, 16.38s/it]
+
hellaswag_hy:  28%|███████████████████████████████▊                                                                                 | 76/270 [20:58<53:42, 16.61s/it]
+
hellaswag_hy:  29%|████████████████████████████████▏                                                                                | 77/270 [21:16<55:03, 17.12s/it]
+
hellaswag_hy:  29%|████████████████████████████████▋                                                                                | 78/270 [21:33<55:01, 17.19s/it]
+
hellaswag_hy:  29%|█████████████████████████████████                                                                                | 79/270 [21:50<54:13, 17.03s/it]
+
hellaswag_hy:  30%|█████████████████████████████████▍                                                                               | 80/270 [22:06<53:15, 16.82s/it]
+
hellaswag_hy:  30%|█████████████████████████████████▉                                                                               | 81/270 [22:23<52:35, 16.69s/it]
+
hellaswag_hy:  30%|██████████████████████████████████▎                                                                              | 82/270 [22:41<53:45, 17.16s/it]
+
hellaswag_hy:  31%|██████████████████████████████████▋                                                                              | 83/270 [22:57<52:26, 16.82s/it]
+
hellaswag_hy:  31%|███████████████████████████████████▏                                                                             | 84/270 [23:13<51:44, 16.69s/it]
+
hellaswag_hy:  31%|███████████████████████████████████▌                                                                             | 85/270 [23:30<51:38, 16.75s/it]
+
hellaswag_hy:  32%|███████████████████████████████████▉                                                                             | 86/270 [23:47<51:25, 16.77s/it]
+
hellaswag_hy:  32%|████████████████████████████████████▍                                                                            | 87/270 [24:05<52:05, 17.08s/it]
+
hellaswag_hy:  33%|████████████████████████████████████▊                                                                            | 88/270 [24:22<51:28, 16.97s/it]
+
hellaswag_hy:  33%|█████████████████████████████████████▏                                                                           | 89/270 [24:38<50:48, 16.84s/it]
+
hellaswag_hy:  33%|█████████████████████████████████████▋                                                                           | 90/270 [24:55<50:55, 16.97s/it]
+
hellaswag_hy:  34%|██████████████████████████████████████                                                                           | 91/270 [25:12<49:51, 16.71s/it]
+
hellaswag_hy:  34%|██████████████████████████████████████▌                                                                          | 92/270 [25:27<48:14, 16.26s/it]
+
hellaswag_hy:  34%|██████████████████████████████████████▉                                                                          | 93/270 [25:44<48:40, 16.50s/it]
+
hellaswag_hy:  35%|███████████████████████████████████████▎                                                                         | 94/270 [26:01<49:03, 16.72s/it]
+
hellaswag_hy:  35%|███████████████████████████████████████▊                                                                         | 95/270 [26:17<48:27, 16.61s/it]
+
hellaswag_hy:  36%|████████████████████████████████████████▏                                                                        | 96/270 [26:33<47:21, 16.33s/it]
+
hellaswag_hy:  36%|████████████████████████████████████████▌                                                                        | 97/270 [26:50<47:22, 16.43s/it]
+
hellaswag_hy:  36%|█████████████████████████████████████████                                                                        | 98/270 [27:04<45:32, 15.89s/it]
+
hellaswag_hy:  37%|█████████████████████████████████████████▍                                                                       | 99/270 [27:20<45:08, 15.84s/it]
+
hellaswag_hy:  37%|█████████████████████████████████████████▍                                                                      | 100/270 [27:37<45:35, 16.09s/it]
+
hellaswag_hy:  37%|█████████████████████████████████████████▉                                                                      | 101/270 [27:54<46:11, 16.40s/it]
+
hellaswag_hy:  38%|██████████████████████████████████████████▎                                                                     | 102/270 [28:10<45:34, 16.27s/it]
+
hellaswag_hy:  38%|██████████████████████████████████████████▋                                                                     | 103/270 [28:26<45:19, 16.29s/it]
+
hellaswag_hy:  39%|███████████████████████████████████████████▏                                                                    | 104/270 [28:42<44:36, 16.12s/it]
+
hellaswag_hy:  39%|███████████████████████████████████████████▌                                                                    | 105/270 [29:00<46:13, 16.81s/it]
+
hellaswag_hy:  39%|███████████████████████████████████████████▉                                                                    | 106/270 [29:18<46:45, 17.10s/it]
+
hellaswag_hy:  40%|████████████████████████████████████████████▍                                                                   | 107/270 [29:35<46:10, 17.00s/it]
+
hellaswag_hy:  40%|████████████████████████████████████████████▊                                                                   | 108/270 [29:52<45:57, 17.02s/it]
+
hellaswag_hy:  40%|█████████████████████████████████████████████▏                                                                  | 109/270 [30:08<45:07, 16.82s/it]
+
hellaswag_hy:  41%|█████████████████████████████████████████████▋                                                                  | 110/270 [30:24<43:57, 16.49s/it]
+
hellaswag_hy:  41%|██████████████████████████████████████████████                                                                  | 111/270 [30:41<43:45, 16.51s/it]
+
hellaswag_hy:  41%|██████████████████████████████████████████████▍                                                                 | 112/270 [30:57<43:27, 16.50s/it]
+
hellaswag_hy:  42%|██████████████████████████████████████████████▊                                                                 | 113/270 [31:15<44:25, 16.98s/it]
+
hellaswag_hy:  42%|███████████████████████████████████████████████▎                                                                | 114/270 [31:33<44:49, 17.24s/it]
+
hellaswag_hy:  43%|███████████████████████████████████████████████▋                                                                | 115/270 [31:51<44:58, 17.41s/it]
+
hellaswag_hy:  43%|████████████████████████████████████████████████                                                                | 116/270 [32:07<43:37, 17.00s/it]
+
hellaswag_hy:  43%|████████████████████████████████████████████████▌                                                               | 117/270 [32:24<43:37, 17.11s/it]
+
hellaswag_hy:  44%|████████████████████████████████████████████████▉                                                               | 118/270 [32:40<42:39, 16.84s/it]
+
hellaswag_hy:  44%|█████████████████████████████████████████████████▎                                                              | 119/270 [32:56<41:40, 16.56s/it]
+
hellaswag_hy:  44%|█████████████████████████████████████████████████▊                                                              | 120/270 [33:12<40:32, 16.22s/it]
+
hellaswag_hy:  45%|██████████████████████████████████████████████████▏                                                             | 121/270 [33:29<40:45, 16.41s/it]
+
hellaswag_hy:  45%|██████████████████████████████████████████████████▌                                                             | 122/270 [33:44<39:52, 16.17s/it]
+
hellaswag_hy:  46%|███████████████████████████████████████████████████                                                             | 123/270 [34:03<41:36, 16.98s/it]
+
hellaswag_hy:  46%|███████████████████████████████████████████████████▍                                                            | 124/270 [34:20<41:14, 16.95s/it]
+
hellaswag_hy:  46%|███████████████████████████████████████████████████▊                                                            | 125/270 [34:37<40:42, 16.85s/it]
+
hellaswag_hy:  47%|████████████████████████████████████████████████████▎                                                           | 126/270 [34:52<39:44, 16.56s/it]
+
hellaswag_hy:  47%|████████████████████████████████████████████████████▋                                                           | 127/270 [35:09<39:49, 16.71s/it]
+
hellaswag_hy:  47%|█████████████████████████████████████████████████████                                                           | 128/270 [35:27<40:07, 16.96s/it]
+
hellaswag_hy:  48%|█████████████████████████████████████████████████████▌                                                          | 129/270 [35:44<39:49, 16.95s/it]
+
hellaswag_hy:  48%|█████████████████████████████████████████████████████▉                                                          | 130/270 [36:01<39:28, 16.92s/it]
+
hellaswag_hy:  49%|██████████████████████████████████████████████████████▎                                                         | 131/270 [36:18<39:16, 16.95s/it]
+
hellaswag_hy:  49%|██████████████████████████████████████████████████████▊                                                         | 132/270 [36:36<39:37, 17.23s/it]
+
hellaswag_hy:  49%|███████████████████████████████████████████████████████▏                                                        | 133/270 [36:53<39:03, 17.11s/it]
+
hellaswag_hy:  50%|███████████████████████████████████████████████████████▌                                                        | 134/270 [37:09<38:11, 16.85s/it]
+
hellaswag_hy:  50%|████████████████████████████████████████████████████████                                                        | 135/270 [37:24<37:07, 16.50s/it]
+
hellaswag_hy:  50%|████████████████████████████████████████████████████████▍                                                       | 136/270 [37:40<36:05, 16.16s/it]
+
hellaswag_hy:  51%|████████████████████████████████████████████████████████▊                                                       | 137/270 [37:57<36:32, 16.49s/it]
+
hellaswag_hy:  51%|█████████████████████████████████████████████████████████▏                                                      | 138/270 [38:13<35:50, 16.29s/it]
+
hellaswag_hy:  51%|█████████████████████████████████████████████████████████▋                                                      | 139/270 [38:29<35:44, 16.37s/it]
+
hellaswag_hy:  52%|██████████████████████████████████████████████████████████                                                      | 140/270 [38:45<35:01, 16.17s/it]
+
hellaswag_hy:  52%|██████████████████████████████████████████████████████████▍                                                     | 141/270 [39:02<35:05, 16.32s/it]
+
hellaswag_hy:  53%|██████████████████████████████████████████████████████████▉                                                     | 142/270 [39:19<35:28, 16.63s/it]
+
hellaswag_hy:  53%|███████████████████████████████████████████████████████████▎                                                    | 143/270 [39:36<35:12, 16.64s/it]
+
hellaswag_hy:  53%|███████████████████████████████████████████████████████████▋                                                    | 144/270 [39:51<34:03, 16.22s/it]
+
hellaswag_hy:  54%|████████████████████████████████████████████████████████████▏                                                   | 145/270 [40:08<34:16, 16.46s/it]
+
hellaswag_hy:  54%|████████████████████████████████████████████████████████████▌                                                   | 146/270 [40:25<33:59, 16.45s/it]
+
hellaswag_hy:  54%|████████████████████████████████████████████████████████████▉                                                   | 147/270 [40:41<33:29, 16.34s/it]
+
hellaswag_hy:  55%|█████████████████████████████████████████████████████████████▍                                                  | 148/270 [40:56<32:40, 16.07s/it]
+
hellaswag_hy:  55%|█████████████████████████████████████████████████████████████▊                                                  | 149/270 [41:14<33:24, 16.57s/it]
+
hellaswag_hy:  56%|██████████████████████████████████████████████████████████████▏                                                 | 150/270 [41:28<31:49, 15.92s/it]
+
hellaswag_hy:  56%|██████████████████████████████████████████████████████████████▋                                                 | 151/270 [41:46<32:37, 16.45s/it]
+
hellaswag_hy:  56%|███████████████████████████████████████████████████████████████                                                 | 152/270 [42:03<32:54, 16.73s/it]
+
hellaswag_hy:  57%|███████████████████████████████████████████████████████████████▍                                                | 153/270 [42:19<32:08, 16.48s/it]
+
hellaswag_hy:  57%|███████████████████████████████████████████████████████████████▉                                                | 154/270 [42:36<31:50, 16.47s/it]
+
hellaswag_hy:  57%|████████████████████████████████████████████████████████████████▎                                               | 155/270 [42:52<31:40, 16.53s/it]
+
hellaswag_hy:  58%|████████████████████████████████████████████████████████████████▋                                               | 156/270 [43:09<31:23, 16.52s/it]
+
hellaswag_hy:  58%|█████████████████████████████████████████████████████████████████▏                                              | 157/270 [43:24<30:16, 16.08s/it]
+
hellaswag_hy:  59%|█████████████████████████████████████████████████████████████████▌                                              | 158/270 [43:41<30:46, 16.49s/it]
+
hellaswag_hy:  59%|█████████████████████████████████████████████████████████████████▉                                              | 159/270 [43:57<29:59, 16.21s/it]
+
hellaswag_hy:  59%|██████████████████████████████████████████████████████████████████▎                                             | 160/270 [44:13<29:37, 16.15s/it]
+
hellaswag_hy:  60%|██████████████████████████████████████████████████████████████████▊                                             | 161/270 [44:29<29:32, 16.26s/it]
+
hellaswag_hy:  60%|███████████████████████████████████████████████████████████████████▏                                            | 162/270 [44:47<29:48, 16.56s/it]
+
hellaswag_hy:  60%|███████████████████████████████████████████████████████████████████▌                                            | 163/270 [45:04<30:10, 16.92s/it]
+
hellaswag_hy:  61%|████████████████████████████████████████████████████████████████████                                            | 164/270 [45:21<29:53, 16.92s/it]
+
hellaswag_hy:  61%|████████████████████████████████████████████████████████████████████▍                                           | 165/270 [45:38<29:34, 16.90s/it]
+
hellaswag_hy:  61%|████████████████████████████████████████████████████████████████████▊                                           | 166/270 [45:56<29:40, 17.12s/it]
+
hellaswag_hy:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 167/270 [46:14<29:45, 17.33s/it]
+
hellaswag_hy:  62%|█████████████████████████████████████████████████████████████████████▋                                          | 168/270 [46:32<29:46, 17.52s/it]
+
hellaswag_hy:  63%|██████████████████████████████████████████████████████████████████████                                          | 169/270 [46:48<28:54, 17.18s/it]
+
hellaswag_hy:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 170/270 [47:06<28:52, 17.32s/it]
+
hellaswag_hy:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 171/270 [47:22<28:16, 17.14s/it]
+
hellaswag_hy:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 172/270 [47:39<27:47, 17.01s/it]
+
hellaswag_hy:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 173/270 [47:54<26:33, 16.43s/it]
+
hellaswag_hy:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 174/270 [48:10<26:12, 16.38s/it]
+
hellaswag_hy:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 175/270 [48:27<26:05, 16.48s/it]
+
hellaswag_hy:  65%|█████████████████████████████████████████████████████████████████████████                                       | 176/270 [48:45<26:16, 16.77s/it]
+
hellaswag_hy:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 177/270 [49:01<25:56, 16.74s/it]
+
hellaswag_hy:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 178/270 [49:18<25:30, 16.64s/it]
+
hellaswag_hy:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 179/270 [49:35<25:48, 17.02s/it]
+
hellaswag_hy:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 180/270 [49:51<25:02, 16.70s/it]
+
hellaswag_hy:  67%|███████████████████████████████████████████████████████████████████████████                                     | 181/270 [50:08<24:53, 16.78s/it]
+
hellaswag_hy:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 182/270 [50:24<23:56, 16.32s/it]
+
hellaswag_hy:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 183/270 [50:40<23:40, 16.33s/it]
+
hellaswag_hy:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 184/270 [50:58<24:06, 16.82s/it]
+
hellaswag_hy:  69%|████████████████████████████████████████████████████████████████████████████▋                                   | 185/270 [51:15<23:45, 16.77s/it]
+
hellaswag_hy:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 186/270 [51:31<23:14, 16.60s/it]
+
hellaswag_hy:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 187/270 [51:46<22:19, 16.14s/it]
+
hellaswag_hy:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 188/270 [52:03<22:19, 16.34s/it]
+
hellaswag_hy:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 189/270 [52:19<22:13, 16.47s/it]
+
hellaswag_hy:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 190/270 [52:38<22:47, 17.09s/it]
+
hellaswag_hy:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 191/270 [52:54<22:08, 16.82s/it]
+
hellaswag_hy:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 192/270 [53:11<21:40, 16.67s/it]
+
hellaswag_hy:  71%|████████████████████████████████████████████████████████████████████████████████                                | 193/270 [53:27<21:22, 16.66s/it]
+
hellaswag_hy:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 194/270 [53:43<20:55, 16.52s/it]
+
hellaswag_hy:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 195/270 [53:59<20:25, 16.34s/it]
+
hellaswag_hy:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 196/270 [54:17<20:38, 16.74s/it]
+
hellaswag_hy:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 197/270 [54:34<20:28, 16.83s/it]
+
hellaswag_hy:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 198/270 [54:51<20:11, 16.82s/it]
+
hellaswag_hy:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 199/270 [55:07<19:34, 16.54s/it]
+
hellaswag_hy:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 200/270 [55:23<19:19, 16.56s/it]
+
hellaswag_hy:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 201/270 [55:39<18:36, 16.18s/it]
+
hellaswag_hy:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 202/270 [55:55<18:22, 16.22s/it]
+
hellaswag_hy:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 203/270 [56:11<18:06, 16.21s/it]
+
hellaswag_hy:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 204/270 [56:27<17:40, 16.06s/it]
+
hellaswag_hy:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 205/270 [56:42<16:59, 15.69s/it]
+
hellaswag_hy:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 206/270 [57:00<17:37, 16.53s/it]
+
hellaswag_hy:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 207/270 [57:18<17:50, 17.00s/it]
+
hellaswag_hy:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 208/270 [57:36<17:44, 17.17s/it]
+
hellaswag_hy:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 209/270 [57:51<16:50, 16.56s/it]
+
hellaswag_hy:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 210/270 [58:06<16:04, 16.08s/it]
+
hellaswag_hy:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 211/270 [58:23<16:01, 16.29s/it]
+
hellaswag_hy:  79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 212/270 [58:40<15:58, 16.53s/it]
+
hellaswag_hy:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 213/270 [58:55<15:22, 16.19s/it]
+
hellaswag_hy:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 214/270 [59:12<15:16, 16.37s/it]
+
hellaswag_hy:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 215/270 [59:29<15:08, 16.51s/it]
+
hellaswag_hy:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 216/270 [59:44<14:38, 16.27s/it]
+
hellaswag_hy:  80%|████████████████████████████████████████████████████████████████████████████████████████▍                     | 217/270 [1:00:02<14:46, 16.72s/it]
+
hellaswag_hy:  81%|████████████████████████████████████████████████████████████████████████████████████████▊                     | 218/270 [1:00:19<14:28, 16.71s/it]
+
hellaswag_hy:  81%|█████████████████████████████████████████████████████████████████████████████████████████▏                    | 219/270 [1:00:36<14:16, 16.79s/it]
+
hellaswag_hy:  81%|█████████████████████████████████████████████████████████████████████████████████████████▋                    | 220/270 [1:00:52<13:50, 16.60s/it]
+
hellaswag_hy:  82%|██████████████████████████████████████████████████████████████████████████████████████████                    | 221/270 [1:01:09<13:37, 16.67s/it]
+
hellaswag_hy:  82%|██████████████████████████████████████████████████████████████████████████████████████████▍                   | 222/270 [1:01:27<13:40, 17.09s/it]
+
hellaswag_hy:  83%|██████████████████████████████████████████████████████████████████████████████████████████▊                   | 223/270 [1:01:43<13:10, 16.81s/it]
+
hellaswag_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████▎                  | 224/270 [1:01:59<12:45, 16.63s/it]
+
hellaswag_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████▋                  | 225/270 [1:02:16<12:31, 16.69s/it]
+
hellaswag_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████                  | 226/270 [1:02:33<12:20, 16.83s/it]
+
hellaswag_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████▍                 | 227/270 [1:02:52<12:24, 17.32s/it]
+
hellaswag_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████▉                 | 228/270 [1:03:10<12:15, 17.50s/it]
+
hellaswag_hy:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 229/270 [1:03:27<12:00, 17.58s/it]
+
hellaswag_hy:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 230/270 [1:03:44<11:26, 17.16s/it]
+
hellaswag_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████                | 231/270 [1:04:01<11:12, 17.25s/it]
+
hellaswag_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▌               | 232/270 [1:04:19<11:01, 17.42s/it]
+
hellaswag_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▉               | 233/270 [1:04:36<10:36, 17.21s/it]
+
hellaswag_hy:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▎              | 234/270 [1:04:53<10:24, 17.35s/it]
+
hellaswag_hy:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▋              | 235/270 [1:05:09<09:53, 16.96s/it]
+
hellaswag_hy:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▏             | 236/270 [1:05:26<09:36, 16.94s/it]
+
hellaswag_hy:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▌             | 237/270 [1:05:43<09:18, 16.94s/it]
+
hellaswag_hy:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▉             | 238/270 [1:05:59<08:54, 16.72s/it]
+
hellaswag_hy:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▎            | 239/270 [1:06:16<08:41, 16.81s/it]
+
hellaswag_hy:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊            | 240/270 [1:06:34<08:35, 17.17s/it]
+
hellaswag_hy:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏           | 241/270 [1:06:51<08:14, 17.06s/it]
+
hellaswag_hy:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌           | 242/270 [1:07:09<08:04, 17.32s/it]
+
hellaswag_hy:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████           | 243/270 [1:07:26<07:40, 17.05s/it]
+
hellaswag_hy:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍          | 244/270 [1:07:42<07:19, 16.91s/it]
+
hellaswag_hy:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊          | 245/270 [1:07:58<06:58, 16.73s/it]
+
hellaswag_hy:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 246/270 [1:08:15<06:42, 16.78s/it]
+
hellaswag_hy:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 247/270 [1:08:30<06:10, 16.10s/it]
+
hellaswag_hy:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████         | 248/270 [1:08:46<05:53, 16.09s/it]
+
hellaswag_hy:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 249/270 [1:09:02<05:38, 16.11s/it]
+
hellaswag_hy:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 250/270 [1:09:19<05:24, 16.20s/it]
+
hellaswag_hy:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 251/270 [1:09:36<05:16, 16.68s/it]
+
hellaswag_hy:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 252/270 [1:09:53<05:02, 16.80s/it]
+
hellaswag_hy:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████       | 253/270 [1:10:10<04:47, 16.89s/it]
+
hellaswag_hy:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 254/270 [1:10:27<04:29, 16.86s/it]
+
hellaswag_hy:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 255/270 [1:10:44<04:11, 16.75s/it]
+
hellaswag_hy:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 256/270 [1:11:01<03:58, 17.03s/it]
+
hellaswag_hy:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 257/270 [1:11:18<03:39, 16.86s/it]
+
hellaswag_hy:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████     | 258/270 [1:11:35<03:24, 17.00s/it]
+
hellaswag_hy:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 259/270 [1:11:52<03:05, 16.90s/it]
+
hellaswag_hy:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 260/270 [1:12:08<02:45, 16.54s/it]
+
hellaswag_hy:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 261/270 [1:12:24<02:27, 16.37s/it]
+
hellaswag_hy:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 262/270 [1:12:39<02:09, 16.21s/it]
+
hellaswag_hy:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 263/270 [1:12:56<01:55, 16.47s/it]
+
hellaswag_hy:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 264/270 [1:13:14<01:39, 16.64s/it]
+
hellaswag_hy:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 265/270 [1:13:29<01:21, 16.34s/it]
+
hellaswag_hy:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 266/270 [1:13:45<01:05, 16.26s/it]
+
hellaswag_hy:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 267/270 [1:14:02<00:48, 16.29s/it]
+
hellaswag_hy:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 268/270 [1:14:17<00:32, 16.13s/it]
+
hellaswag_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 269/270 [1:14:35<00:16, 16.73s/it]
+
hellaswag_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 270/270 [1:14:49<00:00, 15.85s/it]
hellaswag_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 270/270 [1:14:49<00:00, 16.63s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hy_acc 0.2508109360518999
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_hy_acc_norm 0.2795412418906395
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:09:11,773 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:09:11,773 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:11,900 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:09:11,901 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:12,028 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:09:12,028 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:12,155 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:09:12,156 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 21:09:12,156 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 21:09:12,285 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 21:09:12,285 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hy_acc'}
+2024-05-29 21:09:12,350 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 21:09:12,350 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1165, 'value': 0.2508109360518999}
+2024-05-29 21:09:12,415 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:09:13,035 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:09:13,035 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:13,157 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:09:13,157 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:13,278 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:09:13,278 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 21:09:13,400 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 21:09:13,523 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 21:09:13,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_hy_acc_norm'}
+2024-05-29 21:09:13,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 21:09:13,585 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1166, 'value': 0.2795412418906395}
+2024-05-29 21:09:13,646 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  35%|██████████████████████████████████████▎                                                                     | 44/124 [14:21:42<78:09:11, 3516.89s/it]['hellaswag_id']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:09:14,292 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:09:14,292 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:14,419 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:09:14,419 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:14,547 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:09:14,547 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:09:14,675 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:09:14,676 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 21:09:14,676 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_id'}
+2024-05-29 21:09:14,804 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_id task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.66s/ examples]
+
Generating validation split: 2000 examples [00:02, 1009.54 examples/s]
+
Generating validation split: 4000 examples [00:02, 2267.38 examples/s]
+
Generating validation split: 6000 examples [00:03, 3767.34 examples/s]
+
Generating validation split: 8000 examples [00:03, 5470.39 examples/s]
Generating validation split: 9314 examples [00:03, 2912.61 examples/s]
+Loaded 9314 examples
+Running loglikelihood requests
+
+
hellaswag_id:   0%|                                                                                                                          | 0/292 [00:00<?, ?it/s]
+
hellaswag_id:   0%|▍                                                                                                                 | 1/292 [00:08<40:23,  8.33s/it]
+
hellaswag_id:   1%|▊                                                                                                                 | 2/292 [00:16<40:59,  8.48s/it]
+
hellaswag_id:   1%|█▏                                                                                                                | 3/292 [00:25<41:28,  8.61s/it]
+
hellaswag_id:   1%|█▌                                                                                                                | 4/292 [00:34<40:55,  8.53s/it]
+
hellaswag_id:   2%|█▉                                                                                                                | 5/292 [00:43<41:49,  8.74s/it]
+
hellaswag_id:   2%|██▎                                                                                                               | 6/292 [00:51<41:40,  8.74s/it]
+
hellaswag_id:   2%|██▋                                                                                                               | 7/292 [01:00<41:06,  8.66s/it]
+
hellaswag_id:   3%|███                                                                                                               | 8/292 [01:09<41:12,  8.71s/it]
+
hellaswag_id:   3%|███▌                                                                                                              | 9/292 [01:17<40:49,  8.66s/it]
+
hellaswag_id:   3%|███▊                                                                                                             | 10/292 [01:26<40:31,  8.62s/it]
+
hellaswag_id:   4%|████▎                                                                                                            | 11/292 [01:34<40:14,  8.59s/it]
+
hellaswag_id:   4%|████▋                                                                                                            | 12/292 [01:43<40:13,  8.62s/it]
+
hellaswag_id:   4%|█████                                                                                                            | 13/292 [01:52<40:13,  8.65s/it]
+
hellaswag_id:   5%|█████▍                                                                                                           | 14/292 [02:00<40:07,  8.66s/it]
+
hellaswag_id:   5%|█████▊                                                                                                           | 15/292 [02:09<39:22,  8.53s/it]
+
hellaswag_id:   5%|██████▏                                                                                                          | 16/292 [02:17<39:11,  8.52s/it]
+
hellaswag_id:   6%|██████▌                                                                                                          | 17/292 [02:26<39:01,  8.52s/it]
+
hellaswag_id:   6%|██████▉                                                                                                          | 18/292 [02:34<39:03,  8.55s/it]
+
hellaswag_id:   7%|███████▎                                                                                                         | 19/292 [02:43<38:44,  8.52s/it]
+
hellaswag_id:   7%|███████▋                                                                                                         | 20/292 [02:51<38:55,  8.59s/it]
+
hellaswag_id:   7%|████████▏                                                                                                        | 21/292 [03:00<38:28,  8.52s/it]
+
hellaswag_id:   8%|████████▌                                                                                                        | 22/292 [03:09<38:35,  8.58s/it]
+
hellaswag_id:   8%|████████▉                                                                                                        | 23/292 [03:18<39:06,  8.72s/it]
+
hellaswag_id:   8%|█████████▎                                                                                                       | 24/292 [03:26<37:55,  8.49s/it]
+
hellaswag_id:   9%|█████████▋                                                                                                       | 25/292 [03:34<38:09,  8.57s/it]
+
hellaswag_id:   9%|██████████                                                                                                       | 26/292 [03:43<37:56,  8.56s/it]
+
hellaswag_id:   9%|██████████▍                                                                                                      | 27/292 [03:52<38:39,  8.75s/it]
+
hellaswag_id:  10%|██████████▊                                                                                                      | 28/292 [04:01<38:15,  8.70s/it]
+
hellaswag_id:  10%|███████████▏                                                                                                     | 29/292 [04:09<38:06,  8.69s/it]
+
hellaswag_id:  10%|███████████▌                                                                                                     | 30/292 [04:18<38:30,  8.82s/it]
+
hellaswag_id:  11%|███████████▉                                                                                                     | 31/292 [04:27<38:15,  8.79s/it]
+
hellaswag_id:  11%|████████████▍                                                                                                    | 32/292 [04:35<37:16,  8.60s/it]
+
hellaswag_id:  11%|████████████▊                                                                                                    | 33/292 [04:44<37:05,  8.59s/it]
+
hellaswag_id:  12%|█████████████▏                                                                                                   | 34/292 [04:53<37:16,  8.67s/it]
+
hellaswag_id:  12%|█████████████▌                                                                                                   | 35/292 [05:02<37:50,  8.83s/it]
+
hellaswag_id:  12%|█████████████▉                                                                                                   | 36/292 [05:11<37:54,  8.88s/it]
+
hellaswag_id:  13%|██████████████▎                                                                                                  | 37/292 [05:20<37:26,  8.81s/it]
+
hellaswag_id:  13%|██████████████▋                                                                                                  | 38/292 [05:28<36:41,  8.67s/it]
+
hellaswag_id:  13%|███████████████                                                                                                  | 39/292 [05:36<36:19,  8.61s/it]
+
hellaswag_id:  14%|███████████████▍                                                                                                 | 40/292 [05:45<36:15,  8.63s/it]
+
hellaswag_id:  14%|███████████████▊                                                                                                 | 41/292 [05:54<36:39,  8.76s/it]
+
hellaswag_id:  14%|████████████████▎                                                                                                | 42/292 [06:03<37:10,  8.92s/it]
+
hellaswag_id:  15%|████████████████▋                                                                                                | 43/292 [06:12<36:27,  8.78s/it]
+
hellaswag_id:  15%|█████████████████                                                                                                | 44/292 [06:21<36:18,  8.79s/it]
+
hellaswag_id:  15%|█████████████████▍                                                                                               | 45/292 [06:29<35:55,  8.73s/it]
+
hellaswag_id:  16%|█████████████████▊                                                                                               | 46/292 [06:38<35:39,  8.70s/it]
+
hellaswag_id:  16%|██████████████████▏                                                                                              | 47/292 [06:46<35:20,  8.66s/it]
+
hellaswag_id:  16%|██████████████████▌                                                                                              | 48/292 [06:55<35:04,  8.62s/it]
+
hellaswag_id:  17%|██████████████████▉                                                                                              | 49/292 [07:04<35:03,  8.66s/it]
+
hellaswag_id:  17%|███████████████████▎                                                                                             | 50/292 [07:13<35:35,  8.83s/it]
+
hellaswag_id:  17%|███████████████████▋                                                                                             | 51/292 [07:22<35:28,  8.83s/it]
+
hellaswag_id:  18%|████████████████████                                                                                             | 52/292 [07:30<34:55,  8.73s/it]
+
hellaswag_id:  18%|████████████████████▌                                                                                            | 53/292 [07:39<34:44,  8.72s/it]
+
hellaswag_id:  18%|████████████████████▉                                                                                            | 54/292 [07:48<34:26,  8.68s/it]
+
hellaswag_id:  19%|█████████████████████▎                                                                                           | 55/292 [07:56<34:09,  8.65s/it]
+
hellaswag_id:  19%|█████████████████████▋                                                                                           | 56/292 [08:05<34:04,  8.66s/it]
+
hellaswag_id:  20%|██████████████████████                                                                                           | 57/292 [08:15<35:05,  8.96s/it]
+
hellaswag_id:  20%|██████████████████████▍                                                                                          | 58/292 [08:23<34:28,  8.84s/it]
+
hellaswag_id:  20%|██████████████████████▊                                                                                          | 59/292 [08:32<34:24,  8.86s/it]
+
hellaswag_id:  21%|███████████████████████▏                                                                                         | 60/292 [08:41<34:17,  8.87s/it]
+
hellaswag_id:  21%|███████████████████████▌                                                                                         | 61/292 [08:50<34:43,  9.02s/it]
+
hellaswag_id:  21%|███████████████████████▉                                                                                         | 62/292 [08:59<34:33,  9.02s/it]
+
hellaswag_id:  22%|████████████████████████▍                                                                                        | 63/292 [09:08<33:59,  8.90s/it]
+
hellaswag_id:  22%|████████████████████████▊                                                                                        | 64/292 [09:17<34:24,  9.05s/it]
+
hellaswag_id:  22%|█████████████████████████▏                                                                                       | 65/292 [09:26<33:57,  8.97s/it]
+
hellaswag_id:  23%|█████████████████████████▌                                                                                       | 66/292 [09:35<33:31,  8.90s/it]
+
hellaswag_id:  23%|█████████████████████████▉                                                                                       | 67/292 [09:44<33:38,  8.97s/it]
+
hellaswag_id:  23%|██████████████████████████▎                                                                                      | 68/292 [09:53<33:42,  9.03s/it]
+
hellaswag_id:  24%|██████████████████████████▋                                                                                      | 69/292 [10:02<33:09,  8.92s/it]
+
hellaswag_id:  24%|███████████████████████████                                                                                      | 70/292 [10:10<32:16,  8.72s/it]
+
hellaswag_id:  24%|███████████████████████████▍                                                                                     | 71/292 [10:18<31:15,  8.49s/it]
+
hellaswag_id:  25%|███████████████████████████▊                                                                                     | 72/292 [10:27<31:14,  8.52s/it]
+
hellaswag_id:  25%|████████████████████████████▎                                                                                    | 73/292 [10:35<31:18,  8.58s/it]
+
hellaswag_id:  25%|████████████████████████████▋                                                                                    | 74/292 [10:44<31:14,  8.60s/it]
+
hellaswag_id:  26%|█████████████████████████████                                                                                    | 75/292 [10:52<31:02,  8.58s/it]
+
hellaswag_id:  26%|█████████████████████████████▍                                                                                   | 76/292 [11:01<31:11,  8.67s/it]
+
hellaswag_id:  26%|█████████████████████████████▊                                                                                   | 77/292 [11:10<31:07,  8.69s/it]
+
hellaswag_id:  27%|██████████████████████████████▏                                                                                  | 78/292 [11:19<31:17,  8.78s/it]
+
hellaswag_id:  27%|██████████████████████████████▌                                                                                  | 79/292 [11:28<31:08,  8.77s/it]
+
hellaswag_id:  27%|██████████████████████████████▉                                                                                  | 80/292 [11:37<31:41,  8.97s/it]
+
hellaswag_id:  28%|███████████████████████████████▎                                                                                 | 81/292 [11:46<31:14,  8.88s/it]
+
hellaswag_id:  28%|███████████████████████████████▋                                                                                 | 82/292 [11:55<30:56,  8.84s/it]
+
hellaswag_id:  28%|████████████████████████████████                                                                                 | 83/292 [12:03<30:30,  8.76s/it]
+
hellaswag_id:  29%|████████████████████████████████▌                                                                                | 84/292 [12:12<30:22,  8.76s/it]
+
hellaswag_id:  29%|████████████████████████████████▉                                                                                | 85/292 [12:21<30:31,  8.85s/it]
+
hellaswag_id:  29%|█████████████████████████████████▎                                                                               | 86/292 [12:30<30:16,  8.82s/it]
+
hellaswag_id:  30%|█████████████████████████████████▋                                                                               | 87/292 [12:38<29:53,  8.75s/it]
+
hellaswag_id:  30%|██████████████████████████████████                                                                               | 88/292 [12:47<29:36,  8.71s/it]
+
hellaswag_id:  30%|██████████████████████████████████▍                                                                              | 89/292 [12:56<29:21,  8.68s/it]
+
hellaswag_id:  31%|██████████████████████████████████▊                                                                              | 90/292 [13:04<29:14,  8.68s/it]
+
hellaswag_id:  31%|███████████████████████████████████▏                                                                             | 91/292 [13:13<29:04,  8.68s/it]
+
hellaswag_id:  32%|███████████████████████████████████▌                                                                             | 92/292 [13:21<28:40,  8.60s/it]
+
hellaswag_id:  32%|███████████████████████████████████▉                                                                             | 93/292 [13:30<28:32,  8.61s/it]
+
hellaswag_id:  32%|████████████████████████████████████▍                                                                            | 94/292 [13:39<29:07,  8.82s/it]
+
hellaswag_id:  33%|████████████████████████████████████▊                                                                            | 95/292 [13:49<29:22,  8.94s/it]
+
hellaswag_id:  33%|█████████████████████████████████████▏                                                                           | 96/292 [13:58<29:26,  9.01s/it]
+
hellaswag_id:  33%|█████████████████████████████████████▌                                                                           | 97/292 [14:07<29:07,  8.96s/it]
+
hellaswag_id:  34%|█████████████████████████████████████▉                                                                           | 98/292 [14:15<28:30,  8.82s/it]
+
hellaswag_id:  34%|██████████████████████████████████████▎                                                                          | 99/292 [14:24<28:12,  8.77s/it]
+
hellaswag_id:  34%|██████████████████████████████████████▎                                                                         | 100/292 [14:32<27:58,  8.74s/it]
+
hellaswag_id:  35%|██████████████████████████████████████▋                                                                         | 101/292 [14:42<28:23,  8.92s/it]
+
hellaswag_id:  35%|███████████████████████████████████████                                                                         | 102/292 [14:50<27:47,  8.78s/it]
+
hellaswag_id:  35%|███████████████████████████████████████▌                                                                        | 103/292 [14:59<27:53,  8.85s/it]
+
hellaswag_id:  36%|███████████████████████████████████████▉                                                                        | 104/292 [15:08<27:53,  8.90s/it]
+
hellaswag_id:  36%|████████████████████████████████████████▎                                                                       | 105/292 [15:17<27:28,  8.82s/it]
+
hellaswag_id:  36%|████████████████████████████████████████▋                                                                       | 106/292 [15:26<27:12,  8.78s/it]
+
hellaswag_id:  37%|█████████████████████████████████████████                                                                       | 107/292 [15:34<26:18,  8.54s/it]
+
hellaswag_id:  37%|█████████████████████████████████████████▍                                                                      | 108/292 [15:43<26:46,  8.73s/it]
+
hellaswag_id:  37%|█████████████████████████████████████████▊                                                                      | 109/292 [15:51<26:28,  8.68s/it]
+
hellaswag_id:  38%|██████████████████████████████████████████▏                                                                     | 110/292 [16:00<26:24,  8.70s/it]
+
hellaswag_id:  38%|██████████████████████████████████████████▌                                                                     | 111/292 [16:09<26:10,  8.67s/it]
+
hellaswag_id:  38%|██████████████████████████████████████████▉                                                                     | 112/292 [16:17<25:55,  8.64s/it]
+
hellaswag_id:  39%|███████████████████████████████████████████▎                                                                    | 113/292 [16:26<25:42,  8.62s/it]
+
hellaswag_id:  39%|███████████████████████████████████████████▋                                                                    | 114/292 [16:35<26:00,  8.77s/it]
+
hellaswag_id:  39%|████████████████████████████████████████████                                                                    | 115/292 [16:44<25:50,  8.76s/it]
+
hellaswag_id:  40%|████████████████████████████████████████████▍                                                                   | 116/292 [16:52<25:31,  8.70s/it]
+
hellaswag_id:  40%|████████████████████████████████████████████▉                                                                   | 117/292 [17:02<25:54,  8.88s/it]
+
hellaswag_id:  40%|█████████████████████████████████████████████▎                                                                  | 118/292 [17:10<25:37,  8.83s/it]
+
hellaswag_id:  41%|█████████████████████████████████████████████▋                                                                  | 119/292 [17:20<25:54,  8.99s/it]
+
hellaswag_id:  41%|██████████████████████████████████████████████                                                                  | 120/292 [17:29<25:59,  9.07s/it]
+
hellaswag_id:  41%|██████████████████████████████████████████████▍                                                                 | 121/292 [17:37<25:22,  8.90s/it]
+
hellaswag_id:  42%|██████████████████████████████████████████████▊                                                                 | 122/292 [17:46<24:53,  8.79s/it]
+
hellaswag_id:  42%|███████████████████████████████████████████████▏                                                                | 123/292 [17:55<24:47,  8.80s/it]
+
hellaswag_id:  42%|███████████████████████████████████████████████▌                                                                | 124/292 [18:03<24:30,  8.75s/it]
+
hellaswag_id:  43%|███████████████████████████████████████████████▉                                                                | 125/292 [18:12<24:05,  8.66s/it]
+
hellaswag_id:  43%|████████████████████████████████████████████████▎                                                               | 126/292 [18:21<24:01,  8.69s/it]
+
hellaswag_id:  43%|████████████████████████████████████████████████▋                                                               | 127/292 [18:29<23:45,  8.64s/it]
+
hellaswag_id:  44%|█████████████████████████████████████████████████                                                               | 128/292 [18:38<23:49,  8.71s/it]
+
hellaswag_id:  44%|█████████████████████████████████████████████████▍                                                              | 129/292 [18:47<23:35,  8.69s/it]
+
hellaswag_id:  45%|█████████████████████████████████████████████████▊                                                              | 130/292 [18:55<23:29,  8.70s/it]
+
hellaswag_id:  45%|██████████████████████████████████████████████████▏                                                             | 131/292 [19:04<23:12,  8.65s/it]
+
hellaswag_id:  45%|██████████████████████████████████████████████████▋                                                             | 132/292 [19:12<22:46,  8.54s/it]
+
hellaswag_id:  46%|███████████████████████████████████████████████████                                                             | 133/292 [19:21<22:52,  8.63s/it]
+
hellaswag_id:  46%|███████████████████████████████████████████████████▍                                                            | 134/292 [19:30<23:11,  8.80s/it]
+
hellaswag_id:  46%|███████████████████████████████████████████████████▊                                                            | 135/292 [19:39<22:45,  8.70s/it]
+
hellaswag_id:  47%|████████████████████████████████████████████████████▏                                                           | 136/292 [19:48<22:52,  8.80s/it]
+
hellaswag_id:  47%|████████████████████████████████████████████████████▌                                                           | 137/292 [19:56<22:33,  8.73s/it]
+
hellaswag_id:  47%|████████████████████████████████████████████████████▉                                                           | 138/292 [20:05<22:16,  8.68s/it]
+
hellaswag_id:  48%|█████████████████████████████████████████████████████▎                                                          | 139/292 [20:13<21:59,  8.63s/it]
+
hellaswag_id:  48%|█████████████████████████████████████████████████████▋                                                          | 140/292 [20:22<21:55,  8.66s/it]
+
hellaswag_id:  48%|██████████████████████████████████████████████████████                                                          | 141/292 [20:31<22:19,  8.87s/it]
+
hellaswag_id:  49%|██████████████████████████████████████████████████████▍                                                         | 142/292 [20:40<22:09,  8.86s/it]
+
hellaswag_id:  49%|██████████████████████████████████████████████████████▊                                                         | 143/292 [20:49<21:41,  8.73s/it]
+
hellaswag_id:  49%|███████████████████████████████████████████████████████▏                                                        | 144/292 [20:57<21:36,  8.76s/it]
+
hellaswag_id:  50%|███████████████████████████████████████████████████████▌                                                        | 145/292 [21:07<21:54,  8.94s/it]
+
hellaswag_id:  50%|████████████████████████████████████████████████████████                                                        | 146/292 [21:15<21:29,  8.83s/it]
+
hellaswag_id:  50%|████████████████████████████████████████████████████████▍                                                       | 147/292 [21:24<21:25,  8.87s/it]
+
hellaswag_id:  51%|████████████████████████████████████████████████████████▊                                                       | 148/292 [21:33<21:21,  8.90s/it]
+
hellaswag_id:  51%|█████████████████████████████████████████████████████████▏                                                      | 149/292 [21:42<21:22,  8.97s/it]
+
hellaswag_id:  51%|█████████████████████████████████████████████████████████▌                                                      | 150/292 [21:51<21:03,  8.90s/it]
+
hellaswag_id:  52%|█████████████████████████████████████████████████████████▉                                                      | 151/292 [22:00<21:10,  9.01s/it]
+
hellaswag_id:  52%|██████████████████████████████████████████████████████████▎                                                     | 152/292 [22:10<21:18,  9.13s/it]
+
hellaswag_id:  52%|██████████████████████████████████████████████████████████▋                                                     | 153/292 [22:19<21:13,  9.16s/it]
+
hellaswag_id:  53%|███████████████████████████████████████████████████████████                                                     | 154/292 [22:28<21:00,  9.13s/it]
+
hellaswag_id:  53%|███████████████████████████████████████████████████████████▍                                                    | 155/292 [22:37<20:46,  9.10s/it]
+
hellaswag_id:  53%|███████████████████████████████████████████████████████████▊                                                    | 156/292 [22:46<20:41,  9.13s/it]
+
hellaswag_id:  54%|████████████████████████████████████████████████████████████▏                                                   | 157/292 [22:55<20:10,  8.97s/it]
+
hellaswag_id:  54%|████████████████████████████████████████████████████████████▌                                                   | 158/292 [23:04<19:51,  8.89s/it]
+
hellaswag_id:  54%|████████████████████████████████████████████████████████████▉                                                   | 159/292 [23:12<19:30,  8.80s/it]
+
hellaswag_id:  55%|█████████████████████████████████████████████████████████████▎                                                  | 160/292 [23:21<19:12,  8.73s/it]
+
hellaswag_id:  55%|█████████████████████████████████████████████████████████████▊                                                  | 161/292 [23:29<18:50,  8.63s/it]
+
hellaswag_id:  55%|██████████████████████████████████████████████████████████████▏                                                 | 162/292 [23:38<18:39,  8.61s/it]
+
hellaswag_id:  56%|██████████████████████████████████████████████████████████████▌                                                 | 163/292 [23:46<18:24,  8.56s/it]
+
hellaswag_id:  56%|██████████████████████████████████████████████████████████████▉                                                 | 164/292 [23:55<18:33,  8.70s/it]
+
hellaswag_id:  57%|███████████████████████████████████████████████████████████████▎                                                | 165/292 [24:04<18:24,  8.70s/it]
+
hellaswag_id:  57%|███████████████████████████████████████████████████████████████▋                                                | 166/292 [24:13<18:36,  8.86s/it]
+
hellaswag_id:  57%|████████████████████████████████████████████████████████████████                                                | 167/292 [24:22<18:12,  8.74s/it]
+
hellaswag_id:  58%|████████████████████████████████████████████████████████████████▍                                               | 168/292 [24:30<17:53,  8.65s/it]
+
hellaswag_id:  58%|████████████████████████████████████████████████████████████████▊                                               | 169/292 [24:39<17:42,  8.63s/it]
+
hellaswag_id:  58%|█████████████████████████████████████████████████████████████████▏                                              | 170/292 [24:47<17:29,  8.60s/it]
+
hellaswag_id:  59%|█████████████████████████████████████████████████████████████████▌                                              | 171/292 [24:56<17:18,  8.58s/it]
+
hellaswag_id:  59%|█████████████████████████████████████████████████████████████████▉                                              | 172/292 [25:04<17:07,  8.57s/it]
+
hellaswag_id:  59%|██████████████████████████████████████████████████████████████████▎                                             | 173/292 [25:13<16:59,  8.57s/it]
+
hellaswag_id:  60%|██████████████████████████████████████████████████████████████████▋                                             | 174/292 [25:22<16:55,  8.61s/it]
+
hellaswag_id:  60%|███████████████████████████████████████████████████████████████████                                             | 175/292 [25:31<17:07,  8.78s/it]
+
hellaswag_id:  60%|███████████████████████████████████████████████████████████████████▌                                            | 176/292 [25:39<16:50,  8.71s/it]
+
hellaswag_id:  61%|███████████████████████████████████████████████████████████████████▉                                            | 177/292 [25:48<16:45,  8.75s/it]
+
hellaswag_id:  61%|████████████████████████████████████████████████████████████████████▎                                           | 178/292 [25:57<16:30,  8.69s/it]
+
hellaswag_id:  61%|████████████████████████████████████████████████████████████████████▋                                           | 179/292 [26:06<16:25,  8.72s/it]
+
hellaswag_id:  62%|█████████████████████████████████████████████████████████████████████                                           | 180/292 [26:15<16:26,  8.81s/it]
+
hellaswag_id:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 181/292 [26:23<16:18,  8.82s/it]
+
hellaswag_id:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 182/292 [26:32<15:58,  8.72s/it]
+
hellaswag_id:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 183/292 [26:40<15:47,  8.70s/it]
+
hellaswag_id:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 184/292 [26:50<15:53,  8.83s/it]
+
hellaswag_id:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 185/292 [26:58<15:41,  8.80s/it]
+
hellaswag_id:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 186/292 [27:08<15:47,  8.94s/it]
+
hellaswag_id:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 187/292 [27:17<15:42,  8.98s/it]
+
hellaswag_id:  64%|████████████████████████████████████████████████████████████████████████                                        | 188/292 [27:26<15:37,  9.02s/it]
+
hellaswag_id:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 189/292 [27:34<15:13,  8.87s/it]
+
hellaswag_id:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 190/292 [27:43<14:48,  8.71s/it]
+
hellaswag_id:  65%|█████████████████████████████████████████████████████████████████████████▎                                      | 191/292 [27:52<14:51,  8.83s/it]
+
hellaswag_id:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 192/292 [28:01<14:39,  8.80s/it]
+
hellaswag_id:  66%|██████████████████████████████████████████████████████████████████████████                                      | 193/292 [28:09<14:22,  8.71s/it]
+
hellaswag_id:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 194/292 [28:18<14:10,  8.68s/it]
+
hellaswag_id:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 195/292 [28:26<14:02,  8.68s/it]
+
hellaswag_id:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 196/292 [28:35<14:05,  8.81s/it]
+
hellaswag_id:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 197/292 [28:44<13:50,  8.75s/it]
+
hellaswag_id:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 198/292 [28:52<13:31,  8.63s/it]
+
hellaswag_id:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 199/292 [29:01<13:34,  8.76s/it]
+
hellaswag_id:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 200/292 [29:10<13:27,  8.78s/it]
+
hellaswag_id:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 201/292 [29:19<13:20,  8.80s/it]
+
hellaswag_id:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 202/292 [29:28<13:26,  8.96s/it]
+
hellaswag_id:  70%|█████████████████████████████████████████████████████████████████████████████▊                                  | 203/292 [29:38<13:28,  9.08s/it]
+
hellaswag_id:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 204/292 [29:46<13:07,  8.94s/it]
+
hellaswag_id:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 205/292 [29:56<13:06,  9.04s/it]
+
hellaswag_id:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 206/292 [30:05<12:53,  9.00s/it]
+
hellaswag_id:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 207/292 [30:13<12:37,  8.91s/it]
+
hellaswag_id:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 208/292 [30:22<12:17,  8.78s/it]
+
hellaswag_id:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 209/292 [30:30<12:01,  8.69s/it]
+
hellaswag_id:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 210/292 [30:39<12:02,  8.81s/it]
+
hellaswag_id:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 211/292 [30:48<11:47,  8.73s/it]
+
hellaswag_id:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 212/292 [30:56<11:25,  8.57s/it]
+
hellaswag_id:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 213/292 [31:05<11:19,  8.61s/it]
+
hellaswag_id:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 214/292 [31:13<11:14,  8.64s/it]
+
hellaswag_id:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 215/292 [31:22<11:11,  8.72s/it]
+
hellaswag_id:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 216/292 [31:31<10:59,  8.68s/it]
+
hellaswag_id:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 217/292 [31:40<10:52,  8.70s/it]
+
hellaswag_id:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 218/292 [31:49<11:00,  8.93s/it]
+
hellaswag_id:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 219/292 [31:58<10:59,  9.03s/it]
+
hellaswag_id:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 220/292 [32:07<10:39,  8.88s/it]
+
hellaswag_id:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 221/292 [32:16<10:22,  8.77s/it]
+
hellaswag_id:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 222/292 [32:24<10:14,  8.78s/it]
+
hellaswag_id:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 223/292 [32:33<10:02,  8.73s/it]
+
hellaswag_id:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 224/292 [32:41<09:49,  8.68s/it]
+
hellaswag_id:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 225/292 [32:50<09:42,  8.69s/it]
+
hellaswag_id:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 226/292 [32:59<09:34,  8.71s/it]
+
hellaswag_id:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 227/292 [33:08<09:26,  8.72s/it]
+
hellaswag_id:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 228/292 [33:17<09:31,  8.94s/it]
+
hellaswag_id:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 229/292 [33:26<09:16,  8.84s/it]
+
hellaswag_id:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 230/292 [33:35<09:14,  8.95s/it]
+
hellaswag_id:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 231/292 [33:43<08:51,  8.72s/it]
+
hellaswag_id:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 232/292 [33:52<08:48,  8.81s/it]
+
hellaswag_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 233/292 [34:01<08:45,  8.91s/it]
+
hellaswag_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 234/292 [34:10<08:33,  8.86s/it]
+
hellaswag_id:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 235/292 [34:19<08:19,  8.77s/it]
+
hellaswag_id:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 236/292 [34:27<08:09,  8.74s/it]
+
hellaswag_id:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 237/292 [34:36<07:55,  8.64s/it]
+
hellaswag_id:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 238/292 [34:44<07:49,  8.69s/it]
+
hellaswag_id:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 239/292 [34:53<07:42,  8.72s/it]
+
hellaswag_id:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 240/292 [35:02<07:34,  8.74s/it]
+
hellaswag_id:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 241/292 [35:11<07:25,  8.73s/it]
+
hellaswag_id:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 242/292 [35:20<07:17,  8.75s/it]
+
hellaswag_id:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 243/292 [35:29<07:15,  8.89s/it]
+
hellaswag_id:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 244/292 [35:38<07:04,  8.85s/it]
+
hellaswag_id:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 245/292 [35:46<06:54,  8.82s/it]
+
hellaswag_id:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 246/292 [35:55<06:43,  8.78s/it]
+
hellaswag_id:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 247/292 [36:04<06:34,  8.76s/it]
+
hellaswag_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 248/292 [36:12<06:22,  8.70s/it]
+
hellaswag_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 249/292 [36:21<06:12,  8.66s/it]
+
hellaswag_id:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 250/292 [36:30<06:04,  8.68s/it]
+
hellaswag_id:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 251/292 [36:39<06:01,  8.81s/it]
+
hellaswag_id:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 252/292 [36:47<05:50,  8.77s/it]
+
hellaswag_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 253/292 [36:56<05:45,  8.87s/it]
+
hellaswag_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▍              | 254/292 [37:05<05:29,  8.67s/it]
+
hellaswag_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▊              | 255/292 [37:13<05:14,  8.50s/it]
+
hellaswag_id:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▏             | 256/292 [37:21<05:06,  8.52s/it]
+
hellaswag_id:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▌             | 257/292 [37:30<05:02,  8.63s/it]
+
hellaswag_id:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▉             | 258/292 [37:39<04:52,  8.61s/it]
+
hellaswag_id:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 259/292 [37:47<04:44,  8.62s/it]
+
hellaswag_id:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 260/292 [37:56<04:37,  8.66s/it]
+
hellaswag_id:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 261/292 [38:05<04:29,  8.70s/it]
+
hellaswag_id:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 262/292 [38:14<04:22,  8.74s/it]
+
hellaswag_id:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 263/292 [38:22<04:11,  8.69s/it]
+
hellaswag_id:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 264/292 [38:31<04:02,  8.66s/it]
+
hellaswag_id:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 265/292 [38:40<03:53,  8.65s/it]
+
hellaswag_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████          | 266/292 [38:48<03:45,  8.67s/it]
+
hellaswag_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 267/292 [38:56<03:32,  8.51s/it]
+
hellaswag_id:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 268/292 [39:05<03:24,  8.53s/it]
+
hellaswag_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 269/292 [39:14<03:18,  8.65s/it]
+
hellaswag_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 270/292 [39:23<03:10,  8.66s/it]
+
hellaswag_id:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 271/292 [39:31<03:01,  8.66s/it]
+
hellaswag_id:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 272/292 [39:40<02:54,  8.71s/it]
+
hellaswag_id:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 273/292 [39:49<02:44,  8.67s/it]
+
hellaswag_id:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 274/292 [39:57<02:34,  8.56s/it]
+
hellaswag_id:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 275/292 [40:06<02:25,  8.58s/it]
+
hellaswag_id:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 276/292 [40:14<02:17,  8.60s/it]
+
hellaswag_id:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 277/292 [40:23<02:09,  8.65s/it]
+
hellaswag_id:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 278/292 [40:32<02:01,  8.68s/it]
+
hellaswag_id:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 279/292 [40:41<01:54,  8.83s/it]
+
hellaswag_id:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 280/292 [40:50<01:46,  8.91s/it]
+
hellaswag_id:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 281/292 [40:59<01:38,  8.95s/it]
+
hellaswag_id:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 282/292 [41:08<01:30,  9.01s/it]
+
hellaswag_id:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 283/292 [41:17<01:20,  8.98s/it]
+
hellaswag_id:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 284/292 [41:26<01:12,  9.02s/it]
+
hellaswag_id:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 285/292 [41:35<01:02,  8.90s/it]
+
hellaswag_id:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 286/292 [41:44<00:53,  8.84s/it]
+
hellaswag_id:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 287/292 [41:52<00:43,  8.80s/it]
+
hellaswag_id:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [42:01<00:35,  8.91s/it]
+
hellaswag_id:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [42:10<00:26,  8.92s/it]
+
hellaswag_id:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [42:19<00:17,  8.82s/it]
+
hellaswag_id: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [42:28<00:08,  8.97s/it]
+
hellaswag_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [42:33<00:00,  7.76s/it]
hellaswag_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [42:33<00:00,  8.75s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_id_acc 0.39220528237062485
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_id_acc_norm 0.5135280223319734
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:51:53,767 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:51:53,767 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:53,895 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:51:53,895 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:54,021 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:51:54,021 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:54,148 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:51:54,149 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 21:51:54,149 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 21:51:54,276 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 21:51:54,276 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_id_acc'}
+2024-05-29 21:51:54,341 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 21:51:54,341 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1167, 'value': 0.39220528237062485}
+2024-05-29 21:51:54,405 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:51:55,030 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:51:55,030 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:55,153 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:51:55,153 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:55,276 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:51:55,276 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:55,398 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:51:55,399 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 21:51:55,399 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 21:51:55,522 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 21:51:55,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_id_acc_norm'}
+2024-05-29 21:51:55,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 21:51:55,585 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1168, 'value': 0.5135280223319734}
+2024-05-29 21:51:55,647 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  36%|███████████████████████████████████████▏                                                                    | 45/124 [15:04:24<70:53:23, 3230.42s/it]['hellaswag_it']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 21:51:56,290 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 21:51:56,290 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:56,417 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 21:51:56,417 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:56,544 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 21:51:56,544 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 21:51:56,671 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 21:51:56,672 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 21:51:56,672 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'hellaswag_it'}
+2024-05-29 21:51:56,800 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_it task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:03,  3.16s/ examples]
+
Generating validation split: 1763 examples [00:03, 762.56 examples/s]
+
Generating validation split: 3442 examples [00:03, 1695.40 examples/s]
+
Generating validation split: 5133 examples [00:03, 2863.32 examples/s]
+
Generating validation split: 7000 examples [00:03, 4385.68 examples/s]
+
Generating validation split: 9000 examples [00:03, 6186.17 examples/s]
Generating validation split: 9193 examples [00:03, 2482.66 examples/s]
+Loaded 9193 examples
+Running loglikelihood requests
+
+
hellaswag_it:   0%|                                                                                                                          | 0/288 [00:00<?, ?it/s]
+
hellaswag_it:   0%|▍                                                                                                                 | 1/288 [00:07<38:08,  7.97s/it]
+
hellaswag_it:   1%|▊                                                                                                                 | 2/288 [00:15<38:02,  7.98s/it]
+
hellaswag_it:   1%|█▏                                                                                                                | 3/288 [00:23<37:48,  7.96s/it]
+
hellaswag_it:   1%|█▌                                                                                                                | 4/288 [00:31<37:50,  8.00s/it]
+
hellaswag_it:   2%|█▉                                                                                                                | 5/288 [00:39<37:32,  7.96s/it]
+
hellaswag_it:   2%|██▍                                                                                                               | 6/288 [00:47<37:43,  8.03s/it]
+
hellaswag_it:   2%|██▊                                                                                                               | 7/288 [00:55<37:26,  7.99s/it]
+
hellaswag_it:   3%|███▏                                                                                                              | 8/288 [01:04<37:57,  8.13s/it]
+
hellaswag_it:   3%|███▌                                                                                                              | 9/288 [01:12<38:16,  8.23s/it]
+
hellaswag_it:   3%|███▉                                                                                                             | 10/288 [01:21<38:10,  8.24s/it]
+
hellaswag_it:   4%|████▎                                                                                                            | 11/288 [01:30<39:12,  8.49s/it]
+
hellaswag_it:   4%|████▋                                                                                                            | 12/288 [01:38<38:33,  8.38s/it]
+
hellaswag_it:   5%|█████                                                                                                            | 13/288 [01:46<37:46,  8.24s/it]
+
hellaswag_it:   5%|█████▍                                                                                                           | 14/288 [01:54<37:16,  8.16s/it]
+
hellaswag_it:   5%|█████▉                                                                                                           | 15/288 [02:02<36:52,  8.11s/it]
+
hellaswag_it:   6%|██████▎                                                                                                          | 16/288 [02:10<36:45,  8.11s/it]
+
hellaswag_it:   6%|██████▋                                                                                                          | 17/288 [02:18<36:22,  8.05s/it]
+
hellaswag_it:   6%|███████                                                                                                          | 18/288 [02:26<35:59,  8.00s/it]
+
hellaswag_it:   7%|███████▍                                                                                                         | 19/288 [02:34<35:56,  8.02s/it]
+
hellaswag_it:   7%|███████▊                                                                                                         | 20/288 [02:42<36:59,  8.28s/it]
+
hellaswag_it:   7%|████████▏                                                                                                        | 21/288 [02:51<36:31,  8.21s/it]
+
hellaswag_it:   8%|████████▋                                                                                                        | 22/288 [02:59<36:17,  8.19s/it]
+
hellaswag_it:   8%|█████████                                                                                                        | 23/288 [03:07<36:11,  8.20s/it]
+
hellaswag_it:   8%|█████████▍                                                                                                       | 24/288 [03:15<35:38,  8.10s/it]
+
hellaswag_it:   9%|█████████▊                                                                                                       | 25/288 [03:23<36:11,  8.26s/it]
+
hellaswag_it:   9%|██████████▏                                                                                                      | 26/288 [03:32<36:56,  8.46s/it]
+
hellaswag_it:   9%|██████████▌                                                                                                      | 27/288 [03:41<36:54,  8.49s/it]
+
hellaswag_it:  10%|██████████▉                                                                                                      | 28/288 [03:49<35:58,  8.30s/it]
+
hellaswag_it:  10%|███████████▍                                                                                                     | 29/288 [03:57<35:14,  8.16s/it]
+
hellaswag_it:  10%|███████████▊                                                                                                     | 30/288 [04:05<34:59,  8.14s/it]
+
hellaswag_it:  11%|████████████▏                                                                                                    | 31/288 [04:13<34:36,  8.08s/it]
+
hellaswag_it:  11%|████████████▌                                                                                                    | 32/288 [04:21<35:01,  8.21s/it]
+
hellaswag_it:  11%|████████████▉                                                                                                    | 33/288 [04:29<35:01,  8.24s/it]
+
hellaswag_it:  12%|█████████████▎                                                                                                   | 34/288 [04:38<35:46,  8.45s/it]
+
hellaswag_it:  12%|█████████████▋                                                                                                   | 35/288 [04:46<35:00,  8.30s/it]
+
hellaswag_it:  12%|██████████████▏                                                                                                  | 36/288 [04:54<34:27,  8.20s/it]
+
hellaswag_it:  13%|██████████████▌                                                                                                  | 37/288 [05:03<34:55,  8.35s/it]
+
hellaswag_it:  13%|██████████████▉                                                                                                  | 38/288 [05:11<34:34,  8.30s/it]
+
hellaswag_it:  14%|███████████████▎                                                                                                 | 39/288 [05:20<35:16,  8.50s/it]
+
hellaswag_it:  14%|███████████████▋                                                                                                 | 40/288 [05:28<34:18,  8.30s/it]
+
hellaswag_it:  14%|████████████████                                                                                                 | 41/288 [05:36<33:46,  8.20s/it]
+
hellaswag_it:  15%|████████████████▍                                                                                                | 42/288 [05:44<33:20,  8.13s/it]
+
hellaswag_it:  15%|████████████████▊                                                                                                | 43/288 [05:52<32:59,  8.08s/it]
+
hellaswag_it:  15%|█████████████████▎                                                                                               | 44/288 [06:00<32:57,  8.11s/it]
+
hellaswag_it:  16%|█████████████████▋                                                                                               | 45/288 [06:08<32:47,  8.10s/it]
+
hellaswag_it:  16%|██████████████████                                                                                               | 46/288 [06:16<32:36,  8.08s/it]
+
hellaswag_it:  16%|██████████████████▍                                                                                              | 47/288 [06:24<32:22,  8.06s/it]
+
hellaswag_it:  17%|██████████████████▊                                                                                              | 48/288 [06:32<32:06,  8.03s/it]
+
hellaswag_it:  17%|███████████████████▏                                                                                             | 49/288 [06:41<32:36,  8.19s/it]
+
hellaswag_it:  17%|███████████████████▌                                                                                             | 50/288 [06:49<32:41,  8.24s/it]
+
hellaswag_it:  18%|████████████████████                                                                                             | 51/288 [06:57<32:15,  8.17s/it]
+
hellaswag_it:  18%|████████████████████▍                                                                                            | 52/288 [07:05<31:42,  8.06s/it]
+
hellaswag_it:  18%|████████████████████▊                                                                                            | 53/288 [07:13<31:25,  8.02s/it]
+
hellaswag_it:  19%|█████████████████████▏                                                                                           | 54/288 [07:21<31:47,  8.15s/it]
+
hellaswag_it:  19%|█████████████████████▌                                                                                           | 55/288 [07:29<31:30,  8.11s/it]
+
hellaswag_it:  19%|█████████████████████▉                                                                                           | 56/288 [07:37<31:09,  8.06s/it]
+
hellaswag_it:  20%|██████████████████████▎                                                                                          | 57/288 [07:45<30:50,  8.01s/it]
+
hellaswag_it:  20%|██████████████████████▊                                                                                          | 58/288 [07:53<30:35,  7.98s/it]
+
hellaswag_it:  20%|███████████████████████▏                                                                                         | 59/288 [08:01<30:43,  8.05s/it]
+
hellaswag_it:  21%|███████████████████████▌                                                                                         | 60/288 [08:10<30:59,  8.16s/it]
+
hellaswag_it:  21%|███████████████████████▉                                                                                         | 61/288 [08:18<30:43,  8.12s/it]
+
hellaswag_it:  22%|████████████████████████▎                                                                                        | 62/288 [08:26<30:25,  8.08s/it]
+
hellaswag_it:  22%|████████████████████████▋                                                                                        | 63/288 [08:34<30:04,  8.02s/it]
+
hellaswag_it:  22%|█████████████████████████                                                                                        | 64/288 [08:42<30:42,  8.23s/it]
+
hellaswag_it:  23%|█████████████████████████▌                                                                                       | 65/288 [08:51<30:38,  8.25s/it]
+
hellaswag_it:  23%|█████████████████████████▉                                                                                       | 66/288 [08:58<30:05,  8.13s/it]
+
hellaswag_it:  23%|██████████████████████████▎                                                                                      | 67/288 [09:06<29:37,  8.04s/it]
+
hellaswag_it:  24%|██████████████████████████▋                                                                                      | 68/288 [09:15<30:34,  8.34s/it]
+
hellaswag_it:  24%|███████████████████████████                                                                                      | 69/288 [09:24<30:52,  8.46s/it]
+
hellaswag_it:  24%|███████████████████████████▍                                                                                     | 70/288 [09:32<30:04,  8.28s/it]
+
hellaswag_it:  25%|███████████████████████████▊                                                                                     | 71/288 [09:40<29:53,  8.26s/it]
+
hellaswag_it:  25%|████████████████████████████▎                                                                                    | 72/288 [09:49<30:42,  8.53s/it]
+
hellaswag_it:  25%|████████████████████████████▋                                                                                    | 73/288 [09:57<29:55,  8.35s/it]
+
hellaswag_it:  26%|█████████████████████████████                                                                                    | 74/288 [10:05<29:13,  8.20s/it]
+
hellaswag_it:  26%|█████████████████████████████▍                                                                                   | 75/288 [10:14<29:34,  8.33s/it]
+
hellaswag_it:  26%|█████████████████████████████▊                                                                                   | 76/288 [10:22<29:24,  8.32s/it]
+
hellaswag_it:  27%|██████████████████████████████▏                                                                                  | 77/288 [10:30<28:50,  8.20s/it]
+
hellaswag_it:  27%|██████████████████████████████▌                                                                                  | 78/288 [10:38<28:19,  8.09s/it]
+
hellaswag_it:  27%|██████████████████████████████▉                                                                                  | 79/288 [10:46<28:00,  8.04s/it]
+
hellaswag_it:  28%|███████████████████████████████▍                                                                                 | 80/288 [10:54<27:49,  8.03s/it]
+
hellaswag_it:  28%|███████████████████████████████▊                                                                                 | 81/288 [11:02<28:10,  8.17s/it]
+
hellaswag_it:  28%|████████████████████████████████▏                                                                                | 82/288 [11:10<27:50,  8.11s/it]
+
hellaswag_it:  29%|████████████████████████████████▌                                                                                | 83/288 [11:18<27:19,  8.00s/it]
+
hellaswag_it:  29%|████████████████████████████████▉                                                                                | 84/288 [11:26<27:08,  7.98s/it]
+
hellaswag_it:  30%|█████████████████████████████████▎                                                                               | 85/288 [11:34<27:39,  8.17s/it]
+
hellaswag_it:  30%|█████████████████████████████████▋                                                                               | 86/288 [11:42<27:14,  8.09s/it]
+
hellaswag_it:  30%|██████████████████████████████████▏                                                                              | 87/288 [11:50<26:52,  8.02s/it]
+
hellaswag_it:  31%|██████████████████████████████████▌                                                                              | 88/288 [11:58<26:41,  8.01s/it]
+
hellaswag_it:  31%|██████████████████████████████████▉                                                                              | 89/288 [12:07<27:10,  8.19s/it]
+
hellaswag_it:  31%|███████████████████████████████████▎                                                                             | 90/288 [12:15<27:12,  8.24s/it]
+
hellaswag_it:  32%|███████████████████████████████████▋                                                                             | 91/288 [12:23<26:54,  8.20s/it]
+
hellaswag_it:  32%|████████████████████████████████████                                                                             | 92/288 [12:31<26:48,  8.21s/it]
+
hellaswag_it:  32%|████████████████████████████████████▍                                                                            | 93/288 [12:39<26:26,  8.13s/it]
+
hellaswag_it:  33%|████████████████████████████████████▉                                                                            | 94/288 [12:48<26:37,  8.23s/it]
+
hellaswag_it:  33%|█████████████████████████████████████▎                                                                           | 95/288 [12:57<27:24,  8.52s/it]
+
hellaswag_it:  33%|█████████████████████████████████████▋                                                                           | 96/288 [13:05<26:42,  8.35s/it]
+
hellaswag_it:  34%|██████████████████████████████████████                                                                           | 97/288 [13:14<26:57,  8.47s/it]
+
hellaswag_it:  34%|██████████████████████████████████████▍                                                                          | 98/288 [13:23<27:15,  8.61s/it]
+
hellaswag_it:  34%|██████████████████████████████████████▊                                                                          | 99/288 [13:31<27:03,  8.59s/it]
+
hellaswag_it:  35%|██████████████████████████████████████▉                                                                         | 100/288 [13:39<26:15,  8.38s/it]
+
hellaswag_it:  35%|███████████████████████████████████████▎                                                                        | 101/288 [13:47<25:48,  8.28s/it]
+
hellaswag_it:  35%|███████████████████████████████████████▋                                                                        | 102/288 [13:56<25:53,  8.35s/it]
+
hellaswag_it:  36%|████████████████████████████████████████                                                                        | 103/288 [14:04<25:27,  8.25s/it]
+
hellaswag_it:  36%|████████████████████████████████████████▍                                                                       | 104/288 [14:12<24:55,  8.13s/it]
+
hellaswag_it:  36%|████████████████████████████████████████▊                                                                       | 105/288 [14:20<25:15,  8.28s/it]
+
hellaswag_it:  37%|█████████████████████████████████████████▏                                                                      | 106/288 [14:29<25:09,  8.29s/it]
+
hellaswag_it:  37%|█████████████████████████████████████████▌                                                                      | 107/288 [14:37<24:46,  8.22s/it]
+
hellaswag_it:  38%|██████████████████████████████████████████                                                                      | 108/288 [14:45<24:45,  8.25s/it]
+
hellaswag_it:  38%|██████████████████████████████████████████▍                                                                     | 109/288 [14:53<24:48,  8.32s/it]
+
hellaswag_it:  38%|██████████████████████████████████████████▊                                                                     | 110/288 [15:02<25:02,  8.44s/it]
+
hellaswag_it:  39%|███████████████████████████████████████████▏                                                                    | 111/288 [15:10<24:28,  8.30s/it]
+
hellaswag_it:  39%|███████████████████████████████████████████▌                                                                    | 112/288 [15:19<24:39,  8.40s/it]
+
hellaswag_it:  39%|███████████████████████████████████████████▉                                                                    | 113/288 [15:27<24:46,  8.49s/it]
+
hellaswag_it:  40%|████████████████████████████████████████████▎                                                                   | 114/288 [15:35<24:02,  8.29s/it]
+
hellaswag_it:  40%|████████████████████████████████████████████▋                                                                   | 115/288 [15:44<24:04,  8.35s/it]
+
hellaswag_it:  40%|█████████████████████████████████████████████                                                                   | 116/288 [15:52<23:31,  8.21s/it]
+
hellaswag_it:  41%|█████████████████████████████████████████████▌                                                                  | 117/288 [16:00<23:43,  8.33s/it]
+
hellaswag_it:  41%|█████████████████████████████████████████████▉                                                                  | 118/288 [16:08<23:16,  8.21s/it]
+
hellaswag_it:  41%|██████████████████████████████████████████████▎                                                                 | 119/288 [16:16<23:04,  8.19s/it]
+
hellaswag_it:  42%|██████████████████████████████████████████████▋                                                                 | 120/288 [16:24<22:43,  8.11s/it]
+
hellaswag_it:  42%|███████████████████████████████████████████████                                                                 | 121/288 [16:33<23:03,  8.28s/it]
+
hellaswag_it:  42%|███████████████████████████████████████████████▍                                                                | 122/288 [16:41<22:39,  8.19s/it]
+
hellaswag_it:  43%|███████████████████████████████████████████████▊                                                                | 123/288 [16:50<22:56,  8.34s/it]
+
hellaswag_it:  43%|████████████████████████████████████████████████▏                                                               | 124/288 [16:58<22:32,  8.25s/it]
+
hellaswag_it:  43%|████████████████████████████████████████████████▌                                                               | 125/288 [17:06<22:08,  8.15s/it]
+
hellaswag_it:  44%|█████████████████████████████████████████████████                                                               | 126/288 [17:13<21:47,  8.07s/it]
+
hellaswag_it:  44%|█████████████████████████████████████████████████▍                                                              | 127/288 [17:21<21:34,  8.04s/it]
+
hellaswag_it:  44%|█████████████████████████████████████████████████▊                                                              | 128/288 [17:30<21:54,  8.22s/it]
+
hellaswag_it:  45%|██████████████████████████████████████████████████▏                                                             | 129/288 [17:38<21:36,  8.15s/it]
+
hellaswag_it:  45%|██████████████████████████████████████████████████▌                                                             | 130/288 [17:46<21:10,  8.04s/it]
+
hellaswag_it:  45%|██████████████████████████████████████████████████▉                                                             | 131/288 [17:54<21:00,  8.03s/it]
+
hellaswag_it:  46%|███████████████████████████████████████████████████▎                                                            | 132/288 [18:02<21:19,  8.20s/it]
+
hellaswag_it:  46%|███████████████████████████████████████████████████▋                                                            | 133/288 [18:11<21:29,  8.32s/it]
+
hellaswag_it:  47%|████████████████████████████████████████████████████                                                            | 134/288 [18:19<20:59,  8.18s/it]
+
hellaswag_it:  47%|████████████████████████████████████████████████████▌                                                           | 135/288 [18:27<20:35,  8.08s/it]
+
hellaswag_it:  47%|████████████████████████████████████████████████████▉                                                           | 136/288 [18:35<20:27,  8.07s/it]
+
hellaswag_it:  48%|█████████████████████████████████████████████████████▎                                                          | 137/288 [18:43<20:15,  8.05s/it]
+
hellaswag_it:  48%|█████████████████████████████████████████████████████▋                                                          | 138/288 [18:51<20:04,  8.03s/it]
+
hellaswag_it:  48%|██████████████████████████████████████████████████████                                                          | 139/288 [18:59<20:01,  8.07s/it]
+
hellaswag_it:  49%|██████████████████████████████████████████████████████▍                                                         | 140/288 [19:07<19:44,  8.00s/it]
+
hellaswag_it:  49%|██████████████████████████████████████████████████████▊                                                         | 141/288 [19:15<19:30,  7.96s/it]
+
hellaswag_it:  49%|███████████████████████████████████████████████████████▏                                                        | 142/288 [19:23<19:25,  7.99s/it]
+
hellaswag_it:  50%|███████████████████████████████████████████████████████▌                                                        | 143/288 [19:31<19:23,  8.02s/it]
+
hellaswag_it:  50%|████████████████████████████████████████████████████████                                                        | 144/288 [19:39<19:29,  8.12s/it]
+
hellaswag_it:  50%|████████████████████████████████████████████████████████▍                                                       | 145/288 [19:48<19:43,  8.28s/it]
+
hellaswag_it:  51%|████████████████████████████████████████████████████████▊                                                       | 146/288 [19:56<19:42,  8.33s/it]
+
hellaswag_it:  51%|█████████████████████████████████████████████████████████▏                                                      | 147/288 [20:04<19:15,  8.19s/it]
+
hellaswag_it:  51%|█████████████████████████████████████████████████████████▌                                                      | 148/288 [20:13<19:18,  8.27s/it]
+
hellaswag_it:  52%|█████████████████████████████████████████████████████████▉                                                      | 149/288 [20:20<18:57,  8.19s/it]
+
hellaswag_it:  52%|██████████████████████████████████████████████████████████▎                                                     | 150/288 [20:29<18:54,  8.22s/it]
+
hellaswag_it:  52%|██████████████████████████████████████████████████████████▋                                                     | 151/288 [20:37<18:55,  8.29s/it]
+
hellaswag_it:  53%|███████████████████████████████████████████████████████████                                                     | 152/288 [20:45<18:28,  8.15s/it]
+
hellaswag_it:  53%|███████████████████████████████████████████████████████████▌                                                    | 153/288 [20:54<18:32,  8.24s/it]
+
hellaswag_it:  53%|███████████████████████████████████████████████████████████▉                                                    | 154/288 [21:02<18:26,  8.26s/it]
+
hellaswag_it:  54%|████████████████████████████████████████████████████████████▎                                                   | 155/288 [21:10<18:05,  8.16s/it]
+
hellaswag_it:  54%|████████████████████████████████████████████████████████████▋                                                   | 156/288 [21:18<17:44,  8.06s/it]
+
hellaswag_it:  55%|█████████████████████████████████████████████████████████████                                                   | 157/288 [21:26<17:34,  8.05s/it]
+
hellaswag_it:  55%|█████████████████████████████████████████████████████████████▍                                                  | 158/288 [21:33<17:19,  7.99s/it]
+
hellaswag_it:  55%|█████████████████████████████████████████████████████████████▊                                                  | 159/288 [21:42<17:20,  8.07s/it]
+
hellaswag_it:  56%|██████████████████████████████████████████████████████████████▏                                                 | 160/288 [21:50<17:34,  8.24s/it]
+
hellaswag_it:  56%|██████████████████████████████████████████████████████████████▌                                                 | 161/288 [21:58<17:15,  8.15s/it]
+
hellaswag_it:  56%|███████████████████████████████████████████████████████████████                                                 | 162/288 [22:06<16:58,  8.08s/it]
+
hellaswag_it:  57%|███████████████████████████████████████████████████████████████▍                                                | 163/288 [22:15<17:18,  8.31s/it]
+
hellaswag_it:  57%|███████████████████████████████████████████████████████████████▊                                                | 164/288 [22:23<16:59,  8.22s/it]
+
hellaswag_it:  57%|████████████████████████████████████████████████████████████████▏                                               | 165/288 [22:31<16:45,  8.17s/it]
+
hellaswag_it:  58%|████████████████████████████████████████████████████████████████▌                                               | 166/288 [22:39<16:24,  8.07s/it]
+
hellaswag_it:  58%|████████████████████████████████████████████████████████████████▉                                               | 167/288 [22:47<16:23,  8.13s/it]
+
hellaswag_it:  58%|█████████████████████████████████████████████████████████████████▎                                              | 168/288 [22:55<16:12,  8.10s/it]
+
hellaswag_it:  59%|█████████████████████████████████████████████████████████████████▋                                              | 169/288 [23:03<15:55,  8.03s/it]
+
hellaswag_it:  59%|██████████████████████████████████████████████████████████████████                                              | 170/288 [23:11<15:44,  8.01s/it]
+
hellaswag_it:  59%|██████████████████████████████████████████████████████████████████▌                                             | 171/288 [23:20<15:59,  8.20s/it]
+
hellaswag_it:  60%|██████████████████████████████████████████████████████████████████▉                                             | 172/288 [23:28<16:07,  8.34s/it]
+
hellaswag_it:  60%|███████████████████████████████████████████████████████████████████▎                                            | 173/288 [23:36<15:43,  8.20s/it]
+
hellaswag_it:  60%|███████████████████████████████████████████████████████████████████▋                                            | 174/288 [23:45<15:47,  8.32s/it]
+
hellaswag_it:  61%|████████████████████████████████████████████████████████████████████                                            | 175/288 [23:54<15:53,  8.44s/it]
+
hellaswag_it:  61%|████████████████████████████████████████████████████████████████████▍                                           | 176/288 [24:01<15:26,  8.28s/it]
+
hellaswag_it:  61%|████████████████████████████████████████████████████████████████████▊                                           | 177/288 [24:09<15:03,  8.14s/it]
+
hellaswag_it:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 178/288 [24:18<15:13,  8.30s/it]
+
hellaswag_it:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 179/288 [24:26<15:06,  8.32s/it]
+
hellaswag_it:  62%|██████████████████████████████████████████████████████████████████████                                          | 180/288 [24:34<14:46,  8.21s/it]
+
hellaswag_it:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 181/288 [24:42<14:28,  8.12s/it]
+
hellaswag_it:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 182/288 [24:50<14:20,  8.12s/it]
+
hellaswag_it:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 183/288 [24:58<14:12,  8.11s/it]
+
hellaswag_it:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 184/288 [25:06<13:58,  8.06s/it]
+
hellaswag_it:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 185/288 [25:15<13:52,  8.09s/it]
+
hellaswag_it:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 186/288 [25:22<13:39,  8.03s/it]
+
hellaswag_it:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 187/288 [25:30<13:29,  8.02s/it]
+
hellaswag_it:  65%|█████████████████████████████████████████████████████████████████████████                                       | 188/288 [25:38<13:19,  7.99s/it]
+
hellaswag_it:  66%|█████████████████████████████████████████████████████████████████████████▌                                      | 189/288 [25:46<13:08,  7.96s/it]
+
hellaswag_it:  66%|█████████████████████████████████████████████████████████████████████████▉                                      | 190/288 [25:54<13:02,  7.99s/it]
+
hellaswag_it:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 191/288 [26:03<13:20,  8.26s/it]
+
hellaswag_it:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 192/288 [26:11<13:02,  8.15s/it]
+
hellaswag_it:  67%|███████████████████████████████████████████████████████████████████████████                                     | 193/288 [26:20<13:03,  8.25s/it]
+
hellaswag_it:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 194/288 [26:28<13:06,  8.37s/it]
+
hellaswag_it:  68%|███████████████████████████████████████████████████████████████████████████▊                                    | 195/288 [26:36<12:50,  8.28s/it]
+
hellaswag_it:  68%|████████████████████████████████████████████████████████████████████████████▏                                   | 196/288 [26:44<12:31,  8.17s/it]
+
hellaswag_it:  68%|████████████████████████████████████████████████████████████████████████████▌                                   | 197/288 [26:52<12:18,  8.12s/it]
+
hellaswag_it:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 198/288 [27:01<12:19,  8.22s/it]
+
hellaswag_it:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 199/288 [27:09<12:02,  8.12s/it]
+
hellaswag_it:  69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 200/288 [27:17<12:02,  8.21s/it]
+
hellaswag_it:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 201/288 [27:25<11:47,  8.13s/it]
+
hellaswag_it:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 202/288 [27:34<11:54,  8.30s/it]
+
hellaswag_it:  70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 203/288 [27:42<11:56,  8.43s/it]
+
hellaswag_it:  71%|███████████████████████████████████████████████████████████████████████████████▎                                | 204/288 [27:51<11:49,  8.45s/it]
+
hellaswag_it:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 205/288 [27:59<11:27,  8.29s/it]
+
hellaswag_it:  72%|████████████████████████████████████████████████████████████████████████████████                                | 206/288 [28:07<11:11,  8.19s/it]
+
hellaswag_it:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 207/288 [28:15<11:16,  8.35s/it]
+
hellaswag_it:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 208/288 [28:23<11:00,  8.25s/it]
+
hellaswag_it:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 209/288 [28:32<10:52,  8.27s/it]
+
hellaswag_it:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 210/288 [28:40<10:36,  8.16s/it]
+
hellaswag_it:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 211/288 [28:48<10:24,  8.11s/it]
+
hellaswag_it:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 212/288 [28:55<10:09,  8.01s/it]
+
hellaswag_it:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 213/288 [29:03<10:00,  8.00s/it]
+
hellaswag_it:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 214/288 [29:11<09:47,  7.94s/it]
+
hellaswag_it:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 215/288 [29:19<09:42,  7.98s/it]
+
hellaswag_it:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 216/288 [29:27<09:33,  7.97s/it]
+
hellaswag_it:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 217/288 [29:35<09:24,  7.95s/it]
+
hellaswag_it:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 218/288 [29:43<09:13,  7.91s/it]
+
hellaswag_it:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 219/288 [29:51<09:06,  7.93s/it]
+
hellaswag_it:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 220/288 [29:59<09:02,  7.98s/it]
+
hellaswag_it:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 221/288 [30:07<08:58,  8.04s/it]
+
hellaswag_it:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 222/288 [30:16<09:14,  8.40s/it]
+
hellaswag_it:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 223/288 [30:25<09:09,  8.46s/it]
+
hellaswag_it:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 224/288 [30:33<08:51,  8.30s/it]
+
hellaswag_it:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 225/288 [30:41<08:34,  8.17s/it]
+
hellaswag_it:  78%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 226/288 [30:49<08:20,  8.07s/it]
+
hellaswag_it:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 227/288 [30:57<08:24,  8.26s/it]
+
hellaswag_it:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 228/288 [31:05<08:10,  8.18s/it]
+
hellaswag_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 229/288 [31:14<08:12,  8.35s/it]
+
hellaswag_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 230/288 [31:22<08:00,  8.28s/it]
+
hellaswag_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 231/288 [31:31<07:54,  8.33s/it]
+
hellaswag_it:  81%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 232/288 [31:39<07:46,  8.33s/it]
+
hellaswag_it:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 233/288 [31:48<07:41,  8.40s/it]
+
hellaswag_it:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 234/288 [31:56<07:27,  8.28s/it]
+
hellaswag_it:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 235/288 [32:04<07:18,  8.28s/it]
+
hellaswag_it:  82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 236/288 [32:12<07:12,  8.32s/it]
+
hellaswag_it:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 237/288 [32:20<07:00,  8.25s/it]
+
hellaswag_it:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 238/288 [32:28<06:49,  8.18s/it]
+
hellaswag_it:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 239/288 [32:37<06:49,  8.35s/it]
+
hellaswag_it:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 240/288 [32:45<06:35,  8.25s/it]
+
hellaswag_it:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 241/288 [32:54<06:33,  8.36s/it]
+
hellaswag_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 242/288 [33:02<06:18,  8.23s/it]
+
hellaswag_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 243/288 [33:10<06:07,  8.16s/it]
+
hellaswag_it:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 244/288 [33:18<05:56,  8.09s/it]
+
hellaswag_it:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 245/288 [33:25<05:45,  8.04s/it]
+
hellaswag_it:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 246/288 [33:34<05:45,  8.22s/it]
+
hellaswag_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 247/288 [33:42<05:34,  8.16s/it]
+
hellaswag_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 248/288 [33:50<05:26,  8.16s/it]
+
hellaswag_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 249/288 [33:59<05:19,  8.20s/it]
+
hellaswag_it:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 250/288 [34:07<05:09,  8.14s/it]
+
hellaswag_it:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 251/288 [34:15<04:59,  8.09s/it]
+
hellaswag_it:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 252/288 [34:23<04:51,  8.10s/it]
+
hellaswag_it:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 253/288 [34:31<04:41,  8.04s/it]
+
hellaswag_it:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 254/288 [34:39<04:36,  8.13s/it]
+
hellaswag_it:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 255/288 [34:47<04:25,  8.04s/it]
+
hellaswag_it:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 256/288 [34:55<04:19,  8.12s/it]
+
hellaswag_it:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 257/288 [35:04<04:17,  8.30s/it]
+
hellaswag_it:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 258/288 [35:12<04:05,  8.20s/it]
+
hellaswag_it:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 259/288 [35:20<03:55,  8.13s/it]
+
hellaswag_it:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 260/288 [35:28<03:45,  8.07s/it]
+
hellaswag_it:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 261/288 [35:36<03:36,  8.02s/it]
+
hellaswag_it:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 262/288 [35:44<03:28,  8.03s/it]
+
hellaswag_it:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 263/288 [35:52<03:20,  8.03s/it]
+
hellaswag_it:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 264/288 [36:00<03:18,  8.26s/it]
+
hellaswag_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 265/288 [36:09<03:11,  8.34s/it]
+
hellaswag_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 266/288 [36:17<03:00,  8.19s/it]
+
hellaswag_it:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 267/288 [36:25<02:50,  8.11s/it]
+
hellaswag_it:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 268/288 [36:33<02:40,  8.03s/it]
+
hellaswag_it:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 269/288 [36:41<02:32,  8.04s/it]
+
hellaswag_it:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 270/288 [36:49<02:26,  8.15s/it]
+
hellaswag_it:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 271/288 [36:57<02:17,  8.11s/it]
+
hellaswag_it:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 272/288 [37:05<02:08,  8.06s/it]
+
hellaswag_it:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 273/288 [37:13<02:01,  8.13s/it]
+
hellaswag_it:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 274/288 [37:22<01:54,  8.18s/it]
+
hellaswag_it:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 275/288 [37:30<01:45,  8.15s/it]
+
hellaswag_it:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 276/288 [37:39<01:40,  8.39s/it]
+
hellaswag_it:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 277/288 [37:48<01:34,  8.56s/it]
+
hellaswag_it:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 278/288 [37:56<01:25,  8.51s/it]
+
hellaswag_it:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 279/288 [38:04<01:14,  8.33s/it]
+
hellaswag_it:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 280/288 [38:12<01:05,  8.19s/it]
+
hellaswag_it:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 281/288 [38:20<00:56,  8.08s/it]
+
hellaswag_it:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 282/288 [38:29<00:50,  8.34s/it]
+
hellaswag_it:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 283/288 [38:37<00:42,  8.45s/it]
+
hellaswag_it:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 284/288 [38:45<00:33,  8.30s/it]
+
hellaswag_it:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 285/288 [38:53<00:24,  8.17s/it]
+
hellaswag_it:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 286/288 [39:02<00:16,  8.37s/it]
+
hellaswag_it: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 287/288 [39:10<00:08,  8.26s/it]
+
hellaswag_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [39:15<00:00,  7.28s/it]
hellaswag_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 288/288 [39:15<00:00,  8.18s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_it_acc 0.5202871750244752
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_it_acc_norm 0.7085826172087458
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 22:31:17,620 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 22:31:17,620 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:17,745 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 22:31:17,745 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:17,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 22:31:17,869 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:17,994 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 22:31:17,995 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 22:31:17,995 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 22:31:18,121 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 22:31:18,121 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_it_acc'}
+2024-05-29 22:31:18,185 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 22:31:18,185 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1169, 'value': 0.5202871750244752}
+2024-05-29 22:31:18,248 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 22:31:18,875 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 22:31:18,875 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:18,998 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 22:31:18,998 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:19,121 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 22:31:19,122 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-29 22:31:19,245 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-29 22:31:19,369 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-29 22:31:19,370 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_it_acc_norm'}
+2024-05-29 22:31:19,432 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-29 22:31:19,432 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1170, 'value': 0.7085826172087458}
+2024-05-29 22:31:19,495 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  37%|████████████████████████████████████████                                                                    | 46/124 [15:43:48<64:21:35, 2970.45s/it]['hellaswag_kn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-29 22:31:20,146 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-29 22:31:20,147 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:20,275 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-29 22:31:20,275 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:20,404 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-29 22:31:20,404 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-29 22:31:20,532 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-29 22:31:20,533 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-29 22:31:20,533 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_kn'}
+2024-05-29 22:31:20,662 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_kn task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:06,  6.36s/ examples]
+
Generating validation split: 1613 examples [00:06, 354.38 examples/s]
+
Generating validation split: 3092 examples [00:06, 793.73 examples/s]
+
Generating validation split: 5000 examples [00:06, 1540.53 examples/s]
+
Generating validation split: 7000 examples [00:06, 2530.65 examples/s]
+
Generating validation split: 8862 examples [00:06, 3647.53 examples/s]
Generating validation split: 8862 examples [00:06, 1276.77 examples/s]
+Loaded 8862 examples
+Running loglikelihood requests
+
+
hellaswag_kn:   0%|                                                                                                                          | 0/277 [00:00<?, ?it/s]
+
hellaswag_kn:   0%|▍                                                                                                               | 1/277 [00:21<1:37:48, 21.26s/it]
+
hellaswag_kn:   1%|▊                                                                                                               | 2/277 [00:41<1:34:34, 20.64s/it]
+
hellaswag_kn:   1%|█▏                                                                                                              | 3/277 [01:02<1:34:02, 20.59s/it]
+
hellaswag_kn:   1%|█▌                                                                                                              | 4/277 [01:20<1:30:36, 19.91s/it]
+
hellaswag_kn:   2%|██                                                                                                              | 5/277 [01:41<1:30:37, 19.99s/it]
+
hellaswag_kn:   2%|██▍                                                                                                             | 6/277 [02:01<1:30:46, 20.10s/it]
+
hellaswag_kn:   3%|██▊                                                                                                             | 7/277 [02:20<1:29:09, 19.81s/it]
+
hellaswag_kn:   3%|███▏                                                                                                            | 8/277 [02:39<1:27:45, 19.57s/it]
+
hellaswag_kn:   3%|███▋                                                                                                            | 9/277 [03:00<1:28:39, 19.85s/it]
+
hellaswag_kn:   4%|████                                                                                                           | 10/277 [03:20<1:28:53, 19.97s/it]
+
hellaswag_kn:   4%|████▍                                                                                                          | 11/277 [03:41<1:30:24, 20.39s/it]
+
hellaswag_kn:   4%|████▊                                                                                                          | 12/277 [04:03<1:31:25, 20.70s/it]
+
hellaswag_kn:   5%|█████▏                                                                                                         | 13/277 [04:21<1:28:13, 20.05s/it]
+
hellaswag_kn:   5%|█████▌                                                                                                         | 14/277 [04:43<1:30:40, 20.68s/it]
+
hellaswag_kn:   5%|██████                                                                                                         | 15/277 [05:04<1:29:53, 20.59s/it]
+
hellaswag_kn:   6%|██████▍                                                                                                        | 16/277 [05:23<1:27:50, 20.19s/it]
+
hellaswag_kn:   6%|██████▊                                                                                                        | 17/277 [05:42<1:26:27, 19.95s/it]
+
hellaswag_kn:   6%|███████▏                                                                                                       | 18/277 [06:03<1:26:56, 20.14s/it]
+
hellaswag_kn:   7%|███████▌                                                                                                       | 19/277 [06:22<1:25:49, 19.96s/it]
+
hellaswag_kn:   7%|████████                                                                                                       | 20/277 [06:44<1:28:01, 20.55s/it]
+
hellaswag_kn:   8%|████████▍                                                                                                      | 21/277 [07:06<1:28:58, 20.85s/it]
+
hellaswag_kn:   8%|████████▊                                                                                                      | 22/277 [07:26<1:27:49, 20.67s/it]
+
hellaswag_kn:   8%|█████████▏                                                                                                     | 23/277 [07:46<1:27:03, 20.56s/it]
+
hellaswag_kn:   9%|█████████▌                                                                                                     | 24/277 [08:07<1:26:53, 20.61s/it]
+
hellaswag_kn:   9%|██████████                                                                                                     | 25/277 [08:27<1:25:39, 20.40s/it]
+
hellaswag_kn:   9%|██████████▍                                                                                                    | 26/277 [08:47<1:24:46, 20.26s/it]
+
hellaswag_kn:  10%|██████████▊                                                                                                    | 27/277 [09:09<1:26:35, 20.78s/it]
+
hellaswag_kn:  10%|███████████▏                                                                                                   | 28/277 [09:29<1:25:47, 20.67s/it]
+
hellaswag_kn:  10%|███████████▌                                                                                                   | 29/277 [09:48<1:23:19, 20.16s/it]
+
hellaswag_kn:  11%|████████████                                                                                                   | 30/277 [10:08<1:22:38, 20.07s/it]
+
hellaswag_kn:  11%|████████████▍                                                                                                  | 31/277 [10:31<1:25:55, 20.96s/it]
+
hellaswag_kn:  12%|████████████▊                                                                                                  | 32/277 [10:51<1:24:15, 20.64s/it]
+
hellaswag_kn:  12%|█████████████▏                                                                                                 | 33/277 [11:11<1:22:52, 20.38s/it]
+
hellaswag_kn:  12%|█████████████▌                                                                                                 | 34/277 [11:33<1:24:25, 20.84s/it]
+
hellaswag_kn:  13%|██████████████                                                                                                 | 35/277 [11:53<1:23:17, 20.65s/it]
+
hellaswag_kn:  13%|██████████████▍                                                                                                | 36/277 [12:12<1:21:25, 20.27s/it]
+
hellaswag_kn:  13%|██████████████▊                                                                                                | 37/277 [12:32<1:19:49, 19.96s/it]
+
hellaswag_kn:  14%|███████████████▏                                                                                               | 38/277 [12:52<1:19:40, 20.00s/it]
+
hellaswag_kn:  14%|███████████████▋                                                                                               | 39/277 [13:12<1:19:48, 20.12s/it]
+
hellaswag_kn:  14%|████████████████                                                                                               | 40/277 [13:34<1:21:33, 20.65s/it]
+
hellaswag_kn:  15%|████████████████▍                                                                                              | 41/277 [13:54<1:20:37, 20.50s/it]
+
hellaswag_kn:  15%|████████████████▊                                                                                              | 42/277 [14:15<1:21:03, 20.70s/it]
+
hellaswag_kn:  16%|█████████████████▏                                                                                             | 43/277 [14:36<1:20:09, 20.55s/it]
+
hellaswag_kn:  16%|█████████████████▋                                                                                             | 44/277 [14:56<1:19:58, 20.59s/it]
+
hellaswag_kn:  16%|██████████████████                                                                                             | 45/277 [15:20<1:23:01, 21.47s/it]
+
hellaswag_kn:  17%|██████████████████▍                                                                                            | 46/277 [15:40<1:20:44, 20.97s/it]
+
hellaswag_kn:  17%|██████████████████▊                                                                                            | 47/277 [16:01<1:20:56, 21.12s/it]
+
hellaswag_kn:  17%|███████████████████▏                                                                                           | 48/277 [16:24<1:22:46, 21.69s/it]
+
hellaswag_kn:  18%|███████████████████▋                                                                                           | 49/277 [16:45<1:21:17, 21.39s/it]
+
hellaswag_kn:  18%|████████████████████                                                                                           | 50/277 [17:07<1:22:14, 21.74s/it]
+
hellaswag_kn:  18%|████████████████████▍                                                                                          | 51/277 [17:29<1:21:21, 21.60s/it]
+
hellaswag_kn:  19%|████████████████████▊                                                                                          | 52/277 [17:48<1:18:12, 20.86s/it]
+
hellaswag_kn:  19%|█████████████████████▏                                                                                         | 53/277 [18:06<1:15:09, 20.13s/it]
+
hellaswag_kn:  19%|█████████████████████▋                                                                                         | 54/277 [18:27<1:16:09, 20.49s/it]
+
hellaswag_kn:  20%|██████████████████████                                                                                         | 55/277 [18:46<1:14:08, 20.04s/it]
+
hellaswag_kn:  20%|██████████████████████▍                                                                                        | 56/277 [19:08<1:15:47, 20.58s/it]
+
hellaswag_kn:  21%|██████████████████████▊                                                                                        | 57/277 [19:28<1:15:00, 20.46s/it]
+
hellaswag_kn:  21%|███████████████████████▏                                                                                       | 58/277 [19:49<1:14:32, 20.42s/it]
+
hellaswag_kn:  21%|███████████████████████▋                                                                                       | 59/277 [20:09<1:13:34, 20.25s/it]
+
hellaswag_kn:  22%|████████████████████████                                                                                       | 60/277 [20:29<1:12:48, 20.13s/it]
+
hellaswag_kn:  22%|████████████████████████▍                                                                                      | 61/277 [20:48<1:12:05, 20.02s/it]
+
hellaswag_kn:  22%|████████████████████████▊                                                                                      | 62/277 [21:10<1:13:37, 20.55s/it]
+
hellaswag_kn:  23%|█████████████████████████▏                                                                                     | 63/277 [21:32<1:14:37, 20.92s/it]
+
hellaswag_kn:  23%|█████████████████████████▋                                                                                     | 64/277 [21:52<1:13:14, 20.63s/it]
+
hellaswag_kn:  23%|██████████████████████████                                                                                     | 65/277 [22:12<1:12:13, 20.44s/it]
+
hellaswag_kn:  24%|██████████████████████████▍                                                                                    | 66/277 [22:31<1:10:57, 20.18s/it]
+
hellaswag_kn:  24%|██████████████████████████▊                                                                                    | 67/277 [22:52<1:11:25, 20.41s/it]
+
hellaswag_kn:  25%|███████████████████████████▏                                                                                   | 68/277 [23:13<1:11:33, 20.54s/it]
+
hellaswag_kn:  25%|███████████████████████████▋                                                                                   | 69/277 [23:31<1:08:46, 19.84s/it]
+
hellaswag_kn:  25%|████████████████████████████                                                                                   | 70/277 [23:52<1:09:23, 20.11s/it]
+
hellaswag_kn:  26%|████████████████████████████▍                                                                                  | 71/277 [24:13<1:09:18, 20.19s/it]
+
hellaswag_kn:  26%|████████████████████████████▊                                                                                  | 72/277 [24:34<1:10:01, 20.49s/it]
+
hellaswag_kn:  26%|█████████████████████████████▎                                                                                 | 73/277 [24:55<1:10:44, 20.81s/it]
+
hellaswag_kn:  27%|█████████████████████████████▋                                                                                 | 74/277 [25:15<1:09:40, 20.59s/it]
+
hellaswag_kn:  27%|██████████████████████████████                                                                                 | 75/277 [25:36<1:09:11, 20.55s/it]
+
hellaswag_kn:  27%|██████████████████████████████▍                                                                                | 76/277 [25:54<1:06:16, 19.78s/it]
+
hellaswag_kn:  28%|██████████████████████████████▊                                                                                | 77/277 [26:15<1:07:19, 20.20s/it]
+
hellaswag_kn:  28%|███████████████████████████████▎                                                                               | 78/277 [26:37<1:08:41, 20.71s/it]
+
hellaswag_kn:  29%|███████████████████████████████▋                                                                               | 79/277 [26:57<1:07:21, 20.41s/it]
+
hellaswag_kn:  29%|████████████████████████████████                                                                               | 80/277 [27:16<1:06:25, 20.23s/it]
+
hellaswag_kn:  29%|████████████████████████████████▍                                                                              | 81/277 [27:37<1:06:42, 20.42s/it]
+
hellaswag_kn:  30%|████████████████████████████████▊                                                                              | 82/277 [27:58<1:06:43, 20.53s/it]
+
hellaswag_kn:  30%|█████████████████████████████████▎                                                                             | 83/277 [28:19<1:06:40, 20.62s/it]
+
hellaswag_kn:  30%|█████████████████████████████████▋                                                                             | 84/277 [28:36<1:03:05, 19.61s/it]
+
hellaswag_kn:  31%|██████████████████████████████████                                                                             | 85/277 [28:57<1:03:30, 19.85s/it]
+
hellaswag_kn:  31%|██████████████████████████████████▍                                                                            | 86/277 [29:16<1:02:51, 19.75s/it]
+
hellaswag_kn:  31%|██████████████████████████████████▊                                                                            | 87/277 [29:37<1:03:33, 20.07s/it]
+
hellaswag_kn:  32%|███████████████████████████████████▎                                                                           | 88/277 [29:58<1:03:58, 20.31s/it]
+
hellaswag_kn:  32%|███████████████████████████████████▋                                                                           | 89/277 [30:20<1:05:42, 20.97s/it]
+
hellaswag_kn:  32%|████████████████████████████████████                                                                           | 90/277 [30:41<1:05:20, 20.96s/it]
+
hellaswag_kn:  33%|████████████████████████████████████▍                                                                          | 91/277 [31:02<1:04:41, 20.87s/it]
+
hellaswag_kn:  33%|████████████████████████████████████▊                                                                          | 92/277 [31:23<1:04:35, 20.95s/it]
+
hellaswag_kn:  34%|█████████████████████████████████████▎                                                                         | 93/277 [31:44<1:04:19, 20.98s/it]
+
hellaswag_kn:  34%|█████████████████████████████████████▋                                                                         | 94/277 [32:04<1:03:01, 20.67s/it]
+
hellaswag_kn:  34%|██████████████████████████████████████                                                                         | 95/277 [32:25<1:03:26, 20.91s/it]
+
hellaswag_kn:  35%|██████████████████████████████████████▍                                                                        | 96/277 [32:46<1:03:01, 20.89s/it]
+
hellaswag_kn:  35%|██████████████████████████████████████▊                                                                        | 97/277 [33:07<1:02:31, 20.84s/it]
+
hellaswag_kn:  35%|███████████████████████████████████████▎                                                                       | 98/277 [33:27<1:01:41, 20.68s/it]
+
hellaswag_kn:  36%|███████████████████████████████████████▋                                                                       | 99/277 [33:48<1:01:18, 20.66s/it]
+
hellaswag_kn:  36%|███████████████████████████████████████▋                                                                      | 100/277 [34:09<1:01:04, 20.71s/it]
+
hellaswag_kn:  36%|████████████████████████████████████████                                                                      | 101/277 [34:30<1:00:54, 20.76s/it]
+
hellaswag_kn:  37%|████████████████████████████████████████▌                                                                     | 102/277 [34:51<1:00:43, 20.82s/it]
+
hellaswag_kn:  37%|████████████████████████████████████████▉                                                                     | 103/277 [35:12<1:00:52, 20.99s/it]
+
hellaswag_kn:  38%|█████████████████████████████████████████▎                                                                    | 104/277 [35:33<1:00:12, 20.88s/it]
+
hellaswag_kn:  38%|██████████████████████████████████████████▍                                                                     | 105/277 [35:53<59:28, 20.75s/it]
+
hellaswag_kn:  38%|██████████████████████████████████████████▊                                                                     | 106/277 [36:12<57:42, 20.25s/it]
+
hellaswag_kn:  39%|███████████████████████████████████████████▎                                                                    | 107/277 [36:32<56:49, 20.06s/it]
+
hellaswag_kn:  39%|███████████████████████████████████████████▋                                                                    | 108/277 [36:52<56:17, 19.99s/it]
+
hellaswag_kn:  39%|████████████████████████████████████████████                                                                    | 109/277 [37:12<56:24, 20.15s/it]
+
hellaswag_kn:  40%|████████████████████████████████████████████▍                                                                   | 110/277 [37:33<56:45, 20.39s/it]
+
hellaswag_kn:  40%|████████████████████████████████████████████▉                                                                   | 111/277 [37:53<55:46, 20.16s/it]
+
hellaswag_kn:  40%|█████████████████████████████████████████████▎                                                                  | 112/277 [38:13<55:23, 20.14s/it]
+
hellaswag_kn:  41%|█████████████████████████████████████████████▋                                                                  | 113/277 [38:32<54:24, 19.90s/it]
+
hellaswag_kn:  41%|██████████████████████████████████████████████                                                                  | 114/277 [38:51<53:03, 19.53s/it]
+
hellaswag_kn:  42%|██████████████████████████████████████████████▍                                                                 | 115/277 [39:12<54:15, 20.10s/it]
+
hellaswag_kn:  42%|██████████████████████████████████████████████▉                                                                 | 116/277 [39:31<53:01, 19.76s/it]
+
hellaswag_kn:  42%|███████████████████████████████████████████████▎                                                                | 117/277 [39:52<53:26, 20.04s/it]
+
hellaswag_kn:  43%|███████████████████████████████████████████████▋                                                                | 118/277 [40:12<53:07, 20.05s/it]
+
hellaswag_kn:  43%|████████████████████████████████████████████████                                                                | 119/277 [40:32<52:45, 20.03s/it]
+
hellaswag_kn:  43%|████████████████████████████████████████████████▌                                                               | 120/277 [40:50<50:29, 19.30s/it]
+
hellaswag_kn:  44%|████████████████████████████████████████████████▉                                                               | 121/277 [41:10<50:55, 19.58s/it]
+
hellaswag_kn:  44%|█████████████████████████████████████████████████▎                                                              | 122/277 [41:28<49:48, 19.28s/it]
+
hellaswag_kn:  44%|█████████████████████████████████████████████████▋                                                              | 123/277 [41:50<51:07, 19.92s/it]
+
hellaswag_kn:  45%|██████████████████████████████████████████████████▏                                                             | 124/277 [42:10<50:46, 19.91s/it]
+
hellaswag_kn:  45%|██████████████████████████████████████████████████▌                                                             | 125/277 [42:31<51:31, 20.34s/it]
+
hellaswag_kn:  45%|██████████████████████████████████████████████████▉                                                             | 126/277 [42:52<51:39, 20.53s/it]
+
hellaswag_kn:  46%|███████████████████████████████████████████████████▎                                                            | 127/277 [43:15<52:51, 21.14s/it]
+
hellaswag_kn:  46%|███████████████████████████████████████████████████▊                                                            | 128/277 [43:35<52:13, 21.03s/it]
+
hellaswag_kn:  47%|████████████████████████████████████████████████████▏                                                           | 129/277 [43:56<51:54, 21.05s/it]
+
hellaswag_kn:  47%|████████████████████████████████████████████████████▌                                                           | 130/277 [44:16<50:28, 20.60s/it]
+
hellaswag_kn:  47%|████████████████████████████████████████████████████▉                                                           | 131/277 [44:35<49:15, 20.24s/it]
+
hellaswag_kn:  48%|█████████████████████████████████████████████████████▎                                                          | 132/277 [44:58<51:01, 21.11s/it]
+
hellaswag_kn:  48%|█████████████████████████████████████████████████████▊                                                          | 133/277 [45:18<49:38, 20.69s/it]
+
hellaswag_kn:  48%|██████████████████████████████████████████████████████▏                                                         | 134/277 [45:40<49:59, 20.97s/it]
+
hellaswag_kn:  49%|██████████████████████████████████████████████████████▌                                                         | 135/277 [46:01<50:06, 21.17s/it]
+
hellaswag_kn:  49%|██████████████████████████████████████████████████████▉                                                         | 136/277 [46:20<48:12, 20.52s/it]
+
hellaswag_kn:  49%|███████████████████████████████████████████████████████▍                                                        | 137/277 [46:42<48:32, 20.80s/it]
+
hellaswag_kn:  50%|███████████████████████████████████████████████████████▊                                                        | 138/277 [47:04<49:08, 21.21s/it]
+
hellaswag_kn:  50%|████████████████████████████████████████████████████████▏                                                       | 139/277 [47:25<48:25, 21.05s/it]
+
hellaswag_kn:  51%|████████████████████████████████████████████████████████▌                                                       | 140/277 [47:45<47:21, 20.74s/it]
+
hellaswag_kn:  51%|█████████████████████████████████████████████████████████                                                       | 141/277 [48:05<46:41, 20.60s/it]
+
hellaswag_kn:  51%|█████████████████████████████████████████████████████████▍                                                      | 142/277 [48:25<45:55, 20.41s/it]
+
hellaswag_kn:  52%|█████████████████████████████████████████████████████████▊                                                      | 143/277 [48:46<46:04, 20.63s/it]
+
hellaswag_kn:  52%|██████████████████████████████████████████████████████████▏                                                     | 144/277 [49:09<47:08, 21.26s/it]
+
hellaswag_kn:  52%|██████████████████████████████████████████████████████████▋                                                     | 145/277 [49:31<47:06, 21.41s/it]
+
hellaswag_kn:  53%|███████████████████████████████████████████████████████████                                                     | 146/277 [49:51<46:01, 21.08s/it]
+
hellaswag_kn:  53%|███████████████████████████████████████████████████████████▍                                                    | 147/277 [50:12<45:45, 21.12s/it]
+
hellaswag_kn:  53%|███████████████████████████████████████████████████████████▊                                                    | 148/277 [50:32<44:16, 20.59s/it]
+
hellaswag_kn:  54%|████████████████████████████████████████████████████████████▏                                                   | 149/277 [50:52<43:38, 20.46s/it]
+
hellaswag_kn:  54%|████████████████████████████████████████████████████████████▋                                                   | 150/277 [51:13<43:59, 20.79s/it]
+
hellaswag_kn:  55%|█████████████████████████████████████████████████████████████                                                   | 151/277 [51:34<43:24, 20.67s/it]
+
hellaswag_kn:  55%|█████████████████████████████████████████████████████████████▍                                                  | 152/277 [51:54<42:52, 20.58s/it]
+
hellaswag_kn:  55%|█████████████████████████████████████████████████████████████▊                                                  | 153/277 [52:15<42:35, 20.61s/it]
+
hellaswag_kn:  56%|██████████████████████████████████████████████████████████████▎                                                 | 154/277 [52:35<41:53, 20.44s/it]
+
hellaswag_kn:  56%|██████████████████████████████████████████████████████████████▋                                                 | 155/277 [52:56<41:45, 20.54s/it]
+
hellaswag_kn:  56%|███████████████████████████████████████████████████████████████                                                 | 156/277 [53:17<41:59, 20.82s/it]
+
hellaswag_kn:  57%|███████████████████████████████████████████████████████████████▍                                                | 157/277 [53:39<42:08, 21.07s/it]
+
hellaswag_kn:  57%|███████████████████████████████████████████████████████████████▉                                                | 158/277 [53:59<41:04, 20.71s/it]
+
hellaswag_kn:  57%|████████████████████████████████████████████████████████████████▎                                               | 159/277 [54:18<40:18, 20.49s/it]
+
hellaswag_kn:  58%|████████████████████████████████████████████████████████████████▋                                               | 160/277 [54:39<40:02, 20.54s/it]
+
hellaswag_kn:  58%|█████████████████████████████████████████████████████████████████                                               | 161/277 [54:59<39:08, 20.25s/it]
+
hellaswag_kn:  58%|█████████████████████████████████████████████████████████████████▌                                              | 162/277 [55:19<39:03, 20.38s/it]
+
hellaswag_kn:  59%|█████████████████████████████████████████████████████████████████▉                                              | 163/277 [55:42<40:06, 21.11s/it]
+
hellaswag_kn:  59%|██████████████████████████████████████████████████████████████████▎                                             | 164/277 [56:01<38:33, 20.47s/it]
+
hellaswag_kn:  60%|██████████████████████████████████████████████████████████████████▋                                             | 165/277 [56:21<37:56, 20.33s/it]
+
hellaswag_kn:  60%|███████████████████████████████████████████████████████████████████                                             | 166/277 [56:41<37:04, 20.04s/it]
+
hellaswag_kn:  60%|███████████████████████████████████████████████████████████████████▌                                            | 167/277 [56:59<36:05, 19.69s/it]
+
hellaswag_kn:  61%|███████████████████████████████████████████████████████████████████▉                                            | 168/277 [57:20<36:00, 19.82s/it]
+
hellaswag_kn:  61%|████████████████████████████████████████████████████████████████████▎                                           | 169/277 [57:41<36:25, 20.23s/it]
+
hellaswag_kn:  61%|████████████████████████████████████████████████████████████████████▋                                           | 170/277 [58:03<36:59, 20.74s/it]
+
hellaswag_kn:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 171/277 [58:22<36:00, 20.39s/it]
+
hellaswag_kn:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 172/277 [58:45<36:46, 21.02s/it]
+
hellaswag_kn:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 173/277 [59:04<35:24, 20.43s/it]
+
hellaswag_kn:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 174/277 [59:24<35:11, 20.50s/it]
+
hellaswag_kn:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 175/277 [59:44<34:11, 20.12s/it]
+
hellaswag_kn:  64%|█████████████████████████████████████████████████████████████████████▉                                        | 176/277 [1:00:04<33:45, 20.05s/it]
+
hellaswag_kn:  64%|██████████████████████████████████████████████████████████████████████▎                                       | 177/277 [1:00:23<33:16, 19.97s/it]
+
hellaswag_kn:  64%|██████████████████████████████████████████████████████████████████████▋                                       | 178/277 [1:00:41<31:58, 19.38s/it]
+
hellaswag_kn:  65%|███████████████████████████████████████████████████████████████████████                                       | 179/277 [1:01:01<31:55, 19.55s/it]
+
hellaswag_kn:  65%|███████████████████████████████████████████████████████████████████████▍                                      | 180/277 [1:01:22<31:59, 19.78s/it]
+
hellaswag_kn:  65%|███████████████████████████████████████████████████████████████████████▉                                      | 181/277 [1:01:43<32:12, 20.13s/it]
+
hellaswag_kn:  66%|████████████████████████████████████████████████████████████████████████▎                                     | 182/277 [1:02:03<31:58, 20.19s/it]
+
hellaswag_kn:  66%|████████████████████████████████████████████████████████████████████████▋                                     | 183/277 [1:02:24<32:10, 20.53s/it]
+
hellaswag_kn:  66%|█████████████████████████████████████████████████████████████████████████                                     | 184/277 [1:02:46<32:24, 20.91s/it]
+
hellaswag_kn:  67%|█████████████████████████████████████████████████████████████████████████▍                                    | 185/277 [1:03:05<31:17, 20.41s/it]
+
hellaswag_kn:  67%|█████████████████████████████████████████████████████████████████████████▊                                    | 186/277 [1:03:26<31:06, 20.52s/it]
+
hellaswag_kn:  68%|██████████████████████████████████████████████████████████████████████████▎                                   | 187/277 [1:03:45<29:57, 19.97s/it]
+
hellaswag_kn:  68%|██████████████████████████████████████████████████████████████████████████▋                                   | 188/277 [1:04:05<29:35, 19.95s/it]
+
hellaswag_kn:  68%|███████████████████████████████████████████████████████████████████████████                                   | 189/277 [1:04:23<28:45, 19.60s/it]
+
hellaswag_kn:  69%|███████████████████████████████████████████████████████████████████████████▍                                  | 190/277 [1:04:44<28:58, 19.98s/it]
+
hellaswag_kn:  69%|███████████████████████████████████████████████████████████████████████████▊                                  | 191/277 [1:05:05<28:44, 20.06s/it]
+
hellaswag_kn:  69%|████████████████████████████████████████████████████████████████████████████▏                                 | 192/277 [1:05:28<29:45, 21.01s/it]
+
hellaswag_kn:  70%|████████████████████████████████████████████████████████████████████████████▋                                 | 193/277 [1:05:46<28:20, 20.25s/it]
+
hellaswag_kn:  70%|█████████████████████████████████████████████████████████████████████████████                                 | 194/277 [1:06:07<28:25, 20.55s/it]
+
hellaswag_kn:  70%|█████████████████████████████████████████████████████████████████████████████▍                                | 195/277 [1:06:29<28:21, 20.75s/it]
+
hellaswag_kn:  71%|█████████████████████████████████████████████████████████████████████████████▊                                | 196/277 [1:06:52<28:53, 21.40s/it]
+
hellaswag_kn:  71%|██████████████████████████████████████████████████████████████████████████████▏                               | 197/277 [1:07:12<28:16, 21.20s/it]
+
hellaswag_kn:  71%|██████████████████████████████████████████████████████████████████████████████▋                               | 198/277 [1:07:33<27:53, 21.18s/it]
+
hellaswag_kn:  72%|███████████████████████████████████████████████████████████████████████████████                               | 199/277 [1:07:54<27:13, 20.95s/it]
+
hellaswag_kn:  72%|███████████████████████████████████████████████████████████████████████████████▍                              | 200/277 [1:08:14<26:41, 20.80s/it]
+
hellaswag_kn:  73%|███████████████████████████████████████████████████████████████████████████████▊                              | 201/277 [1:08:34<25:49, 20.39s/it]
+
hellaswag_kn:  73%|████████████████████████████████████████████████████████████████████████████████▏                             | 202/277 [1:08:53<25:10, 20.14s/it]
+
hellaswag_kn:  73%|████████████████████████████████████████████████████████████████████████████████▌                             | 203/277 [1:09:11<24:05, 19.53s/it]
+
hellaswag_kn:  74%|█████████████████████████████████████████████████████████████████████████████████                             | 204/277 [1:09:33<24:28, 20.12s/it]
+
hellaswag_kn:  74%|█████████████████████████████████████████████████████████████████████████████████▍                            | 205/277 [1:09:53<24:04, 20.07s/it]
+
hellaswag_kn:  74%|█████████████████████████████████████████████████████████████████████████████████▊                            | 206/277 [1:10:13<23:42, 20.04s/it]
+
hellaswag_kn:  75%|██████████████████████████████████████████████████████████████████████████████████▏                           | 207/277 [1:10:36<24:33, 21.05s/it]
+
hellaswag_kn:  75%|██████████████████████████████████████████████████████████████████████████████████▌                           | 208/277 [1:10:57<24:02, 20.90s/it]
+
hellaswag_kn:  75%|██████████████████████████████████████████████████████████████████████████████████▉                           | 209/277 [1:11:16<23:16, 20.53s/it]
+
hellaswag_kn:  76%|███████████████████████████████████████████████████████████████████████████████████▍                          | 210/277 [1:11:38<23:23, 20.95s/it]
+
hellaswag_kn:  76%|███████████████████████████████████████████████████████████████████████████████████▊                          | 211/277 [1:12:01<23:29, 21.35s/it]
+
hellaswag_kn:  77%|████████████████████████████████████████████████████████████████████████████████████▏                         | 212/277 [1:12:19<22:17, 20.58s/it]
+
hellaswag_kn:  77%|████████████████████████████████████████████████████████████████████████████████████▌                         | 213/277 [1:12:39<21:45, 20.39s/it]
+
hellaswag_kn:  77%|████████████████████████████████████████████████████████████████████████████████████▉                         | 214/277 [1:12:59<21:18, 20.29s/it]
+
hellaswag_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████▍                        | 215/277 [1:13:22<21:44, 21.04s/it]
+
hellaswag_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████▊                        | 216/277 [1:13:41<20:46, 20.43s/it]
+
hellaswag_kn:  78%|██████████████████████████████████████████████████████████████████████████████████████▏                       | 217/277 [1:14:02<20:24, 20.41s/it]
+
hellaswag_kn:  79%|██████████████████████████████████████████████████████████████████████████████████████▌                       | 218/277 [1:14:22<20:00, 20.35s/it]
+
hellaswag_kn:  79%|██████████████████████████████████████████████████████████████████████████████████████▉                       | 219/277 [1:14:42<19:33, 20.23s/it]
+
hellaswag_kn:  79%|███████████████████████████████████████████████████████████████████████████████████████▎                      | 220/277 [1:15:02<19:04, 20.08s/it]
+
hellaswag_kn:  80%|███████████████████████████████████████████████████████████████████████████████████████▊                      | 221/277 [1:15:22<18:49, 20.17s/it]
+
hellaswag_kn:  80%|████████████████████████████████████████████████████████████████████████████████████████▏                     | 222/277 [1:15:41<18:08, 19.78s/it]
+
hellaswag_kn:  81%|████████████████████████████████████████████████████████████████████████████████████████▌                     | 223/277 [1:16:02<18:15, 20.28s/it]
+
hellaswag_kn:  81%|████████████████████████████████████████████████████████████████████████████████████████▉                     | 224/277 [1:16:22<17:52, 20.23s/it]
+
hellaswag_kn:  81%|█████████████████████████████████████████████████████████████████████████████████████████▎                    | 225/277 [1:16:43<17:36, 20.31s/it]
+
hellaswag_kn:  82%|█████████████████████████████████████████████████████████████████████████████████████████▋                    | 226/277 [1:17:05<17:43, 20.85s/it]
+
hellaswag_kn:  82%|██████████████████████████████████████████████████████████████████████████████████████████▏                   | 227/277 [1:17:25<17:05, 20.51s/it]
+
hellaswag_kn:  82%|██████████████████████████████████████████████████████████████████████████████████████████▌                   | 228/277 [1:17:46<16:58, 20.78s/it]
+
hellaswag_kn:  83%|██████████████████████████████████████████████████████████████████████████████████████████▉                   | 229/277 [1:18:06<16:27, 20.56s/it]
+
hellaswag_kn:  83%|███████████████████████████████████████████████████████████████████████████████████████████▎                  | 230/277 [1:18:27<16:11, 20.67s/it]
+
hellaswag_kn:  83%|███████████████████████████████████████████████████████████████████████████████████████████▋                  | 231/277 [1:18:47<15:35, 20.33s/it]
+
hellaswag_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████▏                 | 232/277 [1:19:06<15:04, 20.10s/it]
+
hellaswag_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████▌                 | 233/277 [1:19:28<15:08, 20.66s/it]
+
hellaswag_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████▉                 | 234/277 [1:19:48<14:38, 20.43s/it]
+
hellaswag_kn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 235/277 [1:20:09<14:20, 20.49s/it]
+
hellaswag_kn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 236/277 [1:20:29<13:57, 20.42s/it]
+
hellaswag_kn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████                | 237/277 [1:20:49<13:37, 20.44s/it]
+
hellaswag_kn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▌               | 238/277 [1:21:10<13:23, 20.61s/it]
+
hellaswag_kn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▉               | 239/277 [1:21:31<12:59, 20.53s/it]
+
hellaswag_kn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▎              | 240/277 [1:21:51<12:41, 20.57s/it]
+
hellaswag_kn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▋              | 241/277 [1:22:12<12:20, 20.58s/it]
+
hellaswag_kn:  87%|████████████████████████████████████████████████████████████████████████████████████████████████              | 242/277 [1:22:31<11:41, 20.05s/it]
+
hellaswag_kn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▍             | 243/277 [1:22:51<11:25, 20.16s/it]
+
hellaswag_kn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▉             | 244/277 [1:23:12<11:13, 20.41s/it]
+
hellaswag_kn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████▎            | 245/277 [1:23:34<11:05, 20.79s/it]
+
hellaswag_kn:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▋            | 246/277 [1:23:55<10:47, 20.88s/it]
+
hellaswag_kn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████            | 247/277 [1:24:14<10:12, 20.43s/it]
+
hellaswag_kn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▍           | 248/277 [1:24:35<09:53, 20.46s/it]
+
hellaswag_kn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▉           | 249/277 [1:24:56<09:37, 20.62s/it]
+
hellaswag_kn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▎          | 250/277 [1:25:15<09:02, 20.09s/it]
+
hellaswag_kn:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▋          | 251/277 [1:25:36<08:51, 20.44s/it]
+
hellaswag_kn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████          | 252/277 [1:25:56<08:24, 20.19s/it]
+
hellaswag_kn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 253/277 [1:26:16<08:07, 20.33s/it]
+
hellaswag_kn:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 254/277 [1:26:35<07:33, 19.73s/it]
+
hellaswag_kn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 255/277 [1:26:55<07:21, 20.09s/it]
+
hellaswag_kn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 256/277 [1:27:17<07:12, 20.61s/it]
+
hellaswag_kn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 257/277 [1:27:37<06:46, 20.31s/it]
+
hellaswag_kn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 258/277 [1:27:58<06:29, 20.50s/it]
+
hellaswag_kn:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 259/277 [1:28:18<06:05, 20.30s/it]
+
hellaswag_kn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 260/277 [1:28:39<05:48, 20.51s/it]
+
hellaswag_kn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 261/277 [1:29:00<05:32, 20.79s/it]
+
hellaswag_kn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████      | 262/277 [1:29:20<05:09, 20.64s/it]
+
hellaswag_kn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 263/277 [1:29:42<04:51, 20.80s/it]
+
hellaswag_kn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 264/277 [1:30:04<04:35, 21.19s/it]
+
hellaswag_kn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 265/277 [1:30:23<04:07, 20.66s/it]
+
hellaswag_kn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 266/277 [1:30:43<03:44, 20.41s/it]
+
hellaswag_kn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████    | 267/277 [1:31:03<03:22, 20.24s/it]
+
hellaswag_kn:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 268/277 [1:31:24<03:03, 20.41s/it]
+
hellaswag_kn:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 269/277 [1:31:44<02:42, 20.34s/it]
+
hellaswag_kn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 270/277 [1:32:05<02:23, 20.56s/it]
+
hellaswag_kn:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 271/277 [1:32:26<02:03, 20.63s/it]
+
hellaswag_kn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 272/277 [1:32:46<01:42, 20.40s/it]
+
hellaswag_kn:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 273/277 [1:33:06<01:21, 20.36s/it]
+
hellaswag_kn:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 274/277 [1:33:27<01:02, 20.70s/it]
+
hellaswag_kn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 275/277 [1:33:47<00:40, 20.34s/it]
+
hellaswag_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 276/277 [1:34:07<00:20, 20.31s/it]
+
hellaswag_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277/277 [1:34:27<00:00, 20.08s/it]
hellaswag_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277/277 [1:34:27<00:00, 20.46s/it]
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_kn_acc 0.2575039494470774
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_kn_acc_norm 0.2967727375310314
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 00:05:56,746 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 00:05:56,746 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:56,870 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 00:05:56,870 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:56,994 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 00:05:56,994 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 00:05:57,119 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 00:05:57,245 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 00:05:57,245 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_kn_acc'}
+2024-05-30 00:05:57,308 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 00:05:57,308 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1171, 'value': 0.2575039494470774}
+2024-05-30 00:05:57,371 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 00:05:57,988 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 00:05:57,988 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:58,110 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 00:05:58,110 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:58,231 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 00:05:58,231 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:58,352 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 00:05:58,353 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 00:05:58,353 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 00:05:58,475 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 00:05:58,475 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_kn_acc_norm'}
+2024-05-30 00:05:58,537 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 00:05:58,537 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1172, 'value': 0.2967727375310314}
+2024-05-30 00:05:58,598 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  38%|████████████████████████████████████████▉                                                                   | 47/124 [17:18:27<80:54:54, 3783.05s/it]['hellaswag_ml']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 00:05:59,242 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 00:05:59,242 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:59,370 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 00:05:59,370 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:59,497 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 00:05:59,497 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 00:05:59,624 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 00:05:59,625 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 00:05:59,625 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ml'}
+2024-05-30 00:05:59,753 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ml task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:07,  7.46s/ examples]
+
Generating validation split: 1963 examples [00:07, 367.45 examples/s]
+
Generating validation split: 3356 examples [00:07, 720.73 examples/s]
+
Generating validation split: 5000 examples [00:07, 1280.17 examples/s]
+
Generating validation split: 7000 examples [00:07, 2161.52 examples/s]
+
Generating validation split: 8933 examples [00:08, 3212.55 examples/s]
Generating validation split: 8933 examples [00:08, 1109.05 examples/s]
+Loaded 8933 examples
+Running loglikelihood requests
+
+
hellaswag_ml:   0%|                                                                                                                          | 0/280 [00:00<?, ?it/s]
+
hellaswag_ml:   0%|▍                                                                                                               | 1/280 [00:21<1:39:57, 21.50s/it]
+
hellaswag_ml:   1%|▊                                                                                                               | 2/280 [00:41<1:34:34, 20.41s/it]
+
hellaswag_ml:   1%|█▏                                                                                                              | 3/280 [01:01<1:34:32, 20.48s/it]
+
hellaswag_ml:   1%|█▌                                                                                                              | 4/280 [01:20<1:31:52, 19.97s/it]
+
hellaswag_ml:   2%|██                                                                                                              | 5/280 [01:40<1:30:39, 19.78s/it]
+
hellaswag_ml:   2%|██▍                                                                                                             | 6/280 [01:59<1:29:22, 19.57s/it]
+
hellaswag_ml:   2%|██▊                                                                                                             | 7/280 [02:19<1:29:33, 19.68s/it]
+
hellaswag_ml:   3%|███▏                                                                                                            | 8/280 [02:37<1:27:07, 19.22s/it]
+
hellaswag_ml:   3%|███▌                                                                                                            | 9/280 [02:55<1:25:08, 18.85s/it]
+
hellaswag_ml:   4%|███▉                                                                                                           | 10/280 [03:13<1:23:58, 18.66s/it]
+
hellaswag_ml:   4%|████▎                                                                                                          | 11/280 [03:35<1:27:39, 19.55s/it]
+
hellaswag_ml:   4%|████▊                                                                                                          | 12/280 [03:55<1:28:09, 19.74s/it]
+
hellaswag_ml:   5%|█████▏                                                                                                         | 13/280 [04:15<1:28:34, 19.90s/it]
+
hellaswag_ml:   5%|█████▌                                                                                                         | 14/280 [04:36<1:28:37, 19.99s/it]
+
hellaswag_ml:   5%|█████▉                                                                                                         | 15/280 [04:54<1:26:33, 19.60s/it]
+
hellaswag_ml:   6%|██████▎                                                                                                        | 16/280 [05:15<1:27:07, 19.80s/it]
+
hellaswag_ml:   6%|██████▋                                                                                                        | 17/280 [05:34<1:26:46, 19.80s/it]
+
hellaswag_ml:   6%|███████▏                                                                                                       | 18/280 [05:54<1:26:37, 19.84s/it]
+
hellaswag_ml:   7%|███████▌                                                                                                       | 19/280 [06:14<1:26:31, 19.89s/it]
+
hellaswag_ml:   7%|███████▉                                                                                                       | 20/280 [06:35<1:26:41, 20.01s/it]
+
hellaswag_ml:   8%|████████▎                                                                                                      | 21/280 [06:53<1:24:53, 19.67s/it]
+
hellaswag_ml:   8%|████████▋                                                                                                      | 22/280 [07:15<1:26:35, 20.14s/it]
+
hellaswag_ml:   8%|█████████                                                                                                      | 23/280 [07:37<1:29:26, 20.88s/it]
+
hellaswag_ml:   9%|█████████▌                                                                                                     | 24/280 [07:57<1:27:05, 20.41s/it]
+
hellaswag_ml:   9%|█████████▉                                                                                                     | 25/280 [08:16<1:25:46, 20.18s/it]
+
hellaswag_ml:   9%|██████████▎                                                                                                    | 26/280 [08:35<1:23:38, 19.76s/it]
+
hellaswag_ml:  10%|██████████▋                                                                                                    | 27/280 [08:55<1:24:00, 19.92s/it]
+
hellaswag_ml:  10%|███████████                                                                                                    | 28/280 [09:17<1:25:50, 20.44s/it]
+
hellaswag_ml:  10%|███████████▍                                                                                                   | 29/280 [09:34<1:21:44, 19.54s/it]
+
hellaswag_ml:  11%|███████████▉                                                                                                   | 30/280 [09:55<1:22:05, 19.70s/it]
+
hellaswag_ml:  11%|████████████▎                                                                                                  | 31/280 [10:15<1:23:08, 20.03s/it]
+
hellaswag_ml:  11%|████████████▋                                                                                                  | 32/280 [10:36<1:23:13, 20.13s/it]
+
hellaswag_ml:  12%|█████████████                                                                                                  | 33/280 [10:56<1:22:42, 20.09s/it]
+
hellaswag_ml:  12%|█████████████▍                                                                                                 | 34/280 [11:16<1:22:45, 20.18s/it]
+
hellaswag_ml:  12%|█████████████▉                                                                                                 | 35/280 [11:38<1:24:03, 20.59s/it]
+
hellaswag_ml:  13%|██████████████▎                                                                                                | 36/280 [11:56<1:20:43, 19.85s/it]
+
hellaswag_ml:  13%|██████████████▋                                                                                                | 37/280 [12:19<1:23:54, 20.72s/it]
+
hellaswag_ml:  14%|███████████████                                                                                                | 38/280 [12:38<1:22:36, 20.48s/it]
+
hellaswag_ml:  14%|███████████████▍                                                                                               | 39/280 [12:59<1:21:56, 20.40s/it]
+
hellaswag_ml:  14%|███████████████▊                                                                                               | 40/280 [13:17<1:19:30, 19.88s/it]
+
hellaswag_ml:  15%|████████████████▎                                                                                              | 41/280 [13:36<1:18:16, 19.65s/it]
+
hellaswag_ml:  15%|████████████████▋                                                                                              | 42/280 [13:55<1:16:37, 19.32s/it]
+
hellaswag_ml:  15%|█████████████████                                                                                              | 43/280 [14:15<1:17:30, 19.62s/it]
+
hellaswag_ml:  16%|█████████████████▍                                                                                             | 44/280 [14:35<1:16:59, 19.58s/it]
+
hellaswag_ml:  16%|█████████████████▊                                                                                             | 45/280 [14:54<1:16:36, 19.56s/it]
+
hellaswag_ml:  16%|██████████████████▏                                                                                            | 46/280 [15:14<1:16:50, 19.70s/it]
+
hellaswag_ml:  17%|██████████████████▋                                                                                            | 47/280 [15:34<1:15:56, 19.55s/it]
+
hellaswag_ml:  17%|███████████████████                                                                                            | 48/280 [15:52<1:14:09, 19.18s/it]
+
hellaswag_ml:  18%|███████████████████▍                                                                                           | 49/280 [16:11<1:13:41, 19.14s/it]
+
hellaswag_ml:  18%|███████████████████▊                                                                                           | 50/280 [16:29<1:12:12, 18.84s/it]
+
hellaswag_ml:  18%|████████████████████▏                                                                                          | 51/280 [16:50<1:14:16, 19.46s/it]
+
hellaswag_ml:  19%|████████████████████▌                                                                                          | 52/280 [17:10<1:14:59, 19.74s/it]
+
hellaswag_ml:  19%|█████████████████████                                                                                          | 53/280 [17:30<1:15:09, 19.86s/it]
+
hellaswag_ml:  19%|█████████████████████▍                                                                                         | 54/280 [17:51<1:15:54, 20.15s/it]
+
hellaswag_ml:  20%|█████████████████████▊                                                                                         | 55/280 [18:10<1:13:48, 19.68s/it]
+
hellaswag_ml:  20%|██████████████████████▏                                                                                        | 56/280 [18:29<1:13:02, 19.56s/it]
+
hellaswag_ml:  20%|██████████████████████▌                                                                                        | 57/280 [18:49<1:12:35, 19.53s/it]
+
hellaswag_ml:  21%|██████████████████████▉                                                                                        | 58/280 [19:08<1:11:33, 19.34s/it]
+
hellaswag_ml:  21%|███████████████████████▍                                                                                       | 59/280 [19:26<1:10:42, 19.20s/it]
+
hellaswag_ml:  21%|███████████████████████▊                                                                                       | 60/280 [19:48<1:12:44, 19.84s/it]
+
hellaswag_ml:  22%|████████████████████████▏                                                                                      | 61/280 [20:08<1:12:22, 19.83s/it]
+
hellaswag_ml:  22%|████████████████████████▌                                                                                      | 62/280 [20:28<1:12:33, 19.97s/it]
+
hellaswag_ml:  22%|████████████████████████▉                                                                                      | 63/280 [20:48<1:12:58, 20.18s/it]
+
hellaswag_ml:  23%|█████████████████████████▎                                                                                     | 64/280 [21:09<1:13:09, 20.32s/it]
+
hellaswag_ml:  23%|█████████████████████████▊                                                                                     | 65/280 [21:29<1:12:19, 20.19s/it]
+
hellaswag_ml:  24%|██████████████████████████▏                                                                                    | 66/280 [21:46<1:08:29, 19.20s/it]
+
hellaswag_ml:  24%|██████████████████████████▌                                                                                    | 67/280 [22:07<1:10:01, 19.72s/it]
+
hellaswag_ml:  24%|██████████████████████████▉                                                                                    | 68/280 [22:27<1:09:47, 19.75s/it]
+
hellaswag_ml:  25%|███████████████████████████▎                                                                                   | 69/280 [22:48<1:11:24, 20.30s/it]
+
hellaswag_ml:  25%|███████████████████████████▊                                                                                   | 70/280 [23:07<1:09:01, 19.72s/it]
+
hellaswag_ml:  25%|████████████████████████████▏                                                                                  | 71/280 [23:26<1:08:19, 19.62s/it]
+
hellaswag_ml:  26%|████████████████████████████▌                                                                                  | 72/280 [23:46<1:08:06, 19.65s/it]
+
hellaswag_ml:  26%|████████████████████████████▉                                                                                  | 73/280 [24:04<1:06:04, 19.15s/it]
+
hellaswag_ml:  26%|█████████████████████████████▎                                                                                 | 74/280 [24:24<1:06:39, 19.41s/it]
+
hellaswag_ml:  27%|█████████████████████████████▋                                                                                 | 75/280 [24:45<1:07:50, 19.85s/it]
+
hellaswag_ml:  27%|██████████████████████████████▏                                                                                | 76/280 [25:05<1:08:16, 20.08s/it]
+
hellaswag_ml:  28%|██████████████████████████████▌                                                                                | 77/280 [25:25<1:07:16, 19.89s/it]
+
hellaswag_ml:  28%|██████████████████████████████▉                                                                                | 78/280 [25:46<1:08:33, 20.36s/it]
+
hellaswag_ml:  28%|███████████████████████████████▎                                                                               | 79/280 [26:06<1:07:37, 20.19s/it]
+
hellaswag_ml:  29%|███████████████████████████████▋                                                                               | 80/280 [26:28<1:09:10, 20.75s/it]
+
hellaswag_ml:  29%|████████████████████████████████                                                                               | 81/280 [26:47<1:07:20, 20.30s/it]
+
hellaswag_ml:  29%|████████████████████████████████▌                                                                              | 82/280 [27:07<1:06:43, 20.22s/it]
+
hellaswag_ml:  30%|████████████████████████████████▉                                                                              | 83/280 [27:26<1:04:53, 19.76s/it]
+
hellaswag_ml:  30%|█████████████████████████████████▎                                                                             | 84/280 [27:45<1:03:34, 19.46s/it]
+
hellaswag_ml:  30%|█████████████████████████████████▋                                                                             | 85/280 [28:02<1:01:06, 18.80s/it]
+
hellaswag_ml:  31%|██████████████████████████████████                                                                             | 86/280 [28:23<1:02:37, 19.37s/it]
+
hellaswag_ml:  31%|██████████████████████████████████▍                                                                            | 87/280 [28:44<1:04:00, 19.90s/it]
+
hellaswag_ml:  31%|██████████████████████████████████▉                                                                            | 88/280 [29:03<1:03:09, 19.74s/it]
+
hellaswag_ml:  32%|███████████████████████████████████▎                                                                           | 89/280 [29:22<1:01:59, 19.47s/it]
+
hellaswag_ml:  32%|███████████████████████████████████▋                                                                           | 90/280 [29:41<1:01:13, 19.33s/it]
+
hellaswag_ml:  32%|████████████████████████████████████                                                                           | 91/280 [30:01<1:01:23, 19.49s/it]
+
hellaswag_ml:  33%|████████████████████████████████████▍                                                                          | 92/280 [30:21<1:01:53, 19.75s/it]
+
hellaswag_ml:  33%|████████████████████████████████████▊                                                                          | 93/280 [30:42<1:02:32, 20.07s/it]
+
hellaswag_ml:  34%|█████████████████████████████████████▎                                                                         | 94/280 [31:03<1:03:00, 20.33s/it]
+
hellaswag_ml:  34%|█████████████████████████████████████▋                                                                         | 95/280 [31:23<1:02:01, 20.11s/it]
+
hellaswag_ml:  34%|██████████████████████████████████████                                                                         | 96/280 [31:43<1:02:14, 20.30s/it]
+
hellaswag_ml:  35%|██████████████████████████████████████▍                                                                        | 97/280 [32:04<1:02:34, 20.52s/it]
+
hellaswag_ml:  35%|██████████████████████████████████████▊                                                                        | 98/280 [32:26<1:03:05, 20.80s/it]
+
hellaswag_ml:  35%|███████████████████████████████████████▏                                                                       | 99/280 [32:44<1:00:45, 20.14s/it]
+
hellaswag_ml:  36%|████████████████████████████████████████                                                                        | 100/280 [33:03<58:41, 19.56s/it]
+
hellaswag_ml:  36%|████████████████████████████████████████▍                                                                       | 101/280 [33:22<58:21, 19.56s/it]
+
hellaswag_ml:  36%|████████████████████████████████████████▊                                                                       | 102/280 [33:41<57:35, 19.41s/it]
+
hellaswag_ml:  37%|█████████████████████████████████████████▏                                                                      | 103/280 [34:02<58:27, 19.82s/it]
+
hellaswag_ml:  37%|█████████████████████████████████████████▌                                                                      | 104/280 [34:21<57:43, 19.68s/it]
+
hellaswag_ml:  38%|██████████████████████████████████████████                                                                      | 105/280 [34:42<58:21, 20.01s/it]
+
hellaswag_ml:  38%|██████████████████████████████████████████▍                                                                     | 106/280 [35:02<58:08, 20.05s/it]
+
hellaswag_ml:  38%|██████████████████████████████████████████▊                                                                     | 107/280 [35:23<58:18, 20.22s/it]
+
hellaswag_ml:  39%|███████████████████████████████████████████▏                                                                    | 108/280 [35:43<57:26, 20.04s/it]
+
hellaswag_ml:  39%|███████████████████████████████████████████▌                                                                    | 109/280 [36:05<59:28, 20.87s/it]
+
hellaswag_ml:  39%|████████████████████████████████████████████                                                                    | 110/280 [36:25<58:18, 20.58s/it]
+
hellaswag_ml:  40%|████████████████████████████████████████████▍                                                                   | 111/280 [36:43<55:54, 19.85s/it]
+
hellaswag_ml:  40%|████████████████████████████████████████████▊                                                                   | 112/280 [37:04<56:03, 20.02s/it]
+
hellaswag_ml:  40%|█████████████████████████████████████████████▏                                                                  | 113/280 [37:24<55:32, 19.95s/it]
+
hellaswag_ml:  41%|█████████████████████████████████████████████▌                                                                  | 114/280 [37:43<54:44, 19.79s/it]
+
hellaswag_ml:  41%|██████████████████████████████████████████████                                                                  | 115/280 [38:04<55:24, 20.15s/it]
+
hellaswag_ml:  41%|██████████████████████████████████████████████▍                                                                 | 116/280 [38:24<55:12, 20.20s/it]
+
hellaswag_ml:  42%|██████████████████████████████████████████████▊                                                                 | 117/280 [38:43<53:52, 19.83s/it]
+
hellaswag_ml:  42%|███████████████████████████████████████████████▏                                                                | 118/280 [39:04<54:05, 20.03s/it]
+
hellaswag_ml:  42%|███████████████████████████████████████████████▌                                                                | 119/280 [39:24<53:43, 20.02s/it]
+
hellaswag_ml:  43%|████████████████████████████████████████████████                                                                | 120/280 [39:44<53:41, 20.13s/it]
+
hellaswag_ml:  43%|████████████████████████████████████████████████▍                                                               | 121/280 [40:05<54:10, 20.44s/it]
+
hellaswag_ml:  44%|████████████████████████████████████████████████▊                                                               | 122/280 [40:25<53:05, 20.16s/it]
+
hellaswag_ml:  44%|█████████████████████████████████████████████████▏                                                              | 123/280 [40:44<52:09, 19.93s/it]
+
hellaswag_ml:  44%|█████████████████████████████████████████████████▌                                                              | 124/280 [41:04<51:18, 19.74s/it]
+
hellaswag_ml:  45%|██████████████████████████████████████████████████                                                              | 125/280 [41:23<50:45, 19.65s/it]
+
hellaswag_ml:  45%|██████████████████████████████████████████████████▍                                                             | 126/280 [41:43<50:36, 19.72s/it]
+
hellaswag_ml:  45%|██████████████████████████████████████████████████▊                                                             | 127/280 [42:01<49:26, 19.39s/it]
+
hellaswag_ml:  46%|███████████████████████████████████████████████████▏                                                            | 128/280 [42:20<48:33, 19.17s/it]
+
hellaswag_ml:  46%|███████████████████████████████████████████████████▌                                                            | 129/280 [42:39<47:39, 18.94s/it]
+
hellaswag_ml:  46%|████████████████████████████████████████████████████                                                            | 130/280 [42:59<48:13, 19.29s/it]
+
hellaswag_ml:  47%|████████████████████████████████████████████████████▍                                                           | 131/280 [43:18<47:59, 19.32s/it]
+
hellaswag_ml:  47%|████████████████████████████████████████████████████▊                                                           | 132/280 [43:37<47:25, 19.23s/it]
+
hellaswag_ml:  48%|█████████████████████████████████████████████████████▏                                                          | 133/280 [43:56<47:10, 19.26s/it]
+
hellaswag_ml:  48%|█████████████████████████████████████████████████████▌                                                          | 134/280 [44:17<47:50, 19.66s/it]
+
hellaswag_ml:  48%|██████████████████████████████████████████████████████                                                          | 135/280 [44:36<46:50, 19.38s/it]
+
hellaswag_ml:  49%|██████████████████████████████████████████████████████▍                                                         | 136/280 [44:56<47:24, 19.75s/it]
+
hellaswag_ml:  49%|██████████████████████████████████████████████████████▊                                                         | 137/280 [45:17<47:23, 19.88s/it]
+
hellaswag_ml:  49%|███████████████████████████████████████████████████████▏                                                        | 138/280 [45:35<46:03, 19.46s/it]
+
hellaswag_ml:  50%|███████████████████████████████████████████████████████▌                                                        | 139/280 [45:56<46:44, 19.89s/it]
+
hellaswag_ml:  50%|████████████████████████████████████████████████████████                                                        | 140/280 [46:14<45:24, 19.46s/it]
+
hellaswag_ml:  50%|████████████████████████████████████████████████████████▍                                                       | 141/280 [46:36<46:30, 20.07s/it]
+
hellaswag_ml:  51%|████████████████████████████████████████████████████████▊                                                       | 142/280 [46:55<45:31, 19.80s/it]
+
hellaswag_ml:  51%|█████████████████████████████████████████████████████████▏                                                      | 143/280 [47:14<44:48, 19.62s/it]
+
hellaswag_ml:  51%|█████████████████████████████████████████████████████████▌                                                      | 144/280 [47:35<45:25, 20.04s/it]
+
hellaswag_ml:  52%|██████████████████████████████████████████████████████████                                                      | 145/280 [47:55<44:38, 19.84s/it]
+
hellaswag_ml:  52%|██████████████████████████████████████████████████████████▍                                                     | 146/280 [48:13<43:06, 19.30s/it]
+
hellaswag_ml:  52%|██████████████████████████████████████████████████████████▊                                                     | 147/280 [48:31<42:15, 19.07s/it]
+
hellaswag_ml:  53%|███████████████████████████████████████████████████████████▏                                                    | 148/280 [48:49<40:53, 18.59s/it]
+
hellaswag_ml:  53%|███████████████████████████████████████████████████████████▌                                                    | 149/280 [49:09<41:39, 19.08s/it]
+
hellaswag_ml:  54%|████████████████████████████████████████████████████████████                                                    | 150/280 [49:29<41:49, 19.30s/it]
+
hellaswag_ml:  54%|████████████████████████████████████████████████████████████▍                                                   | 151/280 [49:49<42:18, 19.68s/it]
+
hellaswag_ml:  54%|████████████████████████████████████████████████████████████▊                                                   | 152/280 [50:08<41:37, 19.51s/it]
+
hellaswag_ml:  55%|█████████████████████████████████████████████████████████████▏                                                  | 153/280 [50:27<40:55, 19.33s/it]
+
hellaswag_ml:  55%|█████████████████████████████████████████████████████████████▌                                                  | 154/280 [50:46<40:29, 19.28s/it]
+
hellaswag_ml:  55%|██████████████████████████████████████████████████████████████                                                  | 155/280 [51:06<40:32, 19.46s/it]
+
hellaswag_ml:  56%|██████████████████████████████████████████████████████████████▍                                                 | 156/280 [51:26<40:35, 19.64s/it]
+
hellaswag_ml:  56%|██████████████████████████████████████████████████████████████▊                                                 | 157/280 [51:47<40:50, 19.92s/it]
+
hellaswag_ml:  56%|███████████████████████████████████████████████████████████████▏                                                | 158/280 [52:04<38:48, 19.09s/it]
+
hellaswag_ml:  57%|███████████████████████████████████████████████████████████████▌                                                | 159/280 [52:24<38:55, 19.30s/it]
+
hellaswag_ml:  57%|████████████████████████████████████████████████████████████████                                                | 160/280 [52:43<38:43, 19.36s/it]
+
hellaswag_ml:  57%|████████████████████████████████████████████████████████████████▍                                               | 161/280 [53:05<39:58, 20.16s/it]
+
hellaswag_ml:  58%|████████████████████████████████████████████████████████████████▊                                               | 162/280 [53:27<40:15, 20.47s/it]
+
hellaswag_ml:  58%|█████████████████████████████████████████████████████████████████▏                                              | 163/280 [53:46<39:12, 20.11s/it]
+
hellaswag_ml:  59%|█████████████████████████████████████████████████████████████████▌                                              | 164/280 [54:06<39:07, 20.24s/it]
+
hellaswag_ml:  59%|██████████████████████████████████████████████████████████████████                                              | 165/280 [54:25<37:55, 19.79s/it]
+
hellaswag_ml:  59%|██████████████████████████████████████████████████████████████████▍                                             | 166/280 [54:44<37:18, 19.63s/it]
+
hellaswag_ml:  60%|██████████████████████████████████████████████████████████████████▊                                             | 167/280 [55:04<36:43, 19.50s/it]
+
hellaswag_ml:  60%|███████████████████████████████████████████████████████████████████▏                                            | 168/280 [55:23<36:07, 19.35s/it]
+
hellaswag_ml:  60%|███████████████████████████████████████████████████████████████████▌                                            | 169/280 [55:43<36:34, 19.77s/it]
+
hellaswag_ml:  61%|████████████████████████████████████████████████████████████████████                                            | 170/280 [56:03<35:56, 19.61s/it]
+
hellaswag_ml:  61%|████████████████████████████████████████████████████████████████████▍                                           | 171/280 [56:22<35:29, 19.53s/it]
+
hellaswag_ml:  61%|████████████████████████████████████████████████████████████████████▊                                           | 172/280 [56:40<34:24, 19.11s/it]
+
hellaswag_ml:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 173/280 [57:01<35:04, 19.67s/it]
+
hellaswag_ml:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 174/280 [57:20<34:13, 19.37s/it]
+
hellaswag_ml:  62%|██████████████████████████████████████████████████████████████████████                                          | 175/280 [57:40<34:33, 19.75s/it]
+
hellaswag_ml:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 176/280 [57:59<33:48, 19.50s/it]
+
hellaswag_ml:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 177/280 [58:22<34:57, 20.36s/it]
+
hellaswag_ml:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 178/280 [58:43<35:06, 20.65s/it]
+
hellaswag_ml:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 179/280 [59:02<34:05, 20.25s/it]
+
hellaswag_ml:  64%|████████████████████████████████████████████████████████████████████████                                        | 180/280 [59:21<33:07, 19.87s/it]
+
hellaswag_ml:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 181/280 [59:40<32:16, 19.56s/it]
+
hellaswag_ml:  65%|███████████████████████████████████████████████████████████████████████▌                                      | 182/280 [1:00:00<32:19, 19.79s/it]
+
hellaswag_ml:  65%|███████████████████████████████████████████████████████████████████████▉                                      | 183/280 [1:00:19<31:15, 19.34s/it]
+
hellaswag_ml:  66%|████████████████████████████████████████████████████████████████████████▎                                     | 184/280 [1:00:41<32:22, 20.23s/it]
+
hellaswag_ml:  66%|████████████████████████████████████████████████████████████████████████▋                                     | 185/280 [1:01:01<32:08, 20.30s/it]
+
hellaswag_ml:  66%|█████████████████████████████████████████████████████████████████████████                                     | 186/280 [1:01:23<32:17, 20.62s/it]
+
hellaswag_ml:  67%|█████████████████████████████████████████████████████████████████████████▍                                    | 187/280 [1:01:41<30:39, 19.78s/it]
+
hellaswag_ml:  67%|█████████████████████████████████████████████████████████████████████████▊                                    | 188/280 [1:02:00<29:56, 19.53s/it]
+
hellaswag_ml:  68%|██████████████████████████████████████████████████████████████████████████▎                                   | 189/280 [1:02:20<30:03, 19.82s/it]
+
hellaswag_ml:  68%|██████████████████████████████████████████████████████████████████████████▋                                   | 190/280 [1:02:38<28:49, 19.21s/it]
+
hellaswag_ml:  68%|███████████████████████████████████████████████████████████████████████████                                   | 191/280 [1:02:57<28:30, 19.22s/it]
+
hellaswag_ml:  69%|███████████████████████████████████████████████████████████████████████████▍                                  | 192/280 [1:03:17<28:21, 19.33s/it]
+
hellaswag_ml:  69%|███████████████████████████████████████████████████████████████████████████▊                                  | 193/280 [1:03:39<29:05, 20.06s/it]
+
hellaswag_ml:  69%|████████████████████████████████████████████████████████████████████████████▏                                 | 194/280 [1:03:59<28:47, 20.09s/it]
+
hellaswag_ml:  70%|████████████████████████████████████████████████████████████████████████████▌                                 | 195/280 [1:04:19<28:33, 20.16s/it]
+
hellaswag_ml:  70%|█████████████████████████████████████████████████████████████████████████████                                 | 196/280 [1:04:38<27:40, 19.76s/it]
+
hellaswag_ml:  70%|█████████████████████████████████████████████████████████████████████████████▍                                | 197/280 [1:04:58<27:28, 19.86s/it]
+
hellaswag_ml:  71%|█████████████████████████████████████████████████████████████████████████████▊                                | 198/280 [1:05:18<27:03, 19.80s/it]
+
hellaswag_ml:  71%|██████████████████████████████████████████████████████████████████████████████▏                               | 199/280 [1:05:40<27:45, 20.56s/it]
+
hellaswag_ml:  71%|██████████████████████████████████████████████████████████████████████████████▌                               | 200/280 [1:05:59<26:42, 20.03s/it]
+
hellaswag_ml:  72%|██████████████████████████████████████████████████████████████████████████████▉                               | 201/280 [1:06:19<26:30, 20.13s/it]
+
hellaswag_ml:  72%|███████████████████████████████████████████████████████████████████████████████▎                              | 202/280 [1:06:39<26:12, 20.15s/it]
+
hellaswag_ml:  72%|███████████████████████████████████████████████████████████████████████████████▊                              | 203/280 [1:07:01<26:19, 20.51s/it]
+
hellaswag_ml:  73%|████████████████████████████████████████████████████████████████████████████████▏                             | 204/280 [1:07:20<25:41, 20.28s/it]
+
hellaswag_ml:  73%|████████████████████████████████████████████████████████████████████████████████▌                             | 205/280 [1:07:41<25:31, 20.41s/it]
+
hellaswag_ml:  74%|████████████████████████████████████████████████████████████████████████████████▉                             | 206/280 [1:08:00<24:38, 19.98s/it]
+
hellaswag_ml:  74%|█████████████████████████████████████████████████████████████████████████████████▎                            | 207/280 [1:08:21<24:39, 20.27s/it]
+
hellaswag_ml:  74%|█████████████████████████████████████████████████████████████████████████████████▋                            | 208/280 [1:08:40<23:52, 19.90s/it]
+
hellaswag_ml:  75%|██████████████████████████████████████████████████████████████████████████████████                            | 209/280 [1:08:59<23:02, 19.48s/it]
+
hellaswag_ml:  75%|██████████████████████████████████████████████████████████████████████████████████▌                           | 210/280 [1:09:19<22:58, 19.69s/it]
+
hellaswag_ml:  75%|██████████████████████████████████████████████████████████████████████████████████▉                           | 211/280 [1:09:38<22:36, 19.66s/it]
+
hellaswag_ml:  76%|███████████████████████████████████████████████████████████████████████████████████▎                          | 212/280 [1:09:58<22:22, 19.74s/it]
+
hellaswag_ml:  76%|███████████████████████████████████████████████████████████████████████████████████▋                          | 213/280 [1:10:19<22:20, 20.01s/it]
+
hellaswag_ml:  76%|████████████████████████████████████████████████████████████████████████████████████                          | 214/280 [1:10:39<21:53, 19.90s/it]
+
hellaswag_ml:  77%|████████████████████████████████████████████████████████████████████████████████████▍                         | 215/280 [1:10:59<21:48, 20.14s/it]
+
hellaswag_ml:  77%|████████████████████████████████████████████████████████████████████████████████████▊                         | 216/280 [1:11:18<21:11, 19.87s/it]
+
hellaswag_ml:  78%|█████████████████████████████████████████████████████████████████████████████████████▎                        | 217/280 [1:11:38<20:52, 19.88s/it]
+
hellaswag_ml:  78%|█████████████████████████████████████████████████████████████████████████████████████▋                        | 218/280 [1:12:00<20:58, 20.30s/it]
+
hellaswag_ml:  78%|██████████████████████████████████████████████████████████████████████████████████████                        | 219/280 [1:12:18<20:09, 19.83s/it]
+
hellaswag_ml:  79%|██████████████████████████████████████████████████████████████████████████████████████▍                       | 220/280 [1:12:38<19:42, 19.70s/it]
+
hellaswag_ml:  79%|██████████████████████████████████████████████████████████████████████████████████████▊                       | 221/280 [1:12:58<19:38, 19.98s/it]
+
hellaswag_ml:  79%|███████████████████████████████████████████████████████████████████████████████████████▏                      | 222/280 [1:13:18<19:07, 19.79s/it]
+
hellaswag_ml:  80%|███████████████████████████████████████████████████████████████████████████████████████▌                      | 223/280 [1:13:39<19:10, 20.18s/it]
+
hellaswag_ml:  80%|████████████████████████████████████████████████████████████████████████████████████████                      | 224/280 [1:13:59<18:42, 20.04s/it]
+
hellaswag_ml:  80%|████████████████████████████████████████████████████████████████████████████████████████▍                     | 225/280 [1:14:21<18:58, 20.70s/it]
+
hellaswag_ml:  81%|████████████████████████████████████████████████████████████████████████████████████████▊                     | 226/280 [1:14:39<17:51, 19.84s/it]
+
hellaswag_ml:  81%|█████████████████████████████████████████████████████████████████████████████████████████▏                    | 227/280 [1:14:57<17:08, 19.41s/it]
+
hellaswag_ml:  81%|█████████████████████████████████████████████████████████████████████████████████████████▌                    | 228/280 [1:15:18<17:06, 19.75s/it]
+
hellaswag_ml:  82%|█████████████████████████████████████████████████████████████████████████████████████████▉                    | 229/280 [1:15:37<16:46, 19.74s/it]
+
hellaswag_ml:  82%|██████████████████████████████████████████████████████████████████████████████████████████▎                   | 230/280 [1:15:56<16:13, 19.47s/it]
+
hellaswag_ml:  82%|██████████████████████████████████████████████████████████████████████████████████████████▊                   | 231/280 [1:16:17<16:16, 19.93s/it]
+
hellaswag_ml:  83%|███████████████████████████████████████████████████████████████████████████████████████████▏                  | 232/280 [1:16:38<16:11, 20.24s/it]
+
hellaswag_ml:  83%|███████████████████████████████████████████████████████████████████████████████████████████▌                  | 233/280 [1:16:58<15:48, 20.18s/it]
+
hellaswag_ml:  84%|███████████████████████████████████████████████████████████████████████████████████████████▉                  | 234/280 [1:17:17<15:08, 19.75s/it]
+
hellaswag_ml:  84%|████████████████████████████████████████████████████████████████████████████████████████████▎                 | 235/280 [1:17:37<14:48, 19.75s/it]
+
hellaswag_ml:  84%|████████████████████████████████████████████████████████████████████████████████████████████▋                 | 236/280 [1:17:56<14:18, 19.52s/it]
+
hellaswag_ml:  85%|█████████████████████████████████████████████████████████████████████████████████████████████                 | 237/280 [1:18:14<13:43, 19.15s/it]
+
hellaswag_ml:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▌                | 238/280 [1:18:33<13:25, 19.18s/it]
+
hellaswag_ml:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▉                | 239/280 [1:18:55<13:42, 20.05s/it]
+
hellaswag_ml:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▎               | 240/280 [1:19:15<13:23, 20.09s/it]
+
hellaswag_ml:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▋               | 241/280 [1:19:35<13:02, 20.06s/it]
+
hellaswag_ml:  86%|███████████████████████████████████████████████████████████████████████████████████████████████               | 242/280 [1:19:55<12:33, 19.84s/it]
+
hellaswag_ml:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▍              | 243/280 [1:20:13<11:58, 19.42s/it]
+
hellaswag_ml:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▊              | 244/280 [1:20:33<11:47, 19.67s/it]
+
hellaswag_ml:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▎             | 245/280 [1:20:54<11:40, 20.01s/it]
+
hellaswag_ml:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▋             | 246/280 [1:21:14<11:15, 19.87s/it]
+
hellaswag_ml:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████             | 247/280 [1:21:33<10:47, 19.63s/it]
+
hellaswag_ml:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍            | 248/280 [1:21:54<10:38, 19.95s/it]
+
hellaswag_ml:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊            | 249/280 [1:22:14<10:23, 20.11s/it]
+
hellaswag_ml:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏           | 250/280 [1:22:34<10:01, 20.05s/it]
+
hellaswag_ml:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌           | 251/280 [1:22:53<09:35, 19.86s/it]
+
hellaswag_ml:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████           | 252/280 [1:23:14<09:23, 20.14s/it]
+
hellaswag_ml:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍          | 253/280 [1:23:35<09:08, 20.32s/it]
+
hellaswag_ml:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊          | 254/280 [1:23:54<08:39, 19.99s/it]
+
hellaswag_ml:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 255/280 [1:24:14<08:15, 19.83s/it]
+
hellaswag_ml:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 256/280 [1:24:33<07:56, 19.84s/it]
+
hellaswag_ml:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 257/280 [1:24:53<07:35, 19.82s/it]
+
hellaswag_ml:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 258/280 [1:25:12<07:06, 19.40s/it]
+
hellaswag_ml:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 259/280 [1:25:33<07:02, 20.11s/it]
+
hellaswag_ml:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 260/280 [1:25:55<06:49, 20.47s/it]
+
hellaswag_ml:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 261/280 [1:26:14<06:22, 20.14s/it]
+
hellaswag_ml:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 262/280 [1:26:35<06:08, 20.45s/it]
+
hellaswag_ml:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 263/280 [1:26:55<05:46, 20.38s/it]
+
hellaswag_ml:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 264/280 [1:27:15<05:23, 20.22s/it]
+
hellaswag_ml:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████      | 265/280 [1:27:35<04:59, 19.97s/it]
+
hellaswag_ml:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 266/280 [1:27:55<04:40, 20.06s/it]
+
hellaswag_ml:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 267/280 [1:28:15<04:19, 19.93s/it]
+
hellaswag_ml:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 268/280 [1:28:34<03:56, 19.75s/it]
+
hellaswag_ml:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 269/280 [1:28:53<03:36, 19.69s/it]
+
hellaswag_ml:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████    | 270/280 [1:29:13<03:17, 19.74s/it]
+
hellaswag_ml:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 271/280 [1:29:34<03:00, 20.06s/it]
+
hellaswag_ml:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 272/280 [1:29:57<02:47, 20.89s/it]
+
hellaswag_ml:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 273/280 [1:30:19<02:27, 21.14s/it]
+
hellaswag_ml:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 274/280 [1:30:38<02:02, 20.47s/it]
+
hellaswag_ml:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 275/280 [1:31:00<01:45, 21.05s/it]
+
hellaswag_ml:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 276/280 [1:31:21<01:23, 20.89s/it]
+
hellaswag_ml:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 277/280 [1:31:43<01:03, 21.22s/it]
+
hellaswag_ml:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 278/280 [1:32:04<00:42, 21.37s/it]
+
hellaswag_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 279/280 [1:32:25<00:21, 21.11s/it]
+
hellaswag_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 280/280 [1:32:30<00:00, 16.38s/it]
hellaswag_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 280/280 [1:32:30<00:00, 19.82s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ml_acc 0.25165118101421696
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ml_acc_norm 0.2932945259151461
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 01:38:40,969 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 01:38:40,969 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:41,096 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 01:38:41,097 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:41,223 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 01:38:41,224 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 01:38:41,351 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 01:38:41,480 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 01:38:41,480 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ml_acc'}
+2024-05-30 01:38:41,544 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 01:38:41,544 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1173, 'value': 0.25165118101421696}
+2024-05-30 01:38:41,609 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 01:38:42,243 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 01:38:42,243 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:42,367 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 01:38:42,367 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:42,491 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 01:38:42,491 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:42,615 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 01:38:42,616 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 01:38:42,616 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 01:38:42,741 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 01:38:42,741 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'hellaswag_ml_acc_norm'}
+2024-05-30 01:38:42,804 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 01:38:42,804 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1174, 'value': 0.2932945259151461}
+2024-05-30 01:38:42,867 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  39%|█████████████████████████████████████████▊                                                                  | 48/124 [18:51:12<91:08:43, 4317.41s/it]['hellaswag_mr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 01:38:43,476 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 01:38:43,476 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:43,596 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 01:38:43,596 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:43,715 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 01:38:43,715 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 01:38:43,835 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_mr'}
+2024-05-30 01:38:43,955 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_mr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:06,  6.13s/ examples]
+
Generating validation split: 2000 examples [00:06, 452.35 examples/s]
+
Generating validation split: 4000 examples [00:06, 1055.31 examples/s]
+
Generating validation split: 5727 examples [00:06, 1743.74 examples/s]
+
Generating validation split: 7198 examples [00:06, 2485.21 examples/s]
+
Generating validation split: 9000 examples [00:06, 3614.90 examples/s]
Generating validation split: 9279 examples [00:06, 1377.66 examples/s]
+Loaded 9279 examples
+Running loglikelihood requests
+
+
hellaswag_mr:   0%|                                                                                                                          | 0/290 [00:00<?, ?it/s]
+
hellaswag_mr:   0%|▍                                                                                                               | 1/290 [00:15<1:16:20, 15.85s/it]
+
hellaswag_mr:   1%|▊                                                                                                               | 2/290 [00:30<1:11:54, 14.98s/it]
+
hellaswag_mr:   1%|█▏                                                                                                              | 3/290 [00:45<1:12:11, 15.09s/it]
+
hellaswag_mr:   1%|█▌                                                                                                              | 4/290 [01:01<1:13:48, 15.49s/it]
+
hellaswag_mr:   2%|█▉                                                                                                              | 5/290 [01:16<1:12:06, 15.18s/it]
+
hellaswag_mr:   2%|██▎                                                                                                             | 6/290 [01:30<1:10:24, 14.87s/it]
+
hellaswag_mr:   2%|██▋                                                                                                             | 7/290 [01:43<1:08:01, 14.42s/it]
+
hellaswag_mr:   3%|███                                                                                                             | 8/290 [01:59<1:09:11, 14.72s/it]
+
hellaswag_mr:   3%|███▍                                                                                                            | 9/290 [02:14<1:09:59, 14.94s/it]
+
hellaswag_mr:   3%|███▊                                                                                                           | 10/290 [02:31<1:12:20, 15.50s/it]
+
hellaswag_mr:   4%|████▏                                                                                                          | 11/290 [02:45<1:09:56, 15.04s/it]
+
hellaswag_mr:   4%|████▌                                                                                                          | 12/290 [02:59<1:08:08, 14.71s/it]
+
hellaswag_mr:   4%|████▉                                                                                                          | 13/290 [03:14<1:08:01, 14.73s/it]
+
hellaswag_mr:   5%|█████▎                                                                                                         | 14/290 [03:29<1:08:12, 14.83s/it]
+
hellaswag_mr:   5%|█████▋                                                                                                         | 15/290 [03:43<1:07:13, 14.67s/it]
+
hellaswag_mr:   6%|██████                                                                                                         | 16/290 [03:58<1:07:11, 14.71s/it]
+
hellaswag_mr:   6%|██████▌                                                                                                        | 17/290 [04:14<1:08:32, 15.06s/it]
+
hellaswag_mr:   6%|██████▉                                                                                                        | 18/290 [04:29<1:07:56, 14.99s/it]
+
hellaswag_mr:   7%|███████▎                                                                                                       | 19/290 [04:44<1:07:37, 14.97s/it]
+
hellaswag_mr:   7%|███████▋                                                                                                       | 20/290 [04:58<1:07:19, 14.96s/it]
+
hellaswag_mr:   7%|████████                                                                                                       | 21/290 [05:14<1:08:18, 15.24s/it]
+
hellaswag_mr:   8%|████████▍                                                                                                      | 22/290 [05:30<1:08:57, 15.44s/it]
+
hellaswag_mr:   8%|████████▊                                                                                                      | 23/290 [05:46<1:08:54, 15.48s/it]
+
hellaswag_mr:   8%|█████████▏                                                                                                     | 24/290 [06:00<1:07:32, 15.24s/it]
+
hellaswag_mr:   9%|█████████▌                                                                                                     | 25/290 [06:16<1:07:29, 15.28s/it]
+
hellaswag_mr:   9%|█████████▉                                                                                                     | 26/290 [06:31<1:07:28, 15.34s/it]
+
hellaswag_mr:   9%|██████████▎                                                                                                    | 27/290 [06:46<1:06:29, 15.17s/it]
+
hellaswag_mr:  10%|██████████▋                                                                                                    | 28/290 [07:00<1:05:02, 14.89s/it]
+
hellaswag_mr:  10%|███████████                                                                                                    | 29/290 [07:15<1:04:43, 14.88s/it]
+
hellaswag_mr:  10%|███████████▍                                                                                                   | 30/290 [07:30<1:03:57, 14.76s/it]
+
hellaswag_mr:  11%|███████████▊                                                                                                   | 31/290 [07:45<1:04:42, 14.99s/it]
+
hellaswag_mr:  11%|████████████▏                                                                                                  | 32/290 [08:00<1:04:43, 15.05s/it]
+
hellaswag_mr:  11%|████████████▋                                                                                                  | 33/290 [08:15<1:03:52, 14.91s/it]
+
hellaswag_mr:  12%|█████████████                                                                                                  | 34/290 [08:29<1:03:04, 14.78s/it]
+
hellaswag_mr:  12%|█████████████▍                                                                                                 | 35/290 [08:45<1:03:58, 15.05s/it]
+
hellaswag_mr:  12%|█████████████▊                                                                                                 | 36/290 [08:59<1:01:55, 14.63s/it]
+
hellaswag_mr:  13%|██████████████▏                                                                                                | 37/290 [09:14<1:02:03, 14.72s/it]
+
hellaswag_mr:  13%|██████████████▌                                                                                                | 38/290 [09:29<1:02:02, 14.77s/it]
+
hellaswag_mr:  13%|██████████████▉                                                                                                | 39/290 [09:44<1:02:17, 14.89s/it]
+
hellaswag_mr:  14%|███████████████▎                                                                                               | 40/290 [09:59<1:02:20, 14.96s/it]
+
hellaswag_mr:  14%|███████████████▋                                                                                               | 41/290 [10:15<1:02:58, 15.17s/it]
+
hellaswag_mr:  14%|████████████████                                                                                               | 42/290 [10:29<1:01:32, 14.89s/it]
+
hellaswag_mr:  15%|████████████████▍                                                                                              | 43/290 [10:44<1:02:12, 15.11s/it]
+
hellaswag_mr:  15%|████████████████▊                                                                                              | 44/290 [11:00<1:02:58, 15.36s/it]
+
hellaswag_mr:  16%|█████████████████▏                                                                                             | 45/290 [11:15<1:02:16, 15.25s/it]
+
hellaswag_mr:  16%|█████████████████▌                                                                                             | 46/290 [11:30<1:01:08, 15.03s/it]
+
hellaswag_mr:  16%|█████████████████▉                                                                                             | 47/290 [11:46<1:01:57, 15.30s/it]
+
hellaswag_mr:  17%|██████████████████▎                                                                                            | 48/290 [12:01<1:01:11, 15.17s/it]
+
hellaswag_mr:  17%|██████████████████▊                                                                                            | 49/290 [12:15<1:00:23, 15.04s/it]
+
hellaswag_mr:  17%|███████████████████▍                                                                                             | 50/290 [12:29<58:21, 14.59s/it]
+
hellaswag_mr:  18%|███████████████████▊                                                                                             | 51/290 [12:44<58:25, 14.67s/it]
+
hellaswag_mr:  18%|████████████████████▎                                                                                            | 52/290 [12:58<57:47, 14.57s/it]
+
hellaswag_mr:  18%|████████████████████▋                                                                                            | 53/290 [13:13<58:04, 14.70s/it]
+
hellaswag_mr:  19%|█████████████████████                                                                                            | 54/290 [13:29<58:39, 14.92s/it]
+
hellaswag_mr:  19%|█████████████████████▍                                                                                           | 55/290 [13:43<57:48, 14.76s/it]
+
hellaswag_mr:  19%|█████████████████████▊                                                                                           | 56/290 [13:58<57:22, 14.71s/it]
+
hellaswag_mr:  20%|██████████████████████▏                                                                                          | 57/290 [14:12<57:17, 14.76s/it]
+
hellaswag_mr:  20%|██████████████████████▌                                                                                          | 58/290 [14:28<57:45, 14.94s/it]
+
hellaswag_mr:  20%|██████████████████████▉                                                                                          | 59/290 [14:42<56:35, 14.70s/it]
+
hellaswag_mr:  21%|███████████████████████▍                                                                                         | 60/290 [14:56<55:56, 14.59s/it]
+
hellaswag_mr:  21%|███████████████████████▊                                                                                         | 61/290 [15:11<56:06, 14.70s/it]
+
hellaswag_mr:  21%|████████████████████████▏                                                                                        | 62/290 [15:27<57:06, 15.03s/it]
+
hellaswag_mr:  22%|████████████████████████▌                                                                                        | 63/290 [15:42<56:56, 15.05s/it]
+
hellaswag_mr:  22%|████████████████████████▉                                                                                        | 64/290 [15:56<55:49, 14.82s/it]
+
hellaswag_mr:  22%|█████████████████████████▎                                                                                       | 65/290 [16:10<54:18, 14.48s/it]
+
hellaswag_mr:  23%|█████████████████████████▋                                                                                       | 66/290 [16:25<55:00, 14.74s/it]
+
hellaswag_mr:  23%|██████████████████████████                                                                                       | 67/290 [16:40<54:37, 14.70s/it]
+
hellaswag_mr:  23%|██████████████████████████▍                                                                                      | 68/290 [16:54<53:46, 14.53s/it]
+
hellaswag_mr:  24%|██████████████████████████▉                                                                                      | 69/290 [17:11<55:36, 15.10s/it]
+
hellaswag_mr:  24%|███████████████████████████▎                                                                                     | 70/290 [17:26<55:10, 15.05s/it]
+
hellaswag_mr:  24%|███████████████████████████▋                                                                                     | 71/290 [17:40<54:49, 15.02s/it]
+
hellaswag_mr:  25%|████████████████████████████                                                                                     | 72/290 [17:56<55:29, 15.27s/it]
+
hellaswag_mr:  25%|████████████████████████████▍                                                                                    | 73/290 [18:11<54:28, 15.06s/it]
+
hellaswag_mr:  26%|████████████████████████████▊                                                                                    | 74/290 [18:25<53:24, 14.83s/it]
+
hellaswag_mr:  26%|█████████████████████████████▏                                                                                   | 75/290 [18:41<53:50, 15.03s/it]
+
hellaswag_mr:  26%|█████████████████████████████▌                                                                                   | 76/290 [18:54<52:03, 14.60s/it]
+
hellaswag_mr:  27%|██████████████████████████████                                                                                   | 77/290 [19:10<52:41, 14.84s/it]
+
hellaswag_mr:  27%|██████████████████████████████▍                                                                                  | 78/290 [19:26<53:39, 15.19s/it]
+
hellaswag_mr:  27%|██████████████████████████████▊                                                                                  | 79/290 [19:40<52:39, 14.97s/it]
+
hellaswag_mr:  28%|███████████████████████████████▏                                                                                 | 80/290 [19:56<52:46, 15.08s/it]
+
hellaswag_mr:  28%|███████████████████████████████▌                                                                                 | 81/290 [20:09<51:23, 14.75s/it]
+
hellaswag_mr:  28%|███████████████████████████████▉                                                                                 | 82/290 [20:24<51:05, 14.74s/it]
+
hellaswag_mr:  29%|████████████████████████████████▎                                                                                | 83/290 [20:40<52:10, 15.12s/it]
+
hellaswag_mr:  29%|████████████████████████████████▋                                                                                | 84/290 [20:54<51:01, 14.86s/it]
+
hellaswag_mr:  29%|█████████████████████████████████                                                                                | 85/290 [21:10<51:22, 15.04s/it]
+
hellaswag_mr:  30%|█████████████████████████████████▌                                                                               | 86/290 [21:25<50:58, 14.99s/it]
+
hellaswag_mr:  30%|█████████████████████████████████▉                                                                               | 87/290 [21:40<50:32, 14.94s/it]
+
hellaswag_mr:  30%|██████████████████████████████████▎                                                                              | 88/290 [21:55<51:01, 15.16s/it]
+
hellaswag_mr:  31%|██████████████████████████████████▋                                                                              | 89/290 [22:11<51:20, 15.33s/it]
+
hellaswag_mr:  31%|███████████████████████████████████                                                                              | 90/290 [22:25<49:55, 14.98s/it]
+
hellaswag_mr:  31%|███████████████████████████████████▍                                                                             | 91/290 [22:40<49:47, 15.01s/it]
+
hellaswag_mr:  32%|███████████████████████████████████▊                                                                             | 92/290 [22:54<48:35, 14.73s/it]
+
hellaswag_mr:  32%|████████████████████████████████████▏                                                                            | 93/290 [23:09<48:46, 14.85s/it]
+
hellaswag_mr:  32%|████████████████████████████████████▋                                                                            | 94/290 [23:24<48:05, 14.72s/it]
+
hellaswag_mr:  33%|█████████████████████████████████████                                                                            | 95/290 [23:40<49:11, 15.14s/it]
+
hellaswag_mr:  33%|█████████████████████████████████████▍                                                                           | 96/290 [23:55<48:34, 15.02s/it]
+
hellaswag_mr:  33%|█████████████████████████████████████▊                                                                           | 97/290 [24:11<49:21, 15.34s/it]
+
hellaswag_mr:  34%|██████████████████████████████████████▏                                                                          | 98/290 [24:24<47:13, 14.76s/it]
+
hellaswag_mr:  34%|██████████████████████████████████████▌                                                                          | 99/290 [24:38<46:27, 14.59s/it]
+
hellaswag_mr:  34%|██████████████████████████████████████▌                                                                         | 100/290 [24:53<45:46, 14.45s/it]
+
hellaswag_mr:  35%|███████████████████████████████████████                                                                         | 101/290 [25:08<46:19, 14.71s/it]
+
hellaswag_mr:  35%|███████████████████████████████████████▍                                                                        | 102/290 [25:23<46:41, 14.90s/it]
+
hellaswag_mr:  36%|███████████████████████████████████████▊                                                                        | 103/290 [25:38<46:22, 14.88s/it]
+
hellaswag_mr:  36%|████████████████████████████████████████▏                                                                       | 104/290 [25:53<46:38, 15.04s/it]
+
hellaswag_mr:  36%|████████████████████████████████████████▌                                                                       | 105/290 [26:09<46:30, 15.08s/it]
+
hellaswag_mr:  37%|████████████████████████████████████████▉                                                                       | 106/290 [26:24<46:26, 15.15s/it]
+
hellaswag_mr:  37%|█████████████████████████████████████████▎                                                                      | 107/290 [26:39<45:46, 15.01s/it]
+
hellaswag_mr:  37%|█████████████████████████████████████████▋                                                                      | 108/290 [26:52<44:23, 14.63s/it]
+
hellaswag_mr:  38%|██████████████████████████████████████████                                                                      | 109/290 [27:07<43:40, 14.48s/it]
+
hellaswag_mr:  38%|██████████████████████████████████████████▍                                                                     | 110/290 [27:23<44:53, 14.96s/it]
+
hellaswag_mr:  38%|██████████████████████████████████████████▊                                                                     | 111/290 [27:37<44:09, 14.80s/it]
+
hellaswag_mr:  39%|███████████████████████████████████████████▎                                                                    | 112/290 [27:52<43:53, 14.79s/it]
+
hellaswag_mr:  39%|███████████████████████████████████████████▋                                                                    | 113/290 [28:08<44:43, 15.16s/it]
+
hellaswag_mr:  39%|████████████████████████████████████████████                                                                    | 114/290 [28:23<44:21, 15.12s/it]
+
hellaswag_mr:  40%|████████████████████████████████████████████▍                                                                   | 115/290 [28:38<43:44, 15.00s/it]
+
hellaswag_mr:  40%|████████████████████████████████████████████▊                                                                   | 116/290 [28:53<43:33, 15.02s/it]
+
hellaswag_mr:  40%|█████████████████████████████████████████████▏                                                                  | 117/290 [29:06<41:28, 14.38s/it]
+
hellaswag_mr:  41%|█████████████████████████████████████████████▌                                                                  | 118/290 [29:20<41:11, 14.37s/it]
+
hellaswag_mr:  41%|█████████████████████████████████████████████▉                                                                  | 119/290 [29:35<41:39, 14.62s/it]
+
hellaswag_mr:  41%|██████████████████████████████████████████████▎                                                                 | 120/290 [29:49<41:10, 14.53s/it]
+
hellaswag_mr:  42%|██████████████████████████████████████████████▋                                                                 | 121/290 [30:04<40:56, 14.53s/it]
+
hellaswag_mr:  42%|███████████████████████████████████████████████                                                                 | 122/290 [30:20<42:00, 15.00s/it]
+
hellaswag_mr:  42%|███████████████████████████████████████████████▌                                                                | 123/290 [30:37<43:13, 15.53s/it]
+
hellaswag_mr:  43%|███████████████████████████████████████████████▉                                                                | 124/290 [30:52<42:35, 15.39s/it]
+
hellaswag_mr:  43%|████████████████████████████████████████████████▎                                                               | 125/290 [31:08<43:06, 15.68s/it]
+
hellaswag_mr:  43%|████████████████████████████████████████████████▋                                                               | 126/290 [31:23<42:23, 15.51s/it]
+
hellaswag_mr:  44%|█████████████████████████████████████████████████                                                               | 127/290 [31:38<41:08, 15.14s/it]
+
hellaswag_mr:  44%|█████████████████████████████████████████████████▍                                                              | 128/290 [31:53<40:48, 15.12s/it]
+
hellaswag_mr:  44%|█████████████████████████████████████████████████▊                                                              | 129/290 [32:08<40:22, 15.04s/it]
+
hellaswag_mr:  45%|██████████████████████████████████████████████████▏                                                             | 130/290 [32:23<40:49, 15.31s/it]
+
hellaswag_mr:  45%|██████████████████████████████████████████████████▌                                                             | 131/290 [32:38<40:11, 15.17s/it]
+
hellaswag_mr:  46%|██████████████████████████████████████████████████▉                                                             | 132/290 [32:53<39:16, 14.92s/it]
+
hellaswag_mr:  46%|███████████████████████████████████████████████████▎                                                            | 133/290 [33:08<39:05, 14.94s/it]
+
hellaswag_mr:  46%|███████████████████████████████████████████████████▊                                                            | 134/290 [33:22<38:09, 14.68s/it]
+
hellaswag_mr:  47%|████████████████████████████████████████████████████▏                                                           | 135/290 [33:35<36:38, 14.18s/it]
+
hellaswag_mr:  47%|████████████████████████████████████████████████████▌                                                           | 136/290 [33:50<37:09, 14.48s/it]
+
hellaswag_mr:  47%|████████████████████████████████████████████████████▉                                                           | 137/290 [34:04<36:48, 14.43s/it]
+
hellaswag_mr:  48%|█████████████████████████████████████████████████████▎                                                          | 138/290 [34:18<36:15, 14.32s/it]
+
hellaswag_mr:  48%|█████████████████████████████████████████████████████▋                                                          | 139/290 [34:34<37:01, 14.71s/it]
+
hellaswag_mr:  48%|██████████████████████████████████████████████████████                                                          | 140/290 [34:50<37:57, 15.18s/it]
+
hellaswag_mr:  49%|██████████████████████████████████████████████████████▍                                                         | 141/290 [35:05<37:07, 14.95s/it]
+
hellaswag_mr:  49%|██████████████████████████████████████████████████████▊                                                         | 142/290 [35:20<36:57, 14.99s/it]
+
hellaswag_mr:  49%|███████████████████████████████████████████████████████▏                                                        | 143/290 [35:35<36:39, 14.97s/it]
+
hellaswag_mr:  50%|███████████████████████████████████████████████████████▌                                                        | 144/290 [35:50<36:25, 14.97s/it]
+
hellaswag_mr:  50%|████████████████████████████████████████████████████████                                                        | 145/290 [36:03<35:00, 14.49s/it]
+
hellaswag_mr:  50%|████████████████████████████████████████████████████████▍                                                       | 146/290 [36:17<34:33, 14.40s/it]
+
hellaswag_mr:  51%|████████████████████████████████████████████████████████▊                                                       | 147/290 [36:32<34:27, 14.46s/it]
+
hellaswag_mr:  51%|█████████████████████████████████████████████████████████▏                                                      | 148/290 [36:47<35:05, 14.83s/it]
+
hellaswag_mr:  51%|█████████████████████████████████████████████████████████▌                                                      | 149/290 [37:02<34:43, 14.77s/it]
+
hellaswag_mr:  52%|█████████████████████████████████████████████████████████▉                                                      | 150/290 [37:17<34:22, 14.73s/it]
+
hellaswag_mr:  52%|██████████████████████████████████████████████████████████▎                                                     | 151/290 [37:30<33:17, 14.37s/it]
+
hellaswag_mr:  52%|██████████████████████████████████████████████████████████▋                                                     | 152/290 [37:45<33:00, 14.35s/it]
+
hellaswag_mr:  53%|███████████████████████████████████████████████████████████                                                     | 153/290 [37:59<32:34, 14.26s/it]
+
hellaswag_mr:  53%|███████████████████████████████████████████████████████████▍                                                    | 154/290 [38:13<32:25, 14.31s/it]
+
hellaswag_mr:  53%|███████████████████████████████████████████████████████████▊                                                    | 155/290 [38:28<32:40, 14.52s/it]
+
hellaswag_mr:  54%|████████████████████████████████████████████████████████████▏                                                   | 156/290 [38:42<31:45, 14.22s/it]
+
hellaswag_mr:  54%|████████████████████████████████████████████████████████████▋                                                   | 157/290 [38:58<33:01, 14.90s/it]
+
hellaswag_mr:  54%|█████████████████████████████████████████████████████████████                                                   | 158/290 [39:13<32:35, 14.81s/it]
+
hellaswag_mr:  55%|█████████████████████████████████████████████████████████████▍                                                  | 159/290 [39:28<32:30, 14.89s/it]
+
hellaswag_mr:  55%|█████████████████████████████████████████████████████████████▊                                                  | 160/290 [39:43<32:24, 14.96s/it]
+
hellaswag_mr:  56%|██████████████████████████████████████████████████████████████▏                                                 | 161/290 [39:58<32:22, 15.06s/it]
+
hellaswag_mr:  56%|██████████████████████████████████████████████████████████████▌                                                 | 162/290 [40:13<32:06, 15.05s/it]
+
hellaswag_mr:  56%|██████████████████████████████████████████████████████████████▉                                                 | 163/290 [40:28<32:02, 15.14s/it]
+
hellaswag_mr:  57%|███████████████████████████████████████████████████████████████▎                                                | 164/290 [40:43<31:06, 14.81s/it]
+
hellaswag_mr:  57%|███████████████████████████████████████████████████████████████▋                                                | 165/290 [40:57<30:46, 14.77s/it]
+
hellaswag_mr:  57%|████████████████████████████████████████████████████████████████                                                | 166/290 [41:12<30:48, 14.90s/it]
+
hellaswag_mr:  58%|████████████████████████████████████████████████████████████████▍                                               | 167/290 [41:27<30:39, 14.96s/it]
+
hellaswag_mr:  58%|████████████████████████████████████████████████████████████████▉                                               | 168/290 [41:42<29:54, 14.71s/it]
+
hellaswag_mr:  58%|█████████████████████████████████████████████████████████████████▎                                              | 169/290 [41:57<30:10, 14.97s/it]
+
hellaswag_mr:  59%|█████████████████████████████████████████████████████████████████▋                                              | 170/290 [42:13<30:13, 15.11s/it]
+
hellaswag_mr:  59%|██████████████████████████████████████████████████████████████████                                              | 171/290 [42:27<29:42, 14.98s/it]
+
hellaswag_mr:  59%|██████████████████████████████████████████████████████████████████▍                                             | 172/290 [42:42<29:11, 14.84s/it]
+
hellaswag_mr:  60%|██████████████████████████████████████████████████████████████████▊                                             | 173/290 [42:57<28:51, 14.80s/it]
+
hellaswag_mr:  60%|███████████████████████████████████████████████████████████████████▏                                            | 174/290 [43:12<28:49, 14.91s/it]
+
hellaswag_mr:  60%|███████████████████████████████████████████████████████████████████▌                                            | 175/290 [43:28<29:29, 15.39s/it]
+
hellaswag_mr:  61%|███████████████████████████████████████████████████████████████████▉                                            | 176/290 [43:43<28:47, 15.15s/it]
+
hellaswag_mr:  61%|████████████████████████████████████████████████████████████████████▎                                           | 177/290 [43:57<27:53, 14.81s/it]
+
hellaswag_mr:  61%|████████████████████████████████████████████████████████████████████▋                                           | 178/290 [44:12<27:53, 14.94s/it]
+
hellaswag_mr:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 179/290 [44:27<27:43, 14.99s/it]
+
hellaswag_mr:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 180/290 [44:41<27:07, 14.79s/it]
+
hellaswag_mr:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 181/290 [44:56<26:55, 14.82s/it]
+
hellaswag_mr:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 182/290 [45:11<26:31, 14.74s/it]
+
hellaswag_mr:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 183/290 [45:26<26:43, 14.98s/it]
+
hellaswag_mr:  63%|███████████████████████████████████████████████████████████████████████                                         | 184/290 [45:42<26:37, 15.08s/it]
+
hellaswag_mr:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 185/290 [45:56<25:40, 14.67s/it]
+
hellaswag_mr:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 186/290 [46:11<25:47, 14.88s/it]
+
hellaswag_mr:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 187/290 [46:27<26:07, 15.22s/it]
+
hellaswag_mr:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 188/290 [46:42<25:47, 15.17s/it]
+
hellaswag_mr:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 189/290 [46:58<25:48, 15.33s/it]
+
hellaswag_mr:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 190/290 [47:14<26:10, 15.71s/it]
+
hellaswag_mr:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 191/290 [47:30<25:45, 15.61s/it]
+
hellaswag_mr:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 192/290 [47:46<25:41, 15.72s/it]
+
hellaswag_mr:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 193/290 [48:01<25:11, 15.58s/it]
+
hellaswag_mr:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 194/290 [48:16<24:52, 15.54s/it]
+
hellaswag_mr:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 195/290 [48:30<23:50, 15.05s/it]
+
hellaswag_mr:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 196/290 [48:46<23:53, 15.25s/it]
+
hellaswag_mr:  68%|████████████████████████████████████████████████████████████████████████████                                    | 197/290 [49:01<23:37, 15.24s/it]
+
hellaswag_mr:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 198/290 [49:17<23:29, 15.32s/it]
+
hellaswag_mr:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 199/290 [49:32<23:06, 15.23s/it]
+
hellaswag_mr:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 200/290 [49:47<22:55, 15.28s/it]
+
hellaswag_mr:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 201/290 [50:01<22:16, 15.02s/it]
+
hellaswag_mr:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 202/290 [50:17<22:17, 15.19s/it]
+
hellaswag_mr:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 203/290 [50:32<21:52, 15.09s/it]
+
hellaswag_mr:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 204/290 [50:47<21:41, 15.13s/it]
+
hellaswag_mr:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 205/290 [51:03<21:39, 15.28s/it]
+
hellaswag_mr:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 206/290 [51:18<21:29, 15.35s/it]
+
hellaswag_mr:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 207/290 [51:32<20:31, 14.84s/it]
+
hellaswag_mr:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 208/290 [51:46<20:04, 14.69s/it]
+
hellaswag_mr:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 209/290 [52:02<20:10, 14.94s/it]
+
hellaswag_mr:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 210/290 [52:16<19:33, 14.67s/it]
+
hellaswag_mr:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 211/290 [52:31<19:25, 14.76s/it]
+
hellaswag_mr:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 212/290 [52:45<18:52, 14.52s/it]
+
hellaswag_mr:  73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 213/290 [53:00<18:52, 14.71s/it]
+
hellaswag_mr:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 214/290 [53:14<18:20, 14.48s/it]
+
hellaswag_mr:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 215/290 [53:29<18:21, 14.69s/it]
+
hellaswag_mr:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 216/290 [53:43<17:42, 14.36s/it]
+
hellaswag_mr:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 217/290 [53:57<17:23, 14.30s/it]
+
hellaswag_mr:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 218/290 [54:12<17:22, 14.48s/it]
+
hellaswag_mr:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 219/290 [54:26<16:58, 14.34s/it]
+
hellaswag_mr:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 220/290 [54:41<16:57, 14.54s/it]
+
hellaswag_mr:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 221/290 [54:56<16:51, 14.66s/it]
+
hellaswag_mr:  77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 222/290 [55:10<16:35, 14.64s/it]
+
hellaswag_mr:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 223/290 [55:25<16:32, 14.81s/it]
+
hellaswag_mr:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 224/290 [55:41<16:30, 15.01s/it]
+
hellaswag_mr:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 225/290 [55:55<15:59, 14.76s/it]
+
hellaswag_mr:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 226/290 [56:10<15:54, 14.92s/it]
+
hellaswag_mr:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 227/290 [56:26<15:53, 15.13s/it]
+
hellaswag_mr:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 228/290 [56:41<15:31, 15.02s/it]
+
hellaswag_mr:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 229/290 [56:56<15:19, 15.07s/it]
+
hellaswag_mr:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 230/290 [57:11<15:06, 15.11s/it]
+
hellaswag_mr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 231/290 [57:26<14:42, 14.95s/it]
+
hellaswag_mr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 232/290 [57:40<14:20, 14.83s/it]
+
hellaswag_mr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 233/290 [57:57<14:34, 15.33s/it]
+
hellaswag_mr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 234/290 [58:12<14:17, 15.32s/it]
+
hellaswag_mr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 235/290 [58:27<14:00, 15.29s/it]
+
hellaswag_mr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 236/290 [58:41<13:21, 14.84s/it]
+
hellaswag_mr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 237/290 [58:56<13:10, 14.92s/it]
+
hellaswag_mr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 238/290 [59:11<12:58, 14.96s/it]
+
hellaswag_mr:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 239/290 [59:26<12:33, 14.78s/it]
+
hellaswag_mr:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 240/290 [59:41<12:19, 14.80s/it]
+
hellaswag_mr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 241/290 [59:55<11:57, 14.64s/it]
+
hellaswag_mr:  83%|███████████████████████████████████████████████████████████████████████████████████████████▊                  | 242/290 [1:00:10<11:52, 14.84s/it]
+
hellaswag_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████▏                 | 243/290 [1:00:25<11:39, 14.88s/it]
+
hellaswag_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████▌                 | 244/290 [1:00:41<11:44, 15.32s/it]
+
hellaswag_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████▉                 | 245/290 [1:00:57<11:26, 15.26s/it]
+
hellaswag_mr:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 246/290 [1:01:12<11:19, 15.44s/it]
+
hellaswag_mr:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 247/290 [1:01:26<10:40, 14.90s/it]
+
hellaswag_mr:  86%|██████████████████████████████████████████████████████████████████████████████████████████████                | 248/290 [1:01:41<10:28, 14.96s/it]
+
hellaswag_mr:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▍               | 249/290 [1:01:56<10:12, 14.94s/it]
+
hellaswag_mr:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▊               | 250/290 [1:02:12<10:04, 15.11s/it]
+
hellaswag_mr:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▏              | 251/290 [1:02:26<09:41, 14.90s/it]
+
hellaswag_mr:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▌              | 252/290 [1:02:41<09:22, 14.81s/it]
+
hellaswag_mr:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▉              | 253/290 [1:02:56<09:14, 14.99s/it]
+
hellaswag_mr:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▎             | 254/290 [1:03:10<08:50, 14.74s/it]
+
hellaswag_mr:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▋             | 255/290 [1:03:24<08:29, 14.56s/it]
+
hellaswag_mr:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████             | 256/290 [1:03:39<08:16, 14.61s/it]
+
hellaswag_mr:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍            | 257/290 [1:03:53<08:00, 14.57s/it]
+
hellaswag_mr:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊            | 258/290 [1:04:08<07:50, 14.71s/it]
+
hellaswag_mr:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▏           | 259/290 [1:04:22<07:23, 14.32s/it]
+
hellaswag_mr:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▌           | 260/290 [1:04:37<07:20, 14.68s/it]
+
hellaswag_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████           | 261/290 [1:04:52<07:06, 14.69s/it]
+
hellaswag_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍          | 262/290 [1:05:07<06:52, 14.72s/it]
+
hellaswag_mr:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊          | 263/290 [1:05:21<06:32, 14.54s/it]
+
hellaswag_mr:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 264/290 [1:05:36<06:21, 14.69s/it]
+
hellaswag_mr:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 265/290 [1:05:50<05:58, 14.35s/it]
+
hellaswag_mr:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 266/290 [1:06:04<05:42, 14.25s/it]
+
hellaswag_mr:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 267/290 [1:06:20<05:41, 14.87s/it]
+
hellaswag_mr:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 268/290 [1:06:35<05:26, 14.83s/it]
+
hellaswag_mr:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 269/290 [1:06:50<05:11, 14.83s/it]
+
hellaswag_mr:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 270/290 [1:07:06<05:05, 15.26s/it]
+
hellaswag_mr:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 271/290 [1:07:22<04:54, 15.50s/it]
+
hellaswag_mr:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 272/290 [1:07:36<04:31, 15.11s/it]
+
hellaswag_mr:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 273/290 [1:07:52<04:19, 15.24s/it]
+
hellaswag_mr:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 274/290 [1:08:06<04:01, 15.07s/it]
+
hellaswag_mr:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 275/290 [1:08:20<03:40, 14.70s/it]
+
hellaswag_mr:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 276/290 [1:08:35<03:26, 14.77s/it]
+
hellaswag_mr:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████     | 277/290 [1:08:51<03:17, 15.18s/it]
+
hellaswag_mr:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 278/290 [1:09:07<03:02, 15.24s/it]
+
hellaswag_mr:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 279/290 [1:09:22<02:49, 15.44s/it]
+
hellaswag_mr:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 280/290 [1:09:36<02:28, 14.90s/it]
+
hellaswag_mr:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 281/290 [1:09:50<02:12, 14.71s/it]
+
hellaswag_mr:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 282/290 [1:10:04<01:56, 14.51s/it]
+
hellaswag_mr:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 283/290 [1:10:20<01:44, 14.88s/it]
+
hellaswag_mr:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 284/290 [1:10:35<01:28, 14.80s/it]
+
hellaswag_mr:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 285/290 [1:10:50<01:14, 14.83s/it]
+
hellaswag_mr:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [1:11:05<01:00, 15.04s/it]
+
hellaswag_mr:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [1:11:20<00:45, 15.04s/it]
+
hellaswag_mr:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [1:11:35<00:29, 14.97s/it]
+
hellaswag_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [1:11:50<00:14, 14.96s/it]
+
hellaswag_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [1:12:05<00:00, 15.10s/it]
hellaswag_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [1:12:05<00:00, 14.92s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_mr_acc 0.2566009268240112
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_mr_acc_norm 0.29033301002263173
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 02:50:58,407 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 02:50:58,407 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:58,528 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 02:50:58,528 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:58,649 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 02:50:58,650 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:58,771 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 02:50:58,772 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 02:50:58,772 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 02:50:58,894 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 02:50:58,894 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_mr_acc'}
+2024-05-30 02:50:58,956 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 02:50:58,956 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1175, 'value': 0.2566009268240112}
+2024-05-30 02:50:59,018 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 02:50:59,632 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 02:50:59,632 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:59,752 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 02:50:59,752 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:59,873 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 02:50:59,873 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:50:59,993 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 02:50:59,994 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 02:50:59,994 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 02:51:00,117 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 02:51:00,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_mr_acc_norm'}
+2024-05-30 02:51:00,178 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 02:51:00,178 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1176, 'value': 0.29033301002263173}
+2024-05-30 02:51:00,239 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  40%|██████████████████████████████████████████▋                                                                 | 49/124 [20:03:29<90:04:15, 4323.40s/it]['hellaswag_ne']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 02:51:00,895 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 02:51:00,895 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:51:01,024 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 02:51:01,024 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:51:01,152 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 02:51:01,152 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 02:51:01,281 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 02:51:01,282 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 02:51:01,282 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ne'}
+2024-05-30 02:51:01,411 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ne task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:06,  6.30s/ examples]
+
Generating validation split: 2000 examples [00:06, 440.38 examples/s]
+
Generating validation split: 3713 examples [00:06, 949.41 examples/s]
+
Generating validation split: 5184 examples [00:06, 1523.93 examples/s]
+
Generating validation split: 7000 examples [00:06, 2436.65 examples/s]
+
Generating validation split: 9000 examples [00:06, 3663.15 examples/s]
Generating validation split: 9318 examples [00:06, 1348.73 examples/s]
+Loaded 9318 examples
+Running loglikelihood requests
+
+
hellaswag_ne:   0%|                                                                                                                          | 0/292 [00:00<?, ?it/s]
+
hellaswag_ne:   0%|▍                                                                                                               | 1/292 [00:14<1:08:26, 14.11s/it]
+
hellaswag_ne:   1%|▊                                                                                                               | 2/292 [00:28<1:08:16, 14.13s/it]
+
hellaswag_ne:   1%|█▏                                                                                                              | 3/292 [00:43<1:10:00, 14.53s/it]
+
hellaswag_ne:   1%|█▌                                                                                                              | 4/292 [00:57<1:08:51, 14.35s/it]
+
hellaswag_ne:   2%|█▉                                                                                                              | 5/292 [01:12<1:10:28, 14.73s/it]
+
hellaswag_ne:   2%|██▎                                                                                                             | 6/292 [01:26<1:09:08, 14.50s/it]
+
hellaswag_ne:   2%|██▋                                                                                                             | 7/292 [01:41<1:09:06, 14.55s/it]
+
hellaswag_ne:   3%|███                                                                                                             | 8/292 [01:55<1:08:28, 14.47s/it]
+
hellaswag_ne:   3%|███▍                                                                                                            | 9/292 [02:11<1:09:34, 14.75s/it]
+
hellaswag_ne:   3%|███▊                                                                                                           | 10/292 [02:26<1:10:17, 14.96s/it]
+
hellaswag_ne:   4%|████▏                                                                                                          | 11/292 [02:40<1:08:38, 14.66s/it]
+
hellaswag_ne:   4%|████▌                                                                                                          | 12/292 [02:54<1:07:22, 14.44s/it]
+
hellaswag_ne:   4%|████▉                                                                                                          | 13/292 [03:09<1:07:41, 14.56s/it]
+
hellaswag_ne:   5%|█████▎                                                                                                         | 14/292 [03:23<1:07:33, 14.58s/it]
+
hellaswag_ne:   5%|█████▋                                                                                                         | 15/292 [03:37<1:06:07, 14.32s/it]
+
hellaswag_ne:   5%|██████                                                                                                         | 16/292 [03:50<1:04:25, 14.01s/it]
+
hellaswag_ne:   6%|██████▍                                                                                                        | 17/292 [04:05<1:04:40, 14.11s/it]
+
hellaswag_ne:   6%|██████▊                                                                                                        | 18/292 [04:19<1:04:43, 14.17s/it]
+
hellaswag_ne:   7%|███████▏                                                                                                       | 19/292 [04:33<1:04:14, 14.12s/it]
+
hellaswag_ne:   7%|███████▌                                                                                                       | 20/292 [04:47<1:03:31, 14.01s/it]
+
hellaswag_ne:   7%|███████▉                                                                                                       | 21/292 [05:01<1:03:16, 14.01s/it]
+
hellaswag_ne:   8%|████████▎                                                                                                      | 22/292 [05:16<1:03:59, 14.22s/it]
+
hellaswag_ne:   8%|████████▋                                                                                                      | 23/292 [05:30<1:03:54, 14.26s/it]
+
hellaswag_ne:   8%|█████████                                                                                                      | 24/292 [05:45<1:04:12, 14.38s/it]
+
hellaswag_ne:   9%|█████████▌                                                                                                     | 25/292 [06:00<1:05:24, 14.70s/it]
+
hellaswag_ne:   9%|█████████▉                                                                                                     | 26/292 [06:14<1:04:53, 14.64s/it]
+
hellaswag_ne:   9%|██████████▎                                                                                                    | 27/292 [06:28<1:03:06, 14.29s/it]
+
hellaswag_ne:  10%|██████████▋                                                                                                    | 28/292 [06:43<1:03:13, 14.37s/it]
+
hellaswag_ne:  10%|███████████                                                                                                    | 29/292 [06:57<1:03:09, 14.41s/it]
+
hellaswag_ne:  10%|███████████▍                                                                                                   | 30/292 [07:12<1:03:36, 14.57s/it]
+
hellaswag_ne:  11%|███████████▊                                                                                                   | 31/292 [07:27<1:03:21, 14.57s/it]
+
hellaswag_ne:  11%|████████████▏                                                                                                  | 32/292 [07:42<1:04:28, 14.88s/it]
+
hellaswag_ne:  11%|████████████▌                                                                                                  | 33/292 [07:56<1:02:20, 14.44s/it]
+
hellaswag_ne:  12%|████████████▉                                                                                                  | 34/292 [08:10<1:01:54, 14.40s/it]
+
hellaswag_ne:  12%|█████████████▎                                                                                                 | 35/292 [08:25<1:02:25, 14.57s/it]
+
hellaswag_ne:  12%|█████████████▋                                                                                                 | 36/292 [08:39<1:01:29, 14.41s/it]
+
hellaswag_ne:  13%|██████████████                                                                                                 | 37/292 [08:54<1:02:17, 14.66s/it]
+
hellaswag_ne:  13%|██████████████▍                                                                                                | 38/292 [09:07<1:00:12, 14.22s/it]
+
hellaswag_ne:  13%|██████████████▊                                                                                                | 39/292 [09:22<1:00:40, 14.39s/it]
+
hellaswag_ne:  14%|███████████████▍                                                                                                 | 40/292 [09:36<59:51, 14.25s/it]
+
hellaswag_ne:  14%|███████████████▌                                                                                               | 41/292 [09:52<1:01:13, 14.64s/it]
+
hellaswag_ne:  14%|███████████████▉                                                                                               | 42/292 [10:07<1:01:24, 14.74s/it]
+
hellaswag_ne:  15%|████████████████▎                                                                                              | 43/292 [10:21<1:01:16, 14.77s/it]
+
hellaswag_ne:  15%|████████████████▋                                                                                              | 44/292 [10:36<1:01:22, 14.85s/it]
+
hellaswag_ne:  15%|█████████████████                                                                                              | 45/292 [10:51<1:01:05, 14.84s/it]
+
hellaswag_ne:  16%|█████████████████▍                                                                                             | 46/292 [11:05<1:00:00, 14.64s/it]
+
hellaswag_ne:  16%|██████████████████▏                                                                                              | 47/292 [11:20<59:38, 14.61s/it]
+
hellaswag_ne:  16%|██████████████████▌                                                                                              | 48/292 [11:35<59:51, 14.72s/it]
+
hellaswag_ne:  17%|██████████████████▉                                                                                              | 49/292 [11:49<58:47, 14.52s/it]
+
hellaswag_ne:  17%|███████████████████▎                                                                                             | 50/292 [12:04<59:29, 14.75s/it]
+
hellaswag_ne:  17%|███████████████████▋                                                                                             | 51/292 [12:20<59:53, 14.91s/it]
+
hellaswag_ne:  18%|███████████████████▊                                                                                           | 52/292 [12:36<1:01:42, 15.43s/it]
+
hellaswag_ne:  18%|████████████████████▏                                                                                          | 53/292 [12:51<1:00:50, 15.28s/it]
+
hellaswag_ne:  18%|████████████████████▌                                                                                          | 54/292 [13:07<1:00:50, 15.34s/it]
+
hellaswag_ne:  19%|████████████████████▉                                                                                          | 55/292 [13:22<1:00:58, 15.44s/it]
+
hellaswag_ne:  19%|█████████████████████▋                                                                                           | 56/292 [13:36<59:16, 15.07s/it]
+
hellaswag_ne:  20%|██████████████████████                                                                                           | 57/292 [13:51<58:28, 14.93s/it]
+
hellaswag_ne:  20%|██████████████████████▍                                                                                          | 58/292 [14:06<57:42, 14.79s/it]
+
hellaswag_ne:  20%|██████████████████████▊                                                                                          | 59/292 [14:20<56:44, 14.61s/it]
+
hellaswag_ne:  21%|███████████████████████▏                                                                                         | 60/292 [14:33<55:22, 14.32s/it]
+
hellaswag_ne:  21%|███████████████████████▌                                                                                         | 61/292 [14:48<55:06, 14.32s/it]
+
hellaswag_ne:  21%|███████████████████████▉                                                                                         | 62/292 [15:03<55:40, 14.52s/it]
+
hellaswag_ne:  22%|████████████████████████▍                                                                                        | 63/292 [15:18<56:06, 14.70s/it]
+
hellaswag_ne:  22%|████████████████████████▊                                                                                        | 64/292 [15:33<56:51, 14.96s/it]
+
hellaswag_ne:  22%|█████████████████████████▏                                                                                       | 65/292 [15:48<56:09, 14.84s/it]
+
hellaswag_ne:  23%|█████████████████████████▌                                                                                       | 66/292 [16:03<55:57, 14.85s/it]
+
hellaswag_ne:  23%|█████████████████████████▉                                                                                       | 67/292 [16:18<55:53, 14.90s/it]
+
hellaswag_ne:  23%|██████████████████████████▎                                                                                      | 68/292 [16:32<55:04, 14.75s/it]
+
hellaswag_ne:  24%|██████████████████████████▋                                                                                      | 69/292 [16:46<53:24, 14.37s/it]
+
hellaswag_ne:  24%|███████████████████████████                                                                                      | 70/292 [17:00<52:55, 14.30s/it]
+
hellaswag_ne:  24%|███████████████████████████▍                                                                                     | 71/292 [17:14<52:53, 14.36s/it]
+
hellaswag_ne:  25%|███████████████████████████▊                                                                                     | 72/292 [17:28<52:00, 14.18s/it]
+
hellaswag_ne:  25%|████████████████████████████▎                                                                                    | 73/292 [17:42<51:29, 14.11s/it]
+
hellaswag_ne:  25%|████████████████████████████▋                                                                                    | 74/292 [17:57<51:39, 14.22s/it]
+
hellaswag_ne:  26%|█████████████████████████████                                                                                    | 75/292 [18:12<53:00, 14.66s/it]
+
hellaswag_ne:  26%|█████████████████████████████▍                                                                                   | 76/292 [18:27<52:32, 14.59s/it]
+
hellaswag_ne:  26%|█████████████████████████████▊                                                                                   | 77/292 [18:42<52:37, 14.69s/it]
+
hellaswag_ne:  27%|██████████████████████████████▏                                                                                  | 78/292 [18:56<51:36, 14.47s/it]
+
hellaswag_ne:  27%|██████████████████████████████▌                                                                                  | 79/292 [19:11<51:59, 14.64s/it]
+
hellaswag_ne:  27%|██████████████████████████████▉                                                                                  | 80/292 [19:26<52:06, 14.75s/it]
+
hellaswag_ne:  28%|███████████████████████████████▎                                                                                 | 81/292 [19:41<52:37, 14.96s/it]
+
hellaswag_ne:  28%|███████████████████████████████▋                                                                                 | 82/292 [19:56<52:50, 15.10s/it]
+
hellaswag_ne:  28%|████████████████████████████████                                                                                 | 83/292 [20:09<50:14, 14.42s/it]
+
hellaswag_ne:  29%|████████████████████████████████▌                                                                                | 84/292 [20:24<49:52, 14.39s/it]
+
hellaswag_ne:  29%|████████████████████████████████▉                                                                                | 85/292 [20:39<50:29, 14.63s/it]
+
hellaswag_ne:  29%|█████████████████████████████████▎                                                                               | 86/292 [20:53<50:03, 14.58s/it]
+
hellaswag_ne:  30%|█████████████████████████████████▋                                                                               | 87/292 [21:08<49:55, 14.61s/it]
+
hellaswag_ne:  30%|██████████████████████████████████                                                                               | 88/292 [21:22<49:32, 14.57s/it]
+
hellaswag_ne:  30%|██████████████████████████████████▍                                                                              | 89/292 [21:37<48:56, 14.46s/it]
+
hellaswag_ne:  31%|██████████████████████████████████▊                                                                              | 90/292 [21:51<48:18, 14.35s/it]
+
hellaswag_ne:  31%|███████████████████████████████████▏                                                                             | 91/292 [22:04<47:08, 14.07s/it]
+
hellaswag_ne:  32%|███████████████████████████████████▌                                                                             | 92/292 [22:18<47:09, 14.15s/it]
+
hellaswag_ne:  32%|███████████████████████████████████▉                                                                             | 93/292 [22:32<46:35, 14.05s/it]
+
hellaswag_ne:  32%|████████████████████████████████████▍                                                                            | 94/292 [22:48<47:59, 14.54s/it]
+
hellaswag_ne:  33%|████████████████████████████████████▊                                                                            | 95/292 [23:01<46:30, 14.16s/it]
+
hellaswag_ne:  33%|█████████████████████████████████████▏                                                                           | 96/292 [23:16<47:09, 14.43s/it]
+
hellaswag_ne:  33%|█████████████████████████████████████▌                                                                           | 97/292 [23:31<46:59, 14.46s/it]
+
hellaswag_ne:  34%|█████████████████████████████████████▉                                                                           | 98/292 [23:45<46:27, 14.37s/it]
+
hellaswag_ne:  34%|██████████████████████████████████████▎                                                                          | 99/292 [24:01<47:25, 14.75s/it]
+
hellaswag_ne:  34%|██████████████████████████████████████▎                                                                         | 100/292 [24:15<46:28, 14.52s/it]
+
hellaswag_ne:  35%|██████████████████████████████████████▋                                                                         | 101/292 [24:29<46:27, 14.60s/it]
+
hellaswag_ne:  35%|███████████████████████████████████████                                                                         | 102/292 [24:44<45:55, 14.50s/it]
+
hellaswag_ne:  35%|███████████████████████████████████████▌                                                                        | 103/292 [24:59<46:12, 14.67s/it]
+
hellaswag_ne:  36%|███████████████████████████████████████▉                                                                        | 104/292 [25:14<46:26, 14.82s/it]
+
hellaswag_ne:  36%|████████████████████████████████████████▎                                                                       | 105/292 [25:29<46:40, 14.98s/it]
+
hellaswag_ne:  36%|████████████████████████████████████████▋                                                                       | 106/292 [25:44<46:27, 14.99s/it]
+
hellaswag_ne:  37%|█████████████████████████████████████████                                                                       | 107/292 [25:57<44:12, 14.34s/it]
+
hellaswag_ne:  37%|█████████████████████████████████████████▍                                                                      | 108/292 [26:11<43:20, 14.13s/it]
+
hellaswag_ne:  37%|█████████████████████████████████████████▊                                                                      | 109/292 [26:25<43:13, 14.17s/it]
+
hellaswag_ne:  38%|██████████████████████████████████████████▏                                                                     | 110/292 [26:40<43:42, 14.41s/it]
+
hellaswag_ne:  38%|██████████████████████████████████████████▌                                                                     | 111/292 [26:55<44:13, 14.66s/it]
+
hellaswag_ne:  38%|██████████████████████████████████████████▉                                                                     | 112/292 [27:10<44:10, 14.73s/it]
+
hellaswag_ne:  39%|███████████████████████████████████████████▎                                                                    | 113/292 [27:24<43:32, 14.60s/it]
+
hellaswag_ne:  39%|███████████████████████████████████████████▋                                                                    | 114/292 [27:39<43:15, 14.58s/it]
+
hellaswag_ne:  39%|████████████████████████████████████████████                                                                    | 115/292 [27:54<43:27, 14.73s/it]
+
hellaswag_ne:  40%|████████████████████████████████████████████▍                                                                   | 116/292 [28:09<43:43, 14.90s/it]
+
hellaswag_ne:  40%|████████████████████████████████████████████▉                                                                   | 117/292 [28:25<44:18, 15.19s/it]
+
hellaswag_ne:  40%|█████████████████████████████████████████████▎                                                                  | 118/292 [28:40<43:43, 15.08s/it]
+
hellaswag_ne:  41%|█████████████████████████████████████████████▋                                                                  | 119/292 [28:55<43:24, 15.05s/it]
+
hellaswag_ne:  41%|██████████████████████████████████████████████                                                                  | 120/292 [29:10<43:19, 15.11s/it]
+
hellaswag_ne:  41%|██████████████████████████████████████████████▍                                                                 | 121/292 [29:24<42:10, 14.80s/it]
+
hellaswag_ne:  42%|██████████████████████████████████████████████▊                                                                 | 122/292 [29:38<41:19, 14.59s/it]
+
hellaswag_ne:  42%|███████████████████████████████████████████████▏                                                                | 123/292 [29:54<41:58, 14.90s/it]
+
hellaswag_ne:  42%|███████████████████████████████████████████████▌                                                                | 124/292 [30:09<41:28, 14.82s/it]
+
hellaswag_ne:  43%|███████████████████████████████████████████████▉                                                                | 125/292 [30:25<42:16, 15.19s/it]
+
hellaswag_ne:  43%|████████████████████████████████████████████████▎                                                               | 126/292 [30:40<41:50, 15.12s/it]
+
hellaswag_ne:  43%|████████████████████████████████████████████████▋                                                               | 127/292 [30:54<41:21, 15.04s/it]
+
hellaswag_ne:  44%|█████████████████████████████████████████████████                                                               | 128/292 [31:08<40:02, 14.65s/it]
+
hellaswag_ne:  44%|█████████████████████████████████████████████████▍                                                              | 129/292 [31:24<40:19, 14.84s/it]
+
hellaswag_ne:  45%|█████████████████████████████████████████████████▊                                                              | 130/292 [31:38<39:27, 14.62s/it]
+
hellaswag_ne:  45%|██████████████████████████████████████████████████▏                                                             | 131/292 [31:53<39:57, 14.89s/it]
+
hellaswag_ne:  45%|██████████████████████████████████████████████████▋                                                             | 132/292 [32:07<39:10, 14.69s/it]
+
hellaswag_ne:  46%|███████████████████████████████████████████████████                                                             | 133/292 [32:21<38:20, 14.47s/it]
+
hellaswag_ne:  46%|███████████████████████████████████████████████████▍                                                            | 134/292 [32:36<37:55, 14.40s/it]
+
hellaswag_ne:  46%|███████████████████████████████████████████████████▊                                                            | 135/292 [32:50<37:52, 14.48s/it]
+
hellaswag_ne:  47%|████████████████████████████████████████████████████▏                                                           | 136/292 [33:04<37:23, 14.38s/it]
+
hellaswag_ne:  47%|████████████████████████████████████████████████████▌                                                           | 137/292 [33:19<37:04, 14.35s/it]
+
hellaswag_ne:  47%|████████████████████████████████████████████████████▉                                                           | 138/292 [33:34<37:48, 14.73s/it]
+
hellaswag_ne:  48%|█████████████████████████████████████████████████████▎                                                          | 139/292 [33:50<38:33, 15.12s/it]
+
hellaswag_ne:  48%|█████████████████████████████████████████████████████▋                                                          | 140/292 [34:04<37:18, 14.73s/it]
+
hellaswag_ne:  48%|██████████████████████████████████████████████████████                                                          | 141/292 [34:20<37:37, 14.95s/it]
+
hellaswag_ne:  49%|██████████████████████████████████████████████████████▍                                                         | 142/292 [34:33<36:28, 14.59s/it]
+
hellaswag_ne:  49%|██████████████████████████████████████████████████████▊                                                         | 143/292 [34:48<36:05, 14.53s/it]
+
hellaswag_ne:  49%|███████████████████████████████████████████████████████▏                                                        | 144/292 [35:02<35:45, 14.50s/it]
+
hellaswag_ne:  50%|███████████████████████████████████████████████████████▌                                                        | 145/292 [35:18<36:17, 14.81s/it]
+
hellaswag_ne:  50%|████████████████████████████████████████████████████████                                                        | 146/292 [35:32<35:42, 14.67s/it]
+
hellaswag_ne:  50%|████████████████████████████████████████████████████████▍                                                       | 147/292 [35:47<35:32, 14.71s/it]
+
hellaswag_ne:  51%|████████████████████████████████████████████████████████▊                                                       | 148/292 [36:01<35:14, 14.68s/it]
+
hellaswag_ne:  51%|█████████████████████████████████████████████████████████▏                                                      | 149/292 [36:17<35:46, 15.01s/it]
+
hellaswag_ne:  51%|█████████████████████████████████████████████████████████▌                                                      | 150/292 [36:33<36:08, 15.27s/it]
+
hellaswag_ne:  52%|█████████████████████████████████████████████████████████▉                                                      | 151/292 [36:47<35:09, 14.96s/it]
+
hellaswag_ne:  52%|██████████████████████████████████████████████████████████▎                                                     | 152/292 [37:02<34:43, 14.88s/it]
+
hellaswag_ne:  52%|██████████████████████████████████████████████████████████▋                                                     | 153/292 [37:18<35:00, 15.11s/it]
+
hellaswag_ne:  53%|███████████████████████████████████████████████████████████                                                     | 154/292 [37:32<34:08, 14.85s/it]
+
hellaswag_ne:  53%|███████████████████████████████████████████████████████████▍                                                    | 155/292 [37:46<33:20, 14.60s/it]
+
hellaswag_ne:  53%|███████████████████████████████████████████████████████████▊                                                    | 156/292 [38:00<32:31, 14.35s/it]
+
hellaswag_ne:  54%|████████████████████████████████████████████████████████████▏                                                   | 157/292 [38:16<33:16, 14.79s/it]
+
hellaswag_ne:  54%|████████████████████████████████████████████████████████████▌                                                   | 158/292 [38:30<33:04, 14.81s/it]
+
hellaswag_ne:  54%|████████████████████████████████████████████████████████████▉                                                   | 159/292 [38:45<32:33, 14.69s/it]
+
hellaswag_ne:  55%|█████████████████████████████████████████████████████████████▎                                                  | 160/292 [38:58<31:24, 14.27s/it]
+
hellaswag_ne:  55%|█████████████████████████████████████████████████████████████▊                                                  | 161/292 [39:13<31:22, 14.37s/it]
+
hellaswag_ne:  55%|██████████████████████████████████████████████████████████████▏                                                 | 162/292 [39:27<30:56, 14.28s/it]
+
hellaswag_ne:  56%|██████████████████████████████████████████████████████████████▌                                                 | 163/292 [39:42<31:00, 14.42s/it]
+
hellaswag_ne:  56%|██████████████████████████████████████████████████████████████▉                                                 | 164/292 [39:58<31:56, 14.97s/it]
+
hellaswag_ne:  57%|███████████████████████████████████████████████████████████████▎                                                | 165/292 [40:13<31:55, 15.08s/it]
+
hellaswag_ne:  57%|███████████████████████████████████████████████████████████████▋                                                | 166/292 [40:28<31:30, 15.00s/it]
+
hellaswag_ne:  57%|████████████████████████████████████████████████████████████████                                                | 167/292 [40:42<30:36, 14.69s/it]
+
hellaswag_ne:  58%|████████████████████████████████████████████████████████████████▍                                               | 168/292 [40:56<30:04, 14.56s/it]
+
hellaswag_ne:  58%|████████████████████████████████████████████████████████████████▊                                               | 169/292 [41:10<29:33, 14.42s/it]
+
hellaswag_ne:  58%|█████████████████████████████████████████████████████████████████▏                                              | 170/292 [41:24<29:10, 14.35s/it]
+
hellaswag_ne:  59%|█████████████████████████████████████████████████████████████████▌                                              | 171/292 [41:38<28:30, 14.14s/it]
+
hellaswag_ne:  59%|█████████████████████████████████████████████████████████████████▉                                              | 172/292 [41:53<28:36, 14.31s/it]
+
hellaswag_ne:  59%|██████████████████████████████████████████████████████████████████▎                                             | 173/292 [42:07<28:20, 14.29s/it]
+
hellaswag_ne:  60%|██████████████████████████████████████████████████████████████████▋                                             | 174/292 [42:21<28:02, 14.25s/it]
+
hellaswag_ne:  60%|███████████████████████████████████████████████████████████████████                                             | 175/292 [42:36<28:08, 14.44s/it]
+
hellaswag_ne:  60%|███████████████████████████████████████████████████████████████████▌                                            | 176/292 [42:50<27:47, 14.37s/it]
+
hellaswag_ne:  61%|███████████████████████████████████████████████████████████████████▉                                            | 177/292 [43:04<27:10, 14.18s/it]
+
hellaswag_ne:  61%|████████████████████████████████████████████████████████████████████▎                                           | 178/292 [43:17<26:26, 13.91s/it]
+
hellaswag_ne:  61%|████████████████████████████████████████████████████████████████████▋                                           | 179/292 [43:32<26:48, 14.24s/it]
+
hellaswag_ne:  62%|█████████████████████████████████████████████████████████████████████                                           | 180/292 [43:47<27:03, 14.50s/it]
+
hellaswag_ne:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 181/292 [44:02<26:47, 14.48s/it]
+
hellaswag_ne:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 182/292 [44:17<26:41, 14.56s/it]
+
hellaswag_ne:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 183/292 [44:32<26:49, 14.77s/it]
+
hellaswag_ne:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 184/292 [44:45<25:54, 14.39s/it]
+
hellaswag_ne:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 185/292 [44:59<25:07, 14.09s/it]
+
hellaswag_ne:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 186/292 [45:13<25:01, 14.17s/it]
+
hellaswag_ne:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 187/292 [45:28<25:10, 14.39s/it]
+
hellaswag_ne:  64%|████████████████████████████████████████████████████████████████████████                                        | 188/292 [45:45<26:05, 15.05s/it]
+
hellaswag_ne:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 189/292 [46:00<25:46, 15.02s/it]
+
hellaswag_ne:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 190/292 [46:13<24:45, 14.57s/it]
+
hellaswag_ne:  65%|█████████████████████████████████████████████████████████████████████████▎                                      | 191/292 [46:27<23:59, 14.25s/it]
+
hellaswag_ne:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 192/292 [46:42<24:10, 14.51s/it]
+
hellaswag_ne:  66%|██████████████████████████████████████████████████████████████████████████                                      | 193/292 [46:58<24:42, 14.97s/it]
+
hellaswag_ne:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 194/292 [47:12<23:59, 14.68s/it]
+
hellaswag_ne:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 195/292 [47:27<24:03, 14.88s/it]
+
hellaswag_ne:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 196/292 [47:40<23:02, 14.41s/it]
+
hellaswag_ne:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 197/292 [47:56<23:16, 14.70s/it]
+
hellaswag_ne:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 198/292 [48:11<23:09, 14.78s/it]
+
hellaswag_ne:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 199/292 [48:25<22:53, 14.77s/it]
+
hellaswag_ne:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 200/292 [48:39<22:02, 14.37s/it]
+
hellaswag_ne:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 201/292 [48:53<21:45, 14.34s/it]
+
hellaswag_ne:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 202/292 [49:07<21:11, 14.13s/it]
+
hellaswag_ne:  70%|█████████████████████████████████████████████████████████████████████████████▊                                  | 203/292 [49:21<20:52, 14.07s/it]
+
hellaswag_ne:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 204/292 [49:35<20:52, 14.23s/it]
+
hellaswag_ne:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 205/292 [49:50<20:59, 14.48s/it]
+
hellaswag_ne:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 206/292 [50:05<20:57, 14.63s/it]
+
hellaswag_ne:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 207/292 [50:19<20:08, 14.22s/it]
+
hellaswag_ne:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 208/292 [50:34<20:12, 14.44s/it]
+
hellaswag_ne:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 209/292 [50:50<20:35, 14.88s/it]
+
hellaswag_ne:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 210/292 [51:04<20:13, 14.80s/it]
+
hellaswag_ne:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 211/292 [51:19<19:58, 14.80s/it]
+
hellaswag_ne:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 212/292 [51:34<20:01, 15.02s/it]
+
hellaswag_ne:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 213/292 [51:50<20:09, 15.30s/it]
+
hellaswag_ne:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 214/292 [52:06<20:06, 15.47s/it]
+
hellaswag_ne:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 215/292 [52:21<19:24, 15.12s/it]
+
hellaswag_ne:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 216/292 [52:35<18:47, 14.84s/it]
+
hellaswag_ne:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 217/292 [52:49<18:15, 14.61s/it]
+
hellaswag_ne:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 218/292 [53:03<18:00, 14.60s/it]
+
hellaswag_ne:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 219/292 [53:18<17:36, 14.47s/it]
+
hellaswag_ne:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 220/292 [53:32<17:12, 14.33s/it]
+
hellaswag_ne:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 221/292 [53:46<17:07, 14.48s/it]
+
hellaswag_ne:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 222/292 [54:01<16:54, 14.50s/it]
+
hellaswag_ne:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 223/292 [54:16<16:52, 14.68s/it]
+
hellaswag_ne:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 224/292 [54:30<16:29, 14.55s/it]
+
hellaswag_ne:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 225/292 [54:45<16:12, 14.52s/it]
+
hellaswag_ne:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 226/292 [55:01<16:22, 14.88s/it]
+
hellaswag_ne:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 227/292 [55:15<15:54, 14.68s/it]
+
hellaswag_ne:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 228/292 [55:29<15:36, 14.64s/it]
+
hellaswag_ne:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 229/292 [55:43<15:14, 14.51s/it]
+
hellaswag_ne:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 230/292 [55:58<15:06, 14.62s/it]
+
hellaswag_ne:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 231/292 [56:13<14:45, 14.51s/it]
+
hellaswag_ne:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 232/292 [56:27<14:35, 14.58s/it]
+
hellaswag_ne:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 233/292 [56:42<14:28, 14.72s/it]
+
hellaswag_ne:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 234/292 [56:57<14:09, 14.65s/it]
+
hellaswag_ne:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 235/292 [57:11<13:37, 14.35s/it]
+
hellaswag_ne:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 236/292 [57:27<14:04, 15.08s/it]
+
hellaswag_ne:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 237/292 [57:41<13:33, 14.80s/it]
+
hellaswag_ne:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 238/292 [57:57<13:29, 15.00s/it]
+
hellaswag_ne:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 239/292 [58:11<13:02, 14.77s/it]
+
hellaswag_ne:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 240/292 [58:26<12:43, 14.69s/it]
+
hellaswag_ne:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 241/292 [58:40<12:26, 14.64s/it]
+
hellaswag_ne:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 242/292 [58:56<12:22, 14.84s/it]
+
hellaswag_ne:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 243/292 [59:11<12:15, 15.01s/it]
+
hellaswag_ne:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 244/292 [59:26<12:08, 15.17s/it]
+
hellaswag_ne:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 245/292 [59:41<11:49, 15.11s/it]
+
hellaswag_ne:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 246/292 [59:56<11:32, 15.05s/it]
+
hellaswag_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████                 | 247/292 [1:00:11<11:15, 15.00s/it]
+
hellaswag_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▍                | 248/292 [1:00:26<10:55, 14.90s/it]
+
hellaswag_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▊                | 249/292 [1:00:41<10:40, 14.90s/it]
+
hellaswag_ne:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▏               | 250/292 [1:00:56<10:32, 15.05s/it]
+
hellaswag_ne:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▌               | 251/292 [1:01:11<10:19, 15.11s/it]
+
hellaswag_ne:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▉               | 252/292 [1:01:26<10:02, 15.07s/it]
+
hellaswag_ne:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▎              | 253/292 [1:01:40<09:31, 14.65s/it]
+
hellaswag_ne:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▋              | 254/292 [1:01:55<09:15, 14.62s/it]
+
hellaswag_ne:  87%|████████████████████████████████████████████████████████████████████████████████████████████████              | 255/292 [1:02:09<08:59, 14.58s/it]
+
hellaswag_ne:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▍             | 256/292 [1:02:25<08:56, 14.91s/it]
+
hellaswag_ne:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▊             | 257/292 [1:02:39<08:32, 14.63s/it]
+
hellaswag_ne:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████▏            | 258/292 [1:02:54<08:20, 14.73s/it]
+
hellaswag_ne:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌            | 259/292 [1:03:08<08:02, 14.61s/it]
+
hellaswag_ne:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▉            | 260/292 [1:03:23<07:46, 14.58s/it]
+
hellaswag_ne:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎           | 261/292 [1:03:37<07:26, 14.41s/it]
+
hellaswag_ne:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋           | 262/292 [1:03:51<07:10, 14.34s/it]
+
hellaswag_ne:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████           | 263/292 [1:04:06<07:06, 14.71s/it]
+
hellaswag_ne:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▍          | 264/292 [1:04:22<06:55, 14.84s/it]
+
hellaswag_ne:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▊          | 265/292 [1:04:36<06:39, 14.78s/it]
+
hellaswag_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 266/292 [1:04:50<06:18, 14.56s/it]
+
hellaswag_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 267/292 [1:05:05<06:06, 14.67s/it]
+
hellaswag_ne:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 268/292 [1:05:19<05:45, 14.40s/it]
+
hellaswag_ne:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 269/292 [1:05:32<05:25, 14.15s/it]
+
hellaswag_ne:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 270/292 [1:05:46<05:10, 14.10s/it]
+
hellaswag_ne:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 271/292 [1:06:01<05:02, 14.39s/it]
+
hellaswag_ne:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 272/292 [1:06:15<04:44, 14.21s/it]
+
hellaswag_ne:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 273/292 [1:06:30<04:35, 14.48s/it]
+
hellaswag_ne:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 274/292 [1:06:46<04:26, 14.78s/it]
+
hellaswag_ne:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 275/292 [1:06:59<04:04, 14.36s/it]
+
hellaswag_ne:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 276/292 [1:07:13<03:47, 14.23s/it]
+
hellaswag_ne:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 277/292 [1:07:28<03:37, 14.49s/it]
+
hellaswag_ne:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 278/292 [1:07:44<03:26, 14.76s/it]
+
hellaswag_ne:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████     | 279/292 [1:07:57<03:06, 14.35s/it]
+
hellaswag_ne:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 280/292 [1:08:12<02:55, 14.65s/it]
+
hellaswag_ne:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 281/292 [1:08:27<02:40, 14.61s/it]
+
hellaswag_ne:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 282/292 [1:08:41<02:23, 14.31s/it]
+
hellaswag_ne:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 283/292 [1:08:55<02:10, 14.51s/it]
+
hellaswag_ne:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 284/292 [1:09:10<01:55, 14.46s/it]
+
hellaswag_ne:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 285/292 [1:09:26<01:44, 14.98s/it]
+
hellaswag_ne:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 286/292 [1:09:40<01:28, 14.67s/it]
+
hellaswag_ne:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 287/292 [1:09:54<01:12, 14.56s/it]
+
hellaswag_ne:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 288/292 [1:10:07<00:55, 13.94s/it]
+
hellaswag_ne:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 289/292 [1:10:22<00:42, 14.33s/it]
+
hellaswag_ne:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 290/292 [1:10:36<00:28, 14.28s/it]
+
hellaswag_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 291/292 [1:10:51<00:14, 14.31s/it]
+
hellaswag_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [1:10:57<00:00, 11.99s/it]
hellaswag_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 292/292 [1:10:57<00:00, 14.58s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ne_acc 0.2630392788151964
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ne_acc_norm 0.29126421978965444
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:02:07,843 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:02:07,843 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:07,975 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:02:07,975 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:08,106 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:02:08,106 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:08,237 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:02:08,238 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 04:02:08,238 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 04:02:08,370 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 04:02:08,370 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ne_acc'}
+2024-05-30 04:02:08,437 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 04:02:08,437 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1177, 'value': 0.2630392788151964}
+2024-05-30 04:02:08,503 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:02:09,158 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:02:09,158 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:09,287 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:02:09,287 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:09,416 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:02:09,416 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 04:02:09,545 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 04:02:09,675 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 04:02:09,675 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ne_acc_norm'}
+2024-05-30 04:02:09,740 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 04:02:09,741 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1178, 'value': 0.29126421978965444}
+2024-05-30 04:02:09,806 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  40%|███████████████████████████████████████████▌                                                                | 50/124 [21:14:39<88:32:16, 4307.25s/it]['hellaswag_nl']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:02:10,450 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:02:10,450 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:10,576 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:02:10,576 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:10,702 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:02:10,702 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:02:10,828 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:02:10,829 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 04:02:10,829 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_nl'}
+2024-05-30 04:02:10,956 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_nl task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.90s/ examples]
+
Generating validation split: 1777 examples [00:03, 833.04 examples/s]
+
Generating validation split: 3509 examples [00:03, 1868.00 examples/s]
+
Generating validation split: 5249 examples [00:03, 3146.11 examples/s]
+
Generating validation split: 7000 examples [00:03, 4649.81 examples/s]
+
Generating validation split: 9000 examples [00:03, 6539.71 examples/s]
Generating validation split: 9265 examples [00:03, 2692.42 examples/s]
+Loaded 9265 examples
+Running loglikelihood requests
+
+
hellaswag_nl:   0%|                                                                                                                          | 0/290 [00:00<?, ?it/s]
+
hellaswag_nl:   0%|▍                                                                                                                 | 1/290 [00:08<40:48,  8.47s/it]
+
hellaswag_nl:   1%|▊                                                                                                                 | 2/290 [00:16<40:00,  8.34s/it]
+
hellaswag_nl:   1%|█▏                                                                                                                | 3/290 [00:24<39:05,  8.17s/it]
+
hellaswag_nl:   1%|█▌                                                                                                                | 4/290 [00:33<39:59,  8.39s/it]
+
hellaswag_nl:   2%|█▉                                                                                                                | 5/290 [00:41<39:00,  8.21s/it]
+
hellaswag_nl:   2%|██▎                                                                                                               | 6/290 [00:49<38:51,  8.21s/it]
+
hellaswag_nl:   2%|██▊                                                                                                               | 7/290 [00:57<38:10,  8.10s/it]
+
hellaswag_nl:   3%|███▏                                                                                                              | 8/290 [01:05<37:48,  8.05s/it]
+
hellaswag_nl:   3%|███▌                                                                                                              | 9/290 [01:13<37:36,  8.03s/it]
+
hellaswag_nl:   3%|███▉                                                                                                             | 10/290 [01:22<39:19,  8.43s/it]
+
hellaswag_nl:   4%|████▎                                                                                                            | 11/290 [01:31<39:57,  8.59s/it]
+
hellaswag_nl:   4%|████▋                                                                                                            | 12/290 [01:39<39:03,  8.43s/it]
+
hellaswag_nl:   4%|█████                                                                                                            | 13/290 [01:47<38:43,  8.39s/it]
+
hellaswag_nl:   5%|█████▍                                                                                                           | 14/290 [01:56<38:48,  8.44s/it]
+
hellaswag_nl:   5%|█████▊                                                                                                           | 15/290 [02:04<37:58,  8.28s/it]
+
hellaswag_nl:   6%|██████▏                                                                                                          | 16/290 [02:12<37:15,  8.16s/it]
+
hellaswag_nl:   6%|██████▌                                                                                                          | 17/290 [02:20<37:44,  8.29s/it]
+
hellaswag_nl:   6%|███████                                                                                                          | 18/290 [02:28<37:03,  8.17s/it]
+
hellaswag_nl:   7%|███████▍                                                                                                         | 19/290 [02:36<36:38,  8.11s/it]
+
hellaswag_nl:   7%|███████▊                                                                                                         | 20/290 [02:44<36:14,  8.05s/it]
+
hellaswag_nl:   7%|████████▏                                                                                                        | 21/290 [02:52<36:14,  8.08s/it]
+
hellaswag_nl:   8%|████████▌                                                                                                        | 22/290 [03:00<35:55,  8.04s/it]
+
hellaswag_nl:   8%|████████▉                                                                                                        | 23/290 [03:08<35:44,  8.03s/it]
+
hellaswag_nl:   8%|█████████▎                                                                                                       | 24/290 [03:16<35:31,  8.01s/it]
+
hellaswag_nl:   9%|█████████▋                                                                                                       | 25/290 [03:24<35:20,  8.00s/it]
+
hellaswag_nl:   9%|██████████▏                                                                                                      | 26/290 [03:32<35:05,  7.98s/it]
+
hellaswag_nl:   9%|██████████▌                                                                                                      | 27/290 [03:40<34:58,  7.98s/it]
+
hellaswag_nl:  10%|██████████▉                                                                                                      | 28/290 [03:49<36:17,  8.31s/it]
+
hellaswag_nl:  10%|███████████▎                                                                                                     | 29/290 [03:57<35:43,  8.21s/it]
+
hellaswag_nl:  10%|███████████▋                                                                                                     | 30/290 [04:05<35:22,  8.16s/it]
+
hellaswag_nl:  11%|████████████                                                                                                     | 31/290 [04:14<35:50,  8.30s/it]
+
hellaswag_nl:  11%|████████████▍                                                                                                    | 32/290 [04:22<35:41,  8.30s/it]
+
hellaswag_nl:  11%|████████████▊                                                                                                    | 33/290 [04:31<35:45,  8.35s/it]
+
hellaswag_nl:  12%|█████████████▏                                                                                                   | 34/290 [04:39<35:02,  8.21s/it]
+
hellaswag_nl:  12%|█████████████▋                                                                                                   | 35/290 [04:47<34:38,  8.15s/it]
+
hellaswag_nl:  12%|██████████████                                                                                                   | 36/290 [04:55<35:09,  8.31s/it]
+
hellaswag_nl:  13%|██████████████▍                                                                                                  | 37/290 [05:04<35:24,  8.40s/it]
+
hellaswag_nl:  13%|██████████████▊                                                                                                  | 38/290 [05:13<36:27,  8.68s/it]
+
hellaswag_nl:  13%|███████████████▏                                                                                                 | 39/290 [05:21<35:38,  8.52s/it]
+
hellaswag_nl:  14%|███████████████▌                                                                                                 | 40/290 [05:30<35:25,  8.50s/it]
+
hellaswag_nl:  14%|███████████████▉                                                                                                 | 41/290 [05:38<34:32,  8.32s/it]
+
hellaswag_nl:  14%|████████████████▎                                                                                                | 42/290 [05:46<34:38,  8.38s/it]
+
hellaswag_nl:  15%|████████████████▊                                                                                                | 43/290 [05:55<34:29,  8.38s/it]
+
hellaswag_nl:  15%|█████████████████▏                                                                                               | 44/290 [06:03<34:36,  8.44s/it]
+
hellaswag_nl:  16%|█████████████████▌                                                                                               | 45/290 [06:12<34:43,  8.50s/it]
+
hellaswag_nl:  16%|█████████████████▉                                                                                               | 46/290 [06:20<33:47,  8.31s/it]
+
hellaswag_nl:  16%|██████████████████▎                                                                                              | 47/290 [06:28<33:37,  8.30s/it]
+
hellaswag_nl:  17%|██████████████████▋                                                                                              | 48/290 [06:36<32:58,  8.18s/it]
+
hellaswag_nl:  17%|███████████████████                                                                                              | 49/290 [06:44<33:25,  8.32s/it]
+
hellaswag_nl:  17%|███████████████████▍                                                                                             | 50/290 [06:52<32:49,  8.21s/it]
+
hellaswag_nl:  18%|███████████████████▊                                                                                             | 51/290 [07:01<33:15,  8.35s/it]
+
hellaswag_nl:  18%|████████████████████▎                                                                                            | 52/290 [07:09<32:52,  8.29s/it]
+
hellaswag_nl:  18%|████████████████████▋                                                                                            | 53/290 [07:17<32:29,  8.23s/it]
+
hellaswag_nl:  19%|█████████████████████                                                                                            | 54/290 [07:26<32:44,  8.33s/it]
+
hellaswag_nl:  19%|█████████████████████▍                                                                                           | 55/290 [07:34<32:16,  8.24s/it]
+
hellaswag_nl:  19%|█████████████████████▊                                                                                           | 56/290 [07:42<31:49,  8.16s/it]
+
hellaswag_nl:  20%|██████████████████████▏                                                                                          | 57/290 [07:50<31:25,  8.09s/it]
+
hellaswag_nl:  20%|██████████████████████▌                                                                                          | 58/290 [07:58<31:07,  8.05s/it]
+
hellaswag_nl:  20%|██████████████████████▉                                                                                          | 59/290 [08:06<31:15,  8.12s/it]
+
hellaswag_nl:  21%|███████████████████████▍                                                                                         | 60/290 [08:15<31:47,  8.29s/it]
+
hellaswag_nl:  21%|███████████████████████▊                                                                                         | 61/290 [08:24<32:47,  8.59s/it]
+
hellaswag_nl:  21%|████████████████████████▏                                                                                        | 62/290 [08:32<32:14,  8.48s/it]
+
hellaswag_nl:  22%|████████████████████████▌                                                                                        | 63/290 [08:40<31:30,  8.33s/it]
+
hellaswag_nl:  22%|████████████████████████▉                                                                                        | 64/290 [08:48<30:53,  8.20s/it]
+
hellaswag_nl:  22%|█████████████████████████▎                                                                                       | 65/290 [08:56<30:25,  8.11s/it]
+
hellaswag_nl:  23%|█████████████████████████▋                                                                                       | 66/290 [09:05<31:18,  8.39s/it]
+
hellaswag_nl:  23%|██████████████████████████                                                                                       | 67/290 [09:14<31:30,  8.48s/it]
+
hellaswag_nl:  23%|██████████████████████████▍                                                                                      | 68/290 [09:22<30:56,  8.36s/it]
+
hellaswag_nl:  24%|██████████████████████████▉                                                                                      | 69/290 [09:30<30:21,  8.24s/it]
+
hellaswag_nl:  24%|███████████████████████████▎                                                                                     | 70/290 [09:38<30:32,  8.33s/it]
+
hellaswag_nl:  24%|███████████████████████████▋                                                                                     | 71/290 [09:47<30:38,  8.39s/it]
+
hellaswag_nl:  25%|████████████████████████████                                                                                     | 72/290 [09:56<30:48,  8.48s/it]
+
hellaswag_nl:  25%|████████████████████████████▍                                                                                    | 73/290 [10:04<30:53,  8.54s/it]
+
hellaswag_nl:  26%|████████████████████████████▊                                                                                    | 74/290 [10:13<30:55,  8.59s/it]
+
hellaswag_nl:  26%|█████████████████████████████▏                                                                                   | 75/290 [10:22<30:54,  8.63s/it]
+
hellaswag_nl:  26%|█████████████████████████████▌                                                                                   | 76/290 [10:30<30:25,  8.53s/it]
+
hellaswag_nl:  27%|██████████████████████████████                                                                                   | 77/290 [10:38<29:36,  8.34s/it]
+
hellaswag_nl:  27%|██████████████████████████████▍                                                                                  | 78/290 [10:46<29:33,  8.37s/it]
+
hellaswag_nl:  27%|██████████████████████████████▊                                                                                  | 79/290 [10:54<29:00,  8.25s/it]
+
hellaswag_nl:  28%|███████████████████████████████▏                                                                                 | 80/290 [11:03<28:58,  8.28s/it]
+
hellaswag_nl:  28%|███████████████████████████████▌                                                                                 | 81/290 [11:11<29:21,  8.43s/it]
+
hellaswag_nl:  28%|███████████████████████████████▉                                                                                 | 82/290 [11:19<28:47,  8.31s/it]
+
hellaswag_nl:  29%|████████████████████████████████▎                                                                                | 83/290 [11:28<28:27,  8.25s/it]
+
hellaswag_nl:  29%|████████████████████████████████▋                                                                                | 84/290 [11:35<27:56,  8.14s/it]
+
hellaswag_nl:  29%|█████████████████████████████████                                                                                | 85/290 [11:44<28:22,  8.30s/it]
+
hellaswag_nl:  30%|█████████████████████████████████▌                                                                               | 86/290 [11:52<27:46,  8.17s/it]
+
hellaswag_nl:  30%|█████████████████████████████████▉                                                                               | 87/290 [12:00<27:25,  8.11s/it]
+
hellaswag_nl:  30%|██████████████████████████████████▎                                                                              | 88/290 [12:08<27:15,  8.09s/it]
+
hellaswag_nl:  31%|██████████████████████████████████▋                                                                              | 89/290 [12:16<27:24,  8.18s/it]
+
hellaswag_nl:  31%|███████████████████████████████████                                                                              | 90/290 [12:25<28:10,  8.45s/it]
+
hellaswag_nl:  31%|███████████████████████████████████▍                                                                             | 91/290 [12:33<27:31,  8.30s/it]
+
hellaswag_nl:  32%|███████████████████████████████████▊                                                                             | 92/290 [12:41<27:09,  8.23s/it]
+
hellaswag_nl:  32%|████████████████████████████████████▏                                                                            | 93/290 [12:50<27:30,  8.38s/it]
+
hellaswag_nl:  32%|████████████████████████████████████▋                                                                            | 94/290 [12:58<26:57,  8.25s/it]
+
hellaswag_nl:  33%|█████████████████████████████████████                                                                            | 95/290 [13:06<26:51,  8.26s/it]
+
hellaswag_nl:  33%|█████████████████████████████████████▍                                                                           | 96/290 [13:14<26:22,  8.16s/it]
+
hellaswag_nl:  33%|█████████████████████████████████████▊                                                                           | 97/290 [13:22<25:58,  8.08s/it]
+
hellaswag_nl:  34%|██████████████████████████████████████▏                                                                          | 98/290 [13:31<26:16,  8.21s/it]
+
hellaswag_nl:  34%|██████████████████████████████████████▌                                                                          | 99/290 [13:39<25:58,  8.16s/it]
+
hellaswag_nl:  34%|██████████████████████████████████████▌                                                                         | 100/290 [13:47<25:49,  8.16s/it]
+
hellaswag_nl:  35%|███████████████████████████████████████                                                                         | 101/290 [13:55<25:27,  8.08s/it]
+
hellaswag_nl:  35%|███████████████████████████████████████▍                                                                        | 102/290 [14:03<25:06,  8.01s/it]
+
hellaswag_nl:  36%|███████████████████████████████████████▊                                                                        | 103/290 [14:11<24:45,  7.95s/it]
+
hellaswag_nl:  36%|████████████████████████████████████████▏                                                                       | 104/290 [14:19<24:41,  7.96s/it]
+
hellaswag_nl:  36%|████████████████████████████████████████▌                                                                       | 105/290 [14:26<24:34,  7.97s/it]
+
hellaswag_nl:  37%|████████████████████████████████████████▉                                                                       | 106/290 [14:35<24:49,  8.10s/it]
+
hellaswag_nl:  37%|█████████████████████████████████████████▎                                                                      | 107/290 [14:43<24:31,  8.04s/it]
+
hellaswag_nl:  37%|█████████████████████████████████████████▋                                                                      | 108/290 [14:51<24:30,  8.08s/it]
+
hellaswag_nl:  38%|██████████████████████████████████████████                                                                      | 109/290 [14:59<24:24,  8.09s/it]
+
hellaswag_nl:  38%|██████████████████████████████████████████▍                                                                     | 110/290 [15:07<24:07,  8.04s/it]
+
hellaswag_nl:  38%|██████████████████████████████████████████▊                                                                     | 111/290 [15:15<23:58,  8.03s/it]
+
hellaswag_nl:  39%|███████████████████████████████████████████▎                                                                    | 112/290 [15:24<24:37,  8.30s/it]
+
hellaswag_nl:  39%|███████████████████████████████████████████▋                                                                    | 113/290 [15:32<24:09,  8.19s/it]
+
hellaswag_nl:  39%|████████████████████████████████████████████                                                                    | 114/290 [15:40<23:44,  8.09s/it]
+
hellaswag_nl:  40%|████████████████████████████████████████████▍                                                                   | 115/290 [15:48<23:22,  8.02s/it]
+
hellaswag_nl:  40%|████████████████████████████████████████████▊                                                                   | 116/290 [15:56<23:26,  8.08s/it]
+
hellaswag_nl:  40%|█████████████████████████████████████████████▏                                                                  | 117/290 [16:04<23:10,  8.04s/it]
+
hellaswag_nl:  41%|█████████████████████████████████████████████▌                                                                  | 118/290 [16:12<22:49,  7.96s/it]
+
hellaswag_nl:  41%|█████████████████████████████████████████████▉                                                                  | 119/290 [16:20<22:45,  7.99s/it]
+
hellaswag_nl:  41%|██████████████████████████████████████████████▎                                                                 | 120/290 [16:29<23:41,  8.36s/it]
+
hellaswag_nl:  42%|██████████████████████████████████████████████▋                                                                 | 121/290 [16:37<23:09,  8.22s/it]
+
hellaswag_nl:  42%|███████████████████████████████████████████████                                                                 | 122/290 [16:45<22:46,  8.13s/it]
+
hellaswag_nl:  42%|███████████████████████████████████████████████▌                                                                | 123/290 [16:52<22:23,  8.04s/it]
+
hellaswag_nl:  43%|███████████████████████████████████████████████▉                                                                | 124/290 [17:01<22:18,  8.06s/it]
+
hellaswag_nl:  43%|████████████████████████████████████████████████▎                                                               | 125/290 [17:09<22:09,  8.06s/it]
+
hellaswag_nl:  43%|████████████████████████████████████████████████▋                                                               | 126/290 [17:17<21:54,  8.02s/it]
+
hellaswag_nl:  44%|█████████████████████████████████████████████████                                                               | 127/290 [17:25<22:05,  8.13s/it]
+
hellaswag_nl:  44%|█████████████████████████████████████████████████▍                                                              | 128/290 [17:34<22:19,  8.27s/it]
+
hellaswag_nl:  44%|█████████████████████████████████████████████████▊                                                              | 129/290 [17:42<22:16,  8.30s/it]
+
hellaswag_nl:  45%|██████████████████████████████████████████████████▏                                                             | 130/290 [17:50<21:47,  8.17s/it]
+
hellaswag_nl:  45%|██████████████████████████████████████████████████▌                                                             | 131/290 [17:58<21:28,  8.10s/it]
+
hellaswag_nl:  46%|██████████████████████████████████████████████████▉                                                             | 132/290 [18:06<21:20,  8.10s/it]
+
hellaswag_nl:  46%|███████████████████████████████████████████████████▎                                                            | 133/290 [18:14<21:01,  8.03s/it]
+
hellaswag_nl:  46%|███████████████████████████████████████████████████▊                                                            | 134/290 [18:22<21:09,  8.14s/it]
+
hellaswag_nl:  47%|████████████████████████████████████████████████████▏                                                           | 135/290 [18:30<20:47,  8.05s/it]
+
hellaswag_nl:  47%|████████████████████████████████████████████████████▌                                                           | 136/290 [18:38<20:34,  8.02s/it]
+
hellaswag_nl:  47%|████████████████████████████████████████████████████▉                                                           | 137/290 [18:46<20:22,  7.99s/it]
+
hellaswag_nl:  48%|█████████████████████████████████████████████████████▎                                                          | 138/290 [18:54<20:12,  7.98s/it]
+
hellaswag_nl:  48%|█████████████████████████████████████████████████████▋                                                          | 139/290 [19:02<19:58,  7.94s/it]
+
hellaswag_nl:  48%|██████████████████████████████████████████████████████                                                          | 140/290 [19:10<19:54,  7.96s/it]
+
hellaswag_nl:  49%|██████████████████████████████████████████████████████▍                                                         | 141/290 [19:18<20:15,  8.15s/it]
+
hellaswag_nl:  49%|██████████████████████████████████████████████████████▊                                                         | 142/290 [19:27<20:23,  8.27s/it]
+
hellaswag_nl:  49%|███████████████████████████████████████████████████████▏                                                        | 143/290 [19:35<19:59,  8.16s/it]
+
hellaswag_nl:  50%|███████████████████████████████████████████████████████▌                                                        | 144/290 [19:43<19:41,  8.09s/it]
+
hellaswag_nl:  50%|████████████████████████████████████████████████████████                                                        | 145/290 [19:51<20:02,  8.29s/it]
+
hellaswag_nl:  50%|████████████████████████████████████████████████████████▍                                                       | 146/290 [19:59<19:39,  8.19s/it]
+
hellaswag_nl:  51%|████████████████████████████████████████████████████████▊                                                       | 147/290 [20:07<19:25,  8.15s/it]
+
hellaswag_nl:  51%|█████████████████████████████████████████████████████████▏                                                      | 148/290 [20:15<19:09,  8.09s/it]
+
hellaswag_nl:  51%|█████████████████████████████████████████████████████████▌                                                      | 149/290 [20:23<19:01,  8.09s/it]
+
hellaswag_nl:  52%|█████████████████████████████████████████████████████████▉                                                      | 150/290 [20:31<18:43,  8.02s/it]
+
hellaswag_nl:  52%|██████████████████████████████████████████████████████████▎                                                     | 151/290 [20:40<18:47,  8.11s/it]
+
hellaswag_nl:  52%|██████████████████████████████████████████████████████████▋                                                     | 152/290 [20:48<19:00,  8.27s/it]
+
hellaswag_nl:  53%|███████████████████████████████████████████████████████████                                                     | 153/290 [20:56<18:34,  8.14s/it]
+
hellaswag_nl:  53%|███████████████████████████████████████████████████████████▍                                                    | 154/290 [21:05<18:55,  8.35s/it]
+
hellaswag_nl:  53%|███████████████████████████████████████████████████████████▊                                                    | 155/290 [21:14<19:11,  8.53s/it]
+
hellaswag_nl:  54%|████████████████████████████████████████████████████████████▏                                                   | 156/290 [21:22<18:39,  8.35s/it]
+
hellaswag_nl:  54%|████████████████████████████████████████████████████████████▋                                                   | 157/290 [21:30<18:14,  8.23s/it]
+
hellaswag_nl:  54%|█████████████████████████████████████████████████████████████                                                   | 158/290 [21:39<18:28,  8.39s/it]
+
hellaswag_nl:  55%|█████████████████████████████████████████████████████████████▍                                                  | 159/290 [21:47<18:16,  8.37s/it]
+
hellaswag_nl:  55%|█████████████████████████████████████████████████████████████▊                                                  | 160/290 [21:55<18:00,  8.31s/it]
+
hellaswag_nl:  56%|██████████████████████████████████████████████████████████████▏                                                 | 161/290 [22:03<17:33,  8.17s/it]
+
hellaswag_nl:  56%|██████████████████████████████████████████████████████████████▌                                                 | 162/290 [22:11<17:37,  8.26s/it]
+
hellaswag_nl:  56%|██████████████████████████████████████████████████████████████▉                                                 | 163/290 [22:20<17:26,  8.24s/it]
+
hellaswag_nl:  57%|███████████████████████████████████████████████████████████████▎                                                | 164/290 [22:27<17:08,  8.16s/it]
+
hellaswag_nl:  57%|███████████████████████████████████████████████████████████████▋                                                | 165/290 [22:36<17:21,  8.33s/it]
+
hellaswag_nl:  57%|████████████████████████████████████████████████████████████████                                                | 166/290 [22:44<17:05,  8.27s/it]
+
hellaswag_nl:  58%|████████████████████████████████████████████████████████████████▍                                               | 167/290 [22:53<17:22,  8.48s/it]
+
hellaswag_nl:  58%|████████████████████████████████████████████████████████████████▉                                               | 168/290 [23:01<16:53,  8.30s/it]
+
hellaswag_nl:  58%|█████████████████████████████████████████████████████████████████▎                                              | 169/290 [23:09<16:33,  8.21s/it]
+
hellaswag_nl:  59%|█████████████████████████████████████████████████████████████████▋                                              | 170/290 [23:17<16:15,  8.13s/it]
+
hellaswag_nl:  59%|██████████████████████████████████████████████████████████████████                                              | 171/290 [23:25<16:02,  8.09s/it]
+
hellaswag_nl:  59%|██████████████████████████████████████████████████████████████████▍                                             | 172/290 [23:33<15:54,  8.09s/it]
+
hellaswag_nl:  60%|██████████████████████████████████████████████████████████████████▊                                             | 173/290 [23:41<15:41,  8.04s/it]
+
hellaswag_nl:  60%|███████████████████████████████████████████████████████████████████▏                                            | 174/290 [23:49<15:30,  8.03s/it]
+
hellaswag_nl:  60%|███████████████████████████████████████████████████████████████████▌                                            | 175/290 [23:57<15:20,  8.00s/it]
+
hellaswag_nl:  61%|███████████████████████████████████████████████████████████████████▉                                            | 176/290 [24:05<15:16,  8.04s/it]
+
hellaswag_nl:  61%|████████████████████████████████████████████████████████████████████▎                                           | 177/290 [24:13<15:06,  8.02s/it]
+
hellaswag_nl:  61%|████████████████████████████████████████████████████████████████████▋                                           | 178/290 [24:21<14:57,  8.01s/it]
+
hellaswag_nl:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 179/290 [24:30<15:05,  8.15s/it]
+
hellaswag_nl:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 180/290 [24:37<14:45,  8.05s/it]
+
hellaswag_nl:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 181/290 [24:45<14:30,  7.99s/it]
+
hellaswag_nl:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 182/290 [24:53<14:19,  7.95s/it]
+
hellaswag_nl:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 183/290 [25:01<14:10,  7.95s/it]
+
hellaswag_nl:  63%|███████████████████████████████████████████████████████████████████████                                         | 184/290 [25:10<14:19,  8.11s/it]
+
hellaswag_nl:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 185/290 [25:18<14:07,  8.08s/it]
+
hellaswag_nl:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 186/290 [25:26<13:53,  8.01s/it]
+
hellaswag_nl:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 187/290 [25:34<14:05,  8.21s/it]
+
hellaswag_nl:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 188/290 [25:43<14:13,  8.36s/it]
+
hellaswag_nl:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 189/290 [25:51<14:10,  8.42s/it]
+
hellaswag_nl:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 190/290 [25:59<13:49,  8.29s/it]
+
hellaswag_nl:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 191/290 [26:08<13:36,  8.25s/it]
+
hellaswag_nl:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 192/290 [26:16<13:44,  8.42s/it]
+
hellaswag_nl:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 193/290 [26:25<13:40,  8.45s/it]
+
hellaswag_nl:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 194/290 [26:33<13:31,  8.45s/it]
+
hellaswag_nl:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 195/290 [26:41<13:05,  8.27s/it]
+
hellaswag_nl:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 196/290 [26:50<13:04,  8.35s/it]
+
hellaswag_nl:  68%|████████████████████████████████████████████████████████████████████████████                                    | 197/290 [26:58<12:48,  8.26s/it]
+
hellaswag_nl:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 198/290 [27:06<12:37,  8.23s/it]
+
hellaswag_nl:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 199/290 [27:14<12:23,  8.17s/it]
+
hellaswag_nl:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 200/290 [27:22<12:23,  8.26s/it]
+
hellaswag_nl:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 201/290 [27:30<12:06,  8.17s/it]
+
hellaswag_nl:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 202/290 [27:38<11:55,  8.13s/it]
+
hellaswag_nl:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 203/290 [27:47<11:56,  8.23s/it]
+
hellaswag_nl:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 204/290 [27:56<11:59,  8.37s/it]
+
hellaswag_nl:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 205/290 [28:04<12:01,  8.49s/it]
+
hellaswag_nl:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 206/290 [28:12<11:38,  8.32s/it]
+
hellaswag_nl:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 207/290 [28:21<11:37,  8.41s/it]
+
hellaswag_nl:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 208/290 [28:30<11:38,  8.52s/it]
+
hellaswag_nl:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 209/290 [28:38<11:13,  8.31s/it]
+
hellaswag_nl:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 210/290 [28:46<10:57,  8.22s/it]
+
hellaswag_nl:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 211/290 [28:54<10:44,  8.16s/it]
+
hellaswag_nl:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 212/290 [29:02<10:36,  8.15s/it]
+
hellaswag_nl:  73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 213/290 [29:10<10:37,  8.28s/it]
+
hellaswag_nl:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 214/290 [29:19<10:37,  8.39s/it]
+
hellaswag_nl:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 215/290 [29:27<10:30,  8.41s/it]
+
hellaswag_nl:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 216/290 [29:36<10:29,  8.51s/it]
+
hellaswag_nl:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 217/290 [29:44<10:07,  8.33s/it]
+
hellaswag_nl:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 218/290 [29:52<09:51,  8.21s/it]
+
hellaswag_nl:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 219/290 [30:01<10:03,  8.50s/it]
+
hellaswag_nl:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 220/290 [30:09<09:46,  8.38s/it]
+
hellaswag_nl:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 221/290 [30:18<09:41,  8.42s/it]
+
hellaswag_nl:  77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 222/290 [30:27<09:45,  8.60s/it]
+
hellaswag_nl:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 223/290 [30:35<09:20,  8.36s/it]
+
hellaswag_nl:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 224/290 [30:43<09:19,  8.48s/it]
+
hellaswag_nl:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 225/290 [30:52<09:13,  8.52s/it]
+
hellaswag_nl:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 226/290 [31:00<08:56,  8.38s/it]
+
hellaswag_nl:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 227/290 [31:08<08:49,  8.40s/it]
+
hellaswag_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 228/290 [31:17<08:36,  8.33s/it]
+
hellaswag_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 229/290 [31:25<08:35,  8.45s/it]
+
hellaswag_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 230/290 [31:33<08:17,  8.29s/it]
+
hellaswag_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 231/290 [31:42<08:16,  8.41s/it]
+
hellaswag_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 232/290 [31:51<08:13,  8.51s/it]
+
hellaswag_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 233/290 [31:59<07:56,  8.36s/it]
+
hellaswag_nl:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 234/290 [32:07<07:39,  8.21s/it]
+
hellaswag_nl:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 235/290 [32:15<07:27,  8.15s/it]
+
hellaswag_nl:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 236/290 [32:23<07:20,  8.16s/it]
+
hellaswag_nl:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 237/290 [32:31<07:10,  8.12s/it]
+
hellaswag_nl:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 238/290 [32:39<06:59,  8.07s/it]
+
hellaswag_nl:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 239/290 [32:47<06:52,  8.08s/it]
+
hellaswag_nl:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 240/290 [32:55<06:40,  8.01s/it]
+
hellaswag_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 241/290 [33:03<06:34,  8.04s/it]
+
hellaswag_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 242/290 [33:11<06:29,  8.12s/it]
+
hellaswag_nl:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 243/290 [33:20<06:25,  8.21s/it]
+
hellaswag_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 244/290 [33:27<06:11,  8.08s/it]
+
hellaswag_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 245/290 [33:35<06:02,  8.06s/it]
+
hellaswag_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 246/290 [33:43<05:52,  8.00s/it]
+
hellaswag_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 247/290 [33:51<05:43,  7.99s/it]
+
hellaswag_nl:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 248/290 [33:59<05:34,  7.97s/it]
+
hellaswag_nl:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 249/290 [34:07<05:28,  8.02s/it]
+
hellaswag_nl:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 250/290 [34:16<05:30,  8.25s/it]
+
hellaswag_nl:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 251/290 [34:24<05:19,  8.20s/it]
+
hellaswag_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 252/290 [34:33<05:16,  8.32s/it]
+
hellaswag_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 253/290 [34:41<05:06,  8.27s/it]
+
hellaswag_nl:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 254/290 [34:49<05:01,  8.38s/it]
+
hellaswag_nl:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 255/290 [34:58<04:50,  8.30s/it]
+
hellaswag_nl:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 256/290 [35:06<04:45,  8.41s/it]
+
hellaswag_nl:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 257/290 [35:15<04:40,  8.50s/it]
+
hellaswag_nl:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 258/290 [35:23<04:26,  8.32s/it]
+
hellaswag_nl:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 259/290 [35:31<04:14,  8.22s/it]
+
hellaswag_nl:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 260/290 [35:39<04:06,  8.20s/it]
+
hellaswag_nl:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 261/290 [35:47<03:59,  8.26s/it]
+
hellaswag_nl:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 262/290 [35:55<03:48,  8.16s/it]
+
hellaswag_nl:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 263/290 [36:04<03:47,  8.43s/it]
+
hellaswag_nl:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 264/290 [36:12<03:34,  8.26s/it]
+
hellaswag_nl:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 265/290 [36:20<03:23,  8.13s/it]
+
hellaswag_nl:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 266/290 [36:28<03:16,  8.20s/it]
+
hellaswag_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 267/290 [36:36<03:06,  8.12s/it]
+
hellaswag_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 268/290 [36:45<03:04,  8.37s/it]
+
hellaswag_nl:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 269/290 [36:53<02:53,  8.25s/it]
+
hellaswag_nl:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 270/290 [37:01<02:43,  8.19s/it]
+
hellaswag_nl:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 271/290 [37:09<02:32,  8.04s/it]
+
hellaswag_nl:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 272/290 [37:18<02:29,  8.32s/it]
+
hellaswag_nl:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 273/290 [37:27<02:22,  8.41s/it]
+
hellaswag_nl:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 274/290 [37:36<02:17,  8.58s/it]
+
hellaswag_nl:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 275/290 [37:44<02:06,  8.40s/it]
+
hellaswag_nl:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 276/290 [37:52<01:57,  8.38s/it]
+
hellaswag_nl:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 277/290 [38:00<01:46,  8.20s/it]
+
hellaswag_nl:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 278/290 [38:08<01:38,  8.23s/it]
+
hellaswag_nl:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 279/290 [38:16<01:29,  8.13s/it]
+
hellaswag_nl:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 280/290 [38:25<01:22,  8.28s/it]
+
hellaswag_nl:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 281/290 [38:33<01:13,  8.20s/it]
+
hellaswag_nl:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 282/290 [38:41<01:06,  8.32s/it]
+
hellaswag_nl:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 283/290 [38:49<00:57,  8.16s/it]
+
hellaswag_nl:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 284/290 [38:57<00:48,  8.05s/it]
+
hellaswag_nl:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 285/290 [39:05<00:40,  8.06s/it]
+
hellaswag_nl:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [39:13<00:32,  8.12s/it]
+
hellaswag_nl:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [39:21<00:24,  8.06s/it]
+
hellaswag_nl:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [39:29<00:16,  8.10s/it]
+
hellaswag_nl: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [39:37<00:08,  8.03s/it]
+
hellaswag_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [39:44<00:00,  7.71s/it]
hellaswag_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [39:44<00:00,  8.22s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_nl_acc 0.5163518618456557
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_nl_acc_norm 0.6909875876956287
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:42:01,316 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:42:01,316 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:01,442 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:42:01,442 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:01,568 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:42:01,568 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:01,693 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:42:01,694 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 04:42:01,694 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 04:42:01,821 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 04:42:01,821 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_nl_acc'}
+2024-05-30 04:42:01,885 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 04:42:01,885 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1179, 'value': 0.5163518618456557}
+2024-05-30 04:42:01,949 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:42:02,568 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:42:02,568 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:02,689 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:42:02,689 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:02,811 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:42:02,811 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:02,932 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:42:02,933 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 04:42:02,933 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 04:42:03,056 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 04:42:03,056 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_nl_acc_norm'}
+2024-05-30 04:42:03,117 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 04:42:03,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1180, 'value': 0.6909875876956287}
+2024-05-30 04:42:03,179 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  41%|████████████████████████████████████████████▍                                                               | 51/124 [21:54:32<75:41:55, 3733.09s/it]['hellaswag_pt']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 04:42:03,821 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 04:42:03,821 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:03,948 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 04:42:03,948 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:04,075 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 04:42:04,075 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 04:42:04,202 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 04:42:04,203 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 04:42:04,203 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_pt'}
+2024-05-30 04:42:04,331 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_pt task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.68s/ examples]
+
Generating validation split: 1976 examples [00:02, 993.54 examples/s]
+
Generating validation split: 3608 examples [00:02, 2020.70 examples/s]
+
Generating validation split: 5252 examples [00:02, 3280.54 examples/s]
+
Generating validation split: 7000 examples [00:03, 4827.21 examples/s]
+
Generating validation split: 9000 examples [00:03, 6726.90 examples/s]
Generating validation split: 9229 examples [00:03, 2848.87 examples/s]
+Loaded 9229 examples
+Running loglikelihood requests
+
+
hellaswag_pt:   0%|                                                                                                                          | 0/289 [00:00<?, ?it/s]
+
hellaswag_pt:   0%|▍                                                                                                                 | 1/289 [00:08<40:40,  8.47s/it]
+
hellaswag_pt:   1%|▊                                                                                                                 | 2/289 [00:16<39:15,  8.21s/it]
+
hellaswag_pt:   1%|█▏                                                                                                                | 3/289 [00:24<38:31,  8.08s/it]
+
hellaswag_pt:   1%|█▌                                                                                                                | 4/289 [00:32<38:11,  8.04s/it]
+
hellaswag_pt:   2%|█▉                                                                                                                | 5/289 [00:40<38:18,  8.09s/it]
+
hellaswag_pt:   2%|██▎                                                                                                               | 6/289 [00:49<38:48,  8.23s/it]
+
hellaswag_pt:   2%|██▊                                                                                                               | 7/289 [00:57<38:15,  8.14s/it]
+
hellaswag_pt:   3%|███▏                                                                                                              | 8/289 [01:05<39:19,  8.40s/it]
+
hellaswag_pt:   3%|███▌                                                                                                              | 9/289 [01:14<39:32,  8.47s/it]
+
hellaswag_pt:   3%|███▉                                                                                                             | 10/289 [01:22<38:36,  8.30s/it]
+
hellaswag_pt:   4%|████▎                                                                                                            | 11/289 [01:30<38:17,  8.26s/it]
+
hellaswag_pt:   4%|████▋                                                                                                            | 12/289 [01:38<37:49,  8.19s/it]
+
hellaswag_pt:   4%|█████                                                                                                            | 13/289 [01:47<38:00,  8.26s/it]
+
hellaswag_pt:   5%|█████▍                                                                                                           | 14/289 [01:55<37:23,  8.16s/it]
+
hellaswag_pt:   5%|█████▊                                                                                                           | 15/289 [02:03<37:52,  8.29s/it]
+
hellaswag_pt:   6%|██████▎                                                                                                          | 16/289 [02:12<38:04,  8.37s/it]
+
hellaswag_pt:   6%|██████▋                                                                                                          | 17/289 [02:20<37:12,  8.21s/it]
+
hellaswag_pt:   6%|███████                                                                                                          | 18/289 [02:27<36:35,  8.10s/it]
+
hellaswag_pt:   7%|███████▍                                                                                                         | 19/289 [02:35<36:12,  8.05s/it]
+
hellaswag_pt:   7%|███████▊                                                                                                         | 20/289 [02:44<36:30,  8.14s/it]
+
hellaswag_pt:   7%|████████▏                                                                                                        | 21/289 [02:52<37:05,  8.31s/it]
+
hellaswag_pt:   8%|████████▌                                                                                                        | 22/289 [03:00<36:23,  8.18s/it]
+
hellaswag_pt:   8%|████████▉                                                                                                        | 23/289 [03:08<35:46,  8.07s/it]
+
hellaswag_pt:   8%|█████████▍                                                                                                       | 24/289 [03:16<35:26,  8.03s/it]
+
hellaswag_pt:   9%|█████████▊                                                                                                       | 25/289 [03:24<35:24,  8.05s/it]
+
hellaswag_pt:   9%|██████████▏                                                                                                      | 26/289 [03:32<35:32,  8.11s/it]
+
hellaswag_pt:   9%|██████████▌                                                                                                      | 27/289 [03:41<35:33,  8.14s/it]
+
hellaswag_pt:  10%|██████████▉                                                                                                      | 28/289 [03:49<35:17,  8.11s/it]
+
hellaswag_pt:  10%|███████████▎                                                                                                     | 29/289 [03:56<34:47,  8.03s/it]
+
hellaswag_pt:  10%|███████████▋                                                                                                     | 30/289 [04:04<34:28,  7.99s/it]
+
hellaswag_pt:  11%|████████████                                                                                                     | 31/289 [04:13<34:48,  8.09s/it]
+
hellaswag_pt:  11%|████████████▌                                                                                                    | 32/289 [04:21<34:35,  8.08s/it]
+
hellaswag_pt:  11%|████████████▉                                                                                                    | 33/289 [04:29<34:27,  8.08s/it]
+
hellaswag_pt:  12%|█████████████▎                                                                                                   | 34/289 [04:37<34:51,  8.20s/it]
+
hellaswag_pt:  12%|█████████████▋                                                                                                   | 35/289 [04:45<34:21,  8.12s/it]
+
hellaswag_pt:  12%|██████████████                                                                                                   | 36/289 [04:53<34:09,  8.10s/it]
+
hellaswag_pt:  13%|██████████████▍                                                                                                  | 37/289 [05:02<34:37,  8.25s/it]
+
hellaswag_pt:  13%|██████████████▊                                                                                                  | 38/289 [05:10<34:07,  8.16s/it]
+
hellaswag_pt:  13%|███████████████▏                                                                                                 | 39/289 [05:18<33:43,  8.10s/it]
+
hellaswag_pt:  14%|███████████████▋                                                                                                 | 40/289 [05:26<34:05,  8.21s/it]
+
hellaswag_pt:  14%|████████████████                                                                                                 | 41/289 [05:34<33:39,  8.14s/it]
+
hellaswag_pt:  15%|████████████████▍                                                                                                | 42/289 [05:42<33:12,  8.07s/it]
+
hellaswag_pt:  15%|████████████████▊                                                                                                | 43/289 [05:50<32:59,  8.05s/it]
+
hellaswag_pt:  15%|█████████████████▏                                                                                               | 44/289 [05:58<32:40,  8.00s/it]
+
hellaswag_pt:  16%|█████████████████▌                                                                                               | 45/289 [06:06<32:22,  7.96s/it]
+
hellaswag_pt:  16%|█████████████████▉                                                                                               | 46/289 [06:14<32:22,  7.99s/it]
+
hellaswag_pt:  16%|██████████████████▍                                                                                              | 47/289 [06:22<32:11,  7.98s/it]
+
hellaswag_pt:  17%|██████████████████▊                                                                                              | 48/289 [06:30<32:02,  7.98s/it]
+
hellaswag_pt:  17%|███████████████████▏                                                                                             | 49/289 [06:38<31:54,  7.98s/it]
+
hellaswag_pt:  17%|███████████████████▌                                                                                             | 50/289 [06:46<32:26,  8.14s/it]
+
hellaswag_pt:  18%|███████████████████▉                                                                                             | 51/289 [06:55<33:20,  8.40s/it]
+
hellaswag_pt:  18%|████████████████████▎                                                                                            | 52/289 [07:04<32:50,  8.31s/it]
+
hellaswag_pt:  18%|████████████████████▋                                                                                            | 53/289 [07:11<32:08,  8.17s/it]
+
hellaswag_pt:  19%|█████████████████████                                                                                            | 54/289 [07:19<31:49,  8.12s/it]
+
hellaswag_pt:  19%|█████████████████████▌                                                                                           | 55/289 [07:27<31:24,  8.05s/it]
+
hellaswag_pt:  19%|█████████████████████▉                                                                                           | 56/289 [07:35<31:10,  8.03s/it]
+
hellaswag_pt:  20%|██████████████████████▎                                                                                          | 57/289 [07:43<30:47,  7.96s/it]
+
hellaswag_pt:  20%|██████████████████████▋                                                                                          | 58/289 [07:51<30:28,  7.91s/it]
+
hellaswag_pt:  20%|███████████████████████                                                                                          | 59/289 [07:59<30:16,  7.90s/it]
+
hellaswag_pt:  21%|███████████████████████▍                                                                                         | 60/289 [08:06<30:02,  7.87s/it]
+
hellaswag_pt:  21%|███████████████████████▊                                                                                         | 61/289 [08:15<30:07,  7.93s/it]
+
hellaswag_pt:  21%|████████████████████████▏                                                                                        | 62/289 [08:23<30:14,  7.99s/it]
+
hellaswag_pt:  22%|████████████████████████▋                                                                                        | 63/289 [08:31<30:00,  7.97s/it]
+
hellaswag_pt:  22%|█████████████████████████                                                                                        | 64/289 [08:38<29:46,  7.94s/it]
+
hellaswag_pt:  22%|█████████████████████████▍                                                                                       | 65/289 [08:47<29:50,  7.99s/it]
+
hellaswag_pt:  23%|█████████████████████████▊                                                                                       | 66/289 [08:54<29:32,  7.95s/it]
+
hellaswag_pt:  23%|██████████████████████████▏                                                                                      | 67/289 [09:02<29:26,  7.96s/it]
+
hellaswag_pt:  24%|██████████████████████████▌                                                                                      | 68/289 [09:11<30:06,  8.17s/it]
+
hellaswag_pt:  24%|██████████████████████████▉                                                                                      | 69/289 [09:19<29:59,  8.18s/it]
+
hellaswag_pt:  24%|███████████████████████████▎                                                                                     | 70/289 [09:27<29:33,  8.10s/it]
+
hellaswag_pt:  25%|███████████████████████████▊                                                                                     | 71/289 [09:36<29:57,  8.25s/it]
+
hellaswag_pt:  25%|████████████████████████████▏                                                                                    | 72/289 [09:44<30:04,  8.32s/it]
+
hellaswag_pt:  25%|████████████████████████████▌                                                                                    | 73/289 [09:53<30:00,  8.34s/it]
+
hellaswag_pt:  26%|████████████████████████████▉                                                                                    | 74/289 [10:01<30:13,  8.43s/it]
+
hellaswag_pt:  26%|█████████████████████████████▎                                                                                   | 75/289 [10:09<29:27,  8.26s/it]
+
hellaswag_pt:  26%|█████████████████████████████▋                                                                                   | 76/289 [10:17<28:56,  8.15s/it]
+
hellaswag_pt:  27%|██████████████████████████████                                                                                   | 77/289 [10:25<28:35,  8.09s/it]
+
hellaswag_pt:  27%|██████████████████████████████▍                                                                                  | 78/289 [10:33<28:07,  8.00s/it]
+
hellaswag_pt:  27%|██████████████████████████████▉                                                                                  | 79/289 [10:41<27:47,  7.94s/it]
+
hellaswag_pt:  28%|███████████████████████████████▎                                                                                 | 80/289 [10:49<28:03,  8.06s/it]
+
hellaswag_pt:  28%|███████████████████████████████▋                                                                                 | 81/289 [10:57<28:24,  8.20s/it]
+
hellaswag_pt:  28%|████████████████████████████████                                                                                 | 82/289 [11:05<27:59,  8.12s/it]
+
hellaswag_pt:  29%|████████████████████████████████▍                                                                                | 83/289 [11:14<28:29,  8.30s/it]
+
hellaswag_pt:  29%|████████████████████████████████▊                                                                                | 84/289 [11:22<28:12,  8.25s/it]
+
hellaswag_pt:  29%|█████████████████████████████████▏                                                                               | 85/289 [11:31<28:49,  8.48s/it]
+
hellaswag_pt:  30%|█████████████████████████████████▋                                                                               | 86/289 [11:39<28:07,  8.31s/it]
+
hellaswag_pt:  30%|██████████████████████████████████                                                                               | 87/289 [11:47<27:35,  8.20s/it]
+
hellaswag_pt:  30%|██████████████████████████████████▍                                                                              | 88/289 [11:55<27:25,  8.19s/it]
+
hellaswag_pt:  31%|██████████████████████████████████▊                                                                              | 89/289 [12:04<27:35,  8.28s/it]
+
hellaswag_pt:  31%|███████████████████████████████████▏                                                                             | 90/289 [12:12<27:26,  8.28s/it]
+
hellaswag_pt:  31%|███████████████████████████████████▌                                                                             | 91/289 [12:21<27:43,  8.40s/it]
+
hellaswag_pt:  32%|███████████████████████████████████▉                                                                             | 92/289 [12:30<28:15,  8.61s/it]
+
hellaswag_pt:  32%|████████████████████████████████████▎                                                                            | 93/289 [12:39<28:12,  8.63s/it]
+
hellaswag_pt:  33%|████████████████████████████████████▊                                                                            | 94/289 [12:47<28:04,  8.64s/it]
+
hellaswag_pt:  33%|█████████████████████████████████████▏                                                                           | 95/289 [12:56<27:44,  8.58s/it]
+
hellaswag_pt:  33%|█████████████████████████████████████▌                                                                           | 96/289 [13:04<27:07,  8.43s/it]
+
hellaswag_pt:  34%|█████████████████████████████████████▉                                                                           | 97/289 [13:12<26:34,  8.31s/it]
+
hellaswag_pt:  34%|██████████████████████████████████████▎                                                                          | 98/289 [13:20<26:32,  8.34s/it]
+
hellaswag_pt:  34%|██████████████████████████████████████▋                                                                          | 99/289 [13:29<26:50,  8.48s/it]
+
hellaswag_pt:  35%|██████████████████████████████████████▊                                                                         | 100/289 [13:37<26:37,  8.45s/it]
+
hellaswag_pt:  35%|███████████████████████████████████████▏                                                                        | 101/289 [13:45<26:04,  8.32s/it]
+
hellaswag_pt:  35%|███████████████████████████████████████▌                                                                        | 102/289 [13:53<25:34,  8.21s/it]
+
hellaswag_pt:  36%|███████████████████████████████████████▉                                                                        | 103/289 [14:01<25:07,  8.10s/it]
+
hellaswag_pt:  36%|████████████████████████████████████████▎                                                                       | 104/289 [14:10<25:43,  8.34s/it]
+
hellaswag_pt:  36%|████████████████████████████████████████▋                                                                       | 105/289 [14:18<25:30,  8.32s/it]
+
hellaswag_pt:  37%|█████████████████████████████████████████                                                                       | 106/289 [14:27<25:24,  8.33s/it]
+
hellaswag_pt:  37%|█████████████████████████████████████████▍                                                                      | 107/289 [14:35<25:16,  8.33s/it]
+
hellaswag_pt:  37%|█████████████████████████████████████████▊                                                                      | 108/289 [14:44<25:31,  8.46s/it]
+
hellaswag_pt:  38%|██████████████████████████████████████████▏                                                                     | 109/289 [14:52<24:51,  8.29s/it]
+
hellaswag_pt:  38%|██████████████████████████████████████████▋                                                                     | 110/289 [14:59<24:19,  8.15s/it]
+
hellaswag_pt:  38%|███████████████████████████████████████████                                                                     | 111/289 [15:09<25:09,  8.48s/it]
+
hellaswag_pt:  39%|███████████████████████████████████████████▍                                                                    | 112/289 [15:17<24:29,  8.31s/it]
+
hellaswag_pt:  39%|███████████████████████████████████████████▊                                                                    | 113/289 [15:25<24:06,  8.22s/it]
+
hellaswag_pt:  39%|████████████████████████████████████████████▏                                                                   | 114/289 [15:33<24:00,  8.23s/it]
+
hellaswag_pt:  40%|████████████████████████████████████████████▌                                                                   | 115/289 [15:42<24:23,  8.41s/it]
+
hellaswag_pt:  40%|████████████████████████████████████████████▉                                                                   | 116/289 [15:50<24:34,  8.52s/it]
+
hellaswag_pt:  40%|█████████████████████████████████████████████▎                                                                  | 117/289 [15:58<23:50,  8.32s/it]
+
hellaswag_pt:  41%|█████████████████████████████████████████████▋                                                                  | 118/289 [16:06<23:25,  8.22s/it]
+
hellaswag_pt:  41%|██████████████████████████████████████████████                                                                  | 119/289 [16:15<23:52,  8.43s/it]
+
hellaswag_pt:  42%|██████████████████████████████████████████████▌                                                                 | 120/289 [16:24<24:08,  8.57s/it]
+
hellaswag_pt:  42%|██████████████████████████████████████████████▉                                                                 | 121/289 [16:32<23:28,  8.38s/it]
+
hellaswag_pt:  42%|███████████████████████████████████████████████▎                                                                | 122/289 [16:40<22:56,  8.25s/it]
+
hellaswag_pt:  43%|███████████████████████████████████████████████▋                                                                | 123/289 [16:48<22:49,  8.25s/it]
+
hellaswag_pt:  43%|████████████████████████████████████████████████                                                                | 124/289 [16:56<22:24,  8.15s/it]
+
hellaswag_pt:  43%|████████████████████████████████████████████████▍                                                               | 125/289 [17:05<22:29,  8.23s/it]
+
hellaswag_pt:  44%|████████████████████████████████████████████████▊                                                               | 126/289 [17:13<22:11,  8.17s/it]
+
hellaswag_pt:  44%|█████████████████████████████████████████████████▏                                                              | 127/289 [17:21<22:07,  8.19s/it]
+
hellaswag_pt:  44%|█████████████████████████████████████████████████▌                                                              | 128/289 [17:29<22:12,  8.28s/it]
+
hellaswag_pt:  45%|█████████████████████████████████████████████████▉                                                              | 129/289 [17:38<22:07,  8.30s/it]
+
hellaswag_pt:  45%|██████████████████████████████████████████████████▍                                                             | 130/289 [17:46<21:44,  8.21s/it]
+
hellaswag_pt:  45%|██████████████████████████████████████████████████▊                                                             | 131/289 [17:54<21:57,  8.34s/it]
+
hellaswag_pt:  46%|███████████████████████████████████████████████████▏                                                            | 132/289 [18:02<21:31,  8.23s/it]
+
hellaswag_pt:  46%|███████████████████████████████████████████████████▌                                                            | 133/289 [18:10<21:16,  8.19s/it]
+
hellaswag_pt:  46%|███████████████████████████████████████████████████▉                                                            | 134/289 [18:19<21:17,  8.24s/it]
+
hellaswag_pt:  47%|████████████████████████████████████████████████████▎                                                           | 135/289 [18:27<20:58,  8.17s/it]
+
hellaswag_pt:  47%|████████████████████████████████████████████████████▋                                                           | 136/289 [18:36<21:22,  8.38s/it]
+
hellaswag_pt:  47%|█████████████████████████████████████████████████████                                                           | 137/289 [18:44<21:23,  8.44s/it]
+
hellaswag_pt:  48%|█████████████████████████████████████████████████████▍                                                          | 138/289 [18:52<20:50,  8.28s/it]
+
hellaswag_pt:  48%|█████████████████████████████████████████████████████▊                                                          | 139/289 [19:01<21:06,  8.44s/it]
+
hellaswag_pt:  48%|██████████████████████████████████████████████████████▎                                                         | 140/289 [19:09<20:35,  8.29s/it]
+
hellaswag_pt:  49%|██████████████████████████████████████████████████████▋                                                         | 141/289 [19:18<20:41,  8.39s/it]
+
hellaswag_pt:  49%|███████████████████████████████████████████████████████                                                         | 142/289 [19:25<20:04,  8.19s/it]
+
hellaswag_pt:  49%|███████████████████████████████████████████████████████▍                                                        | 143/289 [19:33<19:51,  8.16s/it]
+
hellaswag_pt:  50%|███████████████████████████████████████████████████████▊                                                        | 144/289 [19:41<19:36,  8.11s/it]
+
hellaswag_pt:  50%|████████████████████████████████████████████████████████▏                                                       | 145/289 [19:50<19:53,  8.29s/it]
+
hellaswag_pt:  51%|████████████████████████████████████████████████████████▌                                                       | 146/289 [19:58<19:29,  8.18s/it]
+
hellaswag_pt:  51%|████████████████████████████████████████████████████████▉                                                       | 147/289 [20:07<19:44,  8.34s/it]
+
hellaswag_pt:  51%|█████████████████████████████████████████████████████████▎                                                      | 148/289 [20:15<19:54,  8.47s/it]
+
hellaswag_pt:  52%|█████████████████████████████████████████████████████████▋                                                      | 149/289 [20:23<19:22,  8.31s/it]
+
hellaswag_pt:  52%|██████████████████████████████████████████████████████████▏                                                     | 150/289 [20:32<19:26,  8.39s/it]
+
hellaswag_pt:  52%|██████████████████████████████████████████████████████████▌                                                     | 151/289 [20:40<19:04,  8.29s/it]
+
hellaswag_pt:  53%|██████████████████████████████████████████████████████████▉                                                     | 152/289 [20:48<18:38,  8.17s/it]
+
hellaswag_pt:  53%|███████████████████████████████████████████████████████████▎                                                    | 153/289 [20:56<18:23,  8.11s/it]
+
hellaswag_pt:  53%|███████████████████████████████████████████████████████████▋                                                    | 154/289 [21:05<18:43,  8.32s/it]
+
hellaswag_pt:  54%|████████████████████████████████████████████████████████████                                                    | 155/289 [21:13<18:24,  8.24s/it]
+
hellaswag_pt:  54%|████████████████████████████████████████████████████████████▍                                                   | 156/289 [21:21<18:06,  8.17s/it]
+
hellaswag_pt:  54%|████████████████████████████████████████████████████████████▊                                                   | 157/289 [21:29<18:20,  8.33s/it]
+
hellaswag_pt:  55%|█████████████████████████████████████████████████████████████▏                                                  | 158/289 [21:37<17:49,  8.17s/it]
+
hellaswag_pt:  55%|█████████████████████████████████████████████████████████████▌                                                  | 159/289 [21:46<17:55,  8.28s/it]
+
hellaswag_pt:  55%|██████████████████████████████████████████████████████████████                                                  | 160/289 [21:54<17:32,  8.16s/it]
+
hellaswag_pt:  56%|██████████████████████████████████████████████████████████████▍                                                 | 161/289 [22:02<17:18,  8.11s/it]
+
hellaswag_pt:  56%|██████████████████████████████████████████████████████████████▊                                                 | 162/289 [22:10<17:33,  8.29s/it]
+
hellaswag_pt:  56%|███████████████████████████████████████████████████████████████▏                                                | 163/289 [22:19<17:33,  8.36s/it]
+
hellaswag_pt:  57%|███████████████████████████████████████████████████████████████▌                                                | 164/289 [22:27<17:06,  8.21s/it]
+
hellaswag_pt:  57%|███████████████████████████████████████████████████████████████▉                                                | 165/289 [22:35<17:13,  8.33s/it]
+
hellaswag_pt:  57%|████████████████████████████████████████████████████████████████▎                                               | 166/289 [22:44<17:30,  8.54s/it]
+
hellaswag_pt:  58%|████████████████████████████████████████████████████████████████▋                                               | 167/289 [22:53<17:29,  8.60s/it]
+
hellaswag_pt:  58%|█████████████████████████████████████████████████████████████████                                               | 168/289 [23:01<16:56,  8.40s/it]
+
hellaswag_pt:  58%|█████████████████████████████████████████████████████████████████▍                                              | 169/289 [23:10<17:11,  8.60s/it]
+
hellaswag_pt:  59%|█████████████████████████████████████████████████████████████████▉                                              | 170/289 [23:19<17:01,  8.59s/it]
+
hellaswag_pt:  59%|██████████████████████████████████████████████████████████████████▎                                             | 171/289 [23:27<16:53,  8.59s/it]
+
hellaswag_pt:  60%|██████████████████████████████████████████████████████████████████▋                                             | 172/289 [23:35<16:20,  8.38s/it]
+
hellaswag_pt:  60%|███████████████████████████████████████████████████████████████████                                             | 173/289 [23:43<15:55,  8.24s/it]
+
hellaswag_pt:  60%|███████████████████████████████████████████████████████████████████▍                                            | 174/289 [23:51<15:34,  8.13s/it]
+
hellaswag_pt:  61%|███████████████████████████████████████████████████████████████████▊                                            | 175/289 [23:59<15:24,  8.11s/it]
+
hellaswag_pt:  61%|████████████████████████████████████████████████████████████████████▏                                           | 176/289 [24:08<15:31,  8.24s/it]
+
hellaswag_pt:  61%|████████████████████████████████████████████████████████████████████▌                                           | 177/289 [24:16<15:36,  8.36s/it]
+
hellaswag_pt:  62%|████████████████████████████████████████████████████████████████████▉                                           | 178/289 [24:25<15:39,  8.47s/it]
+
hellaswag_pt:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 179/289 [24:33<15:15,  8.32s/it]
+
hellaswag_pt:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 180/289 [24:41<14:55,  8.21s/it]
+
hellaswag_pt:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 181/289 [24:49<14:55,  8.29s/it]
+
hellaswag_pt:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 182/289 [24:57<14:30,  8.13s/it]
+
hellaswag_pt:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 183/289 [25:06<14:36,  8.27s/it]
+
hellaswag_pt:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 184/289 [25:14<14:37,  8.36s/it]
+
hellaswag_pt:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 185/289 [25:22<14:16,  8.24s/it]
+
hellaswag_pt:  64%|████████████████████████████████████████████████████████████████████████                                        | 186/289 [25:31<14:34,  8.49s/it]
+
hellaswag_pt:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 187/289 [25:39<14:13,  8.36s/it]
+
hellaswag_pt:  65%|████████████████████████████████████████████████████████████████████████▊                                       | 188/289 [25:47<13:50,  8.22s/it]
+
hellaswag_pt:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 189/289 [25:56<13:45,  8.26s/it]
+
hellaswag_pt:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 190/289 [26:04<13:47,  8.36s/it]
+
hellaswag_pt:  66%|██████████████████████████████████████████████████████████████████████████                                      | 191/289 [26:13<13:39,  8.36s/it]
+
hellaswag_pt:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 192/289 [26:21<13:22,  8.27s/it]
+
hellaswag_pt:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 193/289 [26:29<13:12,  8.26s/it]
+
hellaswag_pt:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 194/289 [26:38<13:18,  8.41s/it]
+
hellaswag_pt:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 195/289 [26:46<13:00,  8.30s/it]
+
hellaswag_pt:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 196/289 [26:54<12:43,  8.21s/it]
+
hellaswag_pt:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 197/289 [27:02<12:30,  8.16s/it]
+
hellaswag_pt:  69%|████████████████████████████████████████████████████████████████████████████▋                                   | 198/289 [27:10<12:16,  8.09s/it]
+
hellaswag_pt:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 199/289 [27:18<12:13,  8.15s/it]
+
hellaswag_pt:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 200/289 [27:27<12:19,  8.31s/it]
+
hellaswag_pt:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 201/289 [27:34<11:58,  8.17s/it]
+
hellaswag_pt:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 202/289 [27:42<11:46,  8.12s/it]
+
hellaswag_pt:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 203/289 [27:51<11:42,  8.16s/it]
+
hellaswag_pt:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 204/289 [27:59<11:30,  8.12s/it]
+
hellaswag_pt:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 205/289 [28:07<11:19,  8.09s/it]
+
hellaswag_pt:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 206/289 [28:15<11:23,  8.24s/it]
+
hellaswag_pt:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 207/289 [28:24<11:15,  8.23s/it]
+
hellaswag_pt:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 208/289 [28:32<11:03,  8.20s/it]
+
hellaswag_pt:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 209/289 [28:40<10:47,  8.09s/it]
+
hellaswag_pt:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 210/289 [28:48<10:53,  8.27s/it]
+
hellaswag_pt:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 211/289 [28:57<10:56,  8.42s/it]
+
hellaswag_pt:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 212/289 [29:05<10:36,  8.27s/it]
+
hellaswag_pt:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 213/289 [29:13<10:34,  8.35s/it]
+
hellaswag_pt:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 214/289 [29:21<10:17,  8.24s/it]
+
hellaswag_pt:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 215/289 [29:29<10:03,  8.16s/it]
+
hellaswag_pt:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 216/289 [29:37<09:50,  8.10s/it]
+
hellaswag_pt:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 217/289 [29:46<09:57,  8.29s/it]
+
hellaswag_pt:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 218/289 [29:54<09:50,  8.32s/it]
+
hellaswag_pt:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 219/289 [30:02<09:35,  8.23s/it]
+
hellaswag_pt:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 220/289 [30:11<09:27,  8.23s/it]
+
hellaswag_pt:  76%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 221/289 [30:19<09:28,  8.35s/it]
+
hellaswag_pt:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 222/289 [30:27<09:12,  8.24s/it]
+
hellaswag_pt:  77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 223/289 [30:35<08:56,  8.12s/it]
+
hellaswag_pt:  78%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 224/289 [30:43<08:45,  8.09s/it]
+
hellaswag_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 225/289 [30:52<08:44,  8.20s/it]
+
hellaswag_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 226/289 [30:59<08:29,  8.09s/it]
+
hellaswag_pt:  79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 227/289 [31:07<08:17,  8.03s/it]
+
hellaswag_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 228/289 [31:15<08:08,  8.00s/it]
+
hellaswag_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 229/289 [31:23<07:59,  8.00s/it]
+
hellaswag_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 230/289 [31:32<08:05,  8.23s/it]
+
hellaswag_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 231/289 [31:41<08:04,  8.36s/it]
+
hellaswag_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 232/289 [31:49<07:50,  8.26s/it]
+
hellaswag_pt:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 233/289 [31:57<07:36,  8.15s/it]
+
hellaswag_pt:  81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 234/289 [32:04<07:23,  8.06s/it]
+
hellaswag_pt:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 235/289 [32:13<07:15,  8.06s/it]
+
hellaswag_pt:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 236/289 [32:21<07:12,  8.16s/it]
+
hellaswag_pt:  82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 237/289 [32:29<06:59,  8.07s/it]
+
hellaswag_pt:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 238/289 [32:37<06:48,  8.01s/it]
+
hellaswag_pt:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 239/289 [32:45<06:50,  8.20s/it]
+
hellaswag_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 240/289 [32:53<06:40,  8.17s/it]
+
hellaswag_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 241/289 [33:01<06:28,  8.10s/it]
+
hellaswag_pt:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 242/289 [33:09<06:16,  8.01s/it]
+
hellaswag_pt:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 243/289 [33:17<06:09,  8.03s/it]
+
hellaswag_pt:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 244/289 [33:26<06:06,  8.14s/it]
+
hellaswag_pt:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 245/289 [33:34<05:59,  8.17s/it]
+
hellaswag_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 246/289 [33:42<05:50,  8.14s/it]
+
hellaswag_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 247/289 [33:50<05:39,  8.07s/it]
+
hellaswag_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 248/289 [33:58<05:28,  8.01s/it]
+
hellaswag_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 249/289 [34:06<05:25,  8.13s/it]
+
hellaswag_pt:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 250/289 [34:14<05:14,  8.08s/it]
+
hellaswag_pt:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 251/289 [34:22<05:03,  7.99s/it]
+
hellaswag_pt:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 252/289 [34:30<04:55,  7.98s/it]
+
hellaswag_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 253/289 [34:38<04:46,  7.97s/it]
+
hellaswag_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 254/289 [34:46<04:38,  7.96s/it]
+
hellaswag_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 255/289 [34:54<04:31,  7.97s/it]
+
hellaswag_pt:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 256/289 [35:02<04:22,  7.96s/it]
+
hellaswag_pt:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 257/289 [35:11<04:23,  8.24s/it]
+
hellaswag_pt:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 258/289 [35:19<04:13,  8.17s/it]
+
hellaswag_pt:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 259/289 [35:26<04:03,  8.11s/it]
+
hellaswag_pt:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 260/289 [35:35<03:54,  8.08s/it]
+
hellaswag_pt:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 261/289 [35:43<03:45,  8.07s/it]
+
hellaswag_pt:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 262/289 [35:51<03:37,  8.05s/it]
+
hellaswag_pt:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 263/289 [35:59<03:36,  8.32s/it]
+
hellaswag_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 264/289 [36:08<03:27,  8.28s/it]
+
hellaswag_pt:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 265/289 [36:16<03:17,  8.22s/it]
+
hellaswag_pt:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 266/289 [36:24<03:07,  8.16s/it]
+
hellaswag_pt:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 267/289 [36:32<02:58,  8.13s/it]
+
hellaswag_pt:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 268/289 [36:40<02:49,  8.08s/it]
+
hellaswag_pt:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 269/289 [36:48<02:42,  8.11s/it]
+
hellaswag_pt:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 270/289 [36:56<02:33,  8.05s/it]
+
hellaswag_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 271/289 [37:05<02:30,  8.35s/it]
+
hellaswag_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 272/289 [37:13<02:20,  8.25s/it]
+
hellaswag_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 273/289 [37:22<02:14,  8.38s/it]
+
hellaswag_pt:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 274/289 [37:30<02:03,  8.25s/it]
+
hellaswag_pt:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 275/289 [37:38<01:57,  8.37s/it]
+
hellaswag_pt:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 276/289 [37:46<01:46,  8.19s/it]
+
hellaswag_pt:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 277/289 [37:54<01:38,  8.21s/it]
+
hellaswag_pt:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 278/289 [38:03<01:30,  8.23s/it]
+
hellaswag_pt:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 279/289 [38:11<01:21,  8.18s/it]
+
hellaswag_pt:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 280/289 [38:19<01:13,  8.15s/it]
+
hellaswag_pt:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 281/289 [38:27<01:04,  8.09s/it]
+
hellaswag_pt:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 282/289 [38:35<00:57,  8.25s/it]
+
hellaswag_pt:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 283/289 [38:43<00:48,  8.13s/it]
+
hellaswag_pt:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 284/289 [38:51<00:40,  8.10s/it]
+
hellaswag_pt:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [38:59<00:32,  8.03s/it]
+
hellaswag_pt:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [39:07<00:24,  8.06s/it]
+
hellaswag_pt:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [39:15<00:16,  8.02s/it]
+
hellaswag_pt: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [39:23<00:07,  7.98s/it]
+
hellaswag_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [39:28<00:00,  7.24s/it]
hellaswag_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [39:28<00:00,  8.20s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_pt_acc 0.532343699209015
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_pt_acc_norm 0.7208798353017661
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 05:21:38,324 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 05:21:38,324 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:38,452 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 05:21:38,452 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:38,586 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 05:21:38,587 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:38,714 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 05:21:38,715 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 05:21:38,715 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 05:21:38,845 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 05:21:38,845 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_pt_acc'}
+2024-05-30 05:21:38,910 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 05:21:38,910 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1181, 'value': 0.532343699209015}
+2024-05-30 05:21:38,978 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 05:21:39,604 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 05:21:39,604 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:39,726 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 05:21:39,726 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:39,849 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 05:21:39,849 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:39,971 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 05:21:39,972 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 05:21:39,972 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 05:21:40,118 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 05:21:40,118 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_pt_acc_norm'}
+2024-05-30 05:21:40,181 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 05:21:40,181 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1182, 'value': 0.7208798353017661}
+2024-05-30 05:21:40,243 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  42%|█████████████████████████████████████████████▎                                                              | 52/124 [22:34:09<66:31:32, 3326.28s/it]['hellaswag_ro']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 05:21:40,862 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 05:21:40,862 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:40,984 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 05:21:40,984 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:41,106 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 05:21:41,106 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 05:21:41,227 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 05:21:41,228 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 05:21:41,228 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'hellaswag_ro'}
+2024-05-30 05:21:41,351 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ro task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:02,  2.98s/ examples]
+
Generating validation split: 2000 examples [00:03, 905.22 examples/s]
+
Generating validation split: 4000 examples [00:03, 2039.38 examples/s]
+
Generating validation split: 5789 examples [00:03, 3290.36 examples/s]
+
Generating validation split: 7381 examples [00:03, 4569.73 examples/s]
+
Generating validation split: 9000 examples [00:03, 6028.34 examples/s]
Generating validation split: 9245 examples [00:03, 2603.38 examples/s]
+Loaded 9245 examples
+Running loglikelihood requests
+
+
hellaswag_ro:   0%|                                                                                                                          | 0/289 [00:00<?, ?it/s]
+
hellaswag_ro:   0%|▍                                                                                                                 | 1/289 [00:08<42:08,  8.78s/it]
+
hellaswag_ro:   1%|▊                                                                                                                 | 2/289 [00:17<40:59,  8.57s/it]
+
hellaswag_ro:   1%|█▏                                                                                                                | 3/289 [00:25<40:48,  8.56s/it]
+
hellaswag_ro:   1%|█▌                                                                                                                | 4/289 [00:34<41:51,  8.81s/it]
+
hellaswag_ro:   2%|█▉                                                                                                                | 5/289 [00:43<41:25,  8.75s/it]
+
hellaswag_ro:   2%|██▎                                                                                                               | 6/289 [00:52<40:59,  8.69s/it]
+
hellaswag_ro:   2%|██▊                                                                                                               | 7/289 [01:00<40:48,  8.68s/it]
+
hellaswag_ro:   3%|███▏                                                                                                              | 8/289 [01:09<40:50,  8.72s/it]
+
hellaswag_ro:   3%|███▌                                                                                                              | 9/289 [01:18<40:16,  8.63s/it]
+
hellaswag_ro:   3%|███▉                                                                                                             | 10/289 [01:27<41:10,  8.86s/it]
+
hellaswag_ro:   4%|████▎                                                                                                            | 11/289 [01:36<41:06,  8.87s/it]
+
hellaswag_ro:   4%|████▋                                                                                                            | 12/289 [01:44<40:30,  8.77s/it]
+
hellaswag_ro:   4%|█████                                                                                                            | 13/289 [01:53<40:12,  8.74s/it]
+
hellaswag_ro:   5%|█████▍                                                                                                           | 14/289 [02:02<39:50,  8.69s/it]
+
hellaswag_ro:   5%|█████▊                                                                                                           | 15/289 [02:10<39:46,  8.71s/it]
+
hellaswag_ro:   6%|██████▎                                                                                                          | 16/289 [02:19<39:32,  8.69s/it]
+
hellaswag_ro:   6%|██████▋                                                                                                          | 17/289 [02:28<39:08,  8.64s/it]
+
hellaswag_ro:   6%|███████                                                                                                          | 18/289 [02:36<38:53,  8.61s/it]
+
hellaswag_ro:   7%|███████▍                                                                                                         | 19/289 [02:45<39:21,  8.75s/it]
+
hellaswag_ro:   7%|███████▊                                                                                                         | 20/289 [02:54<39:27,  8.80s/it]
+
hellaswag_ro:   7%|████████▏                                                                                                        | 21/289 [03:03<39:22,  8.81s/it]
+
hellaswag_ro:   8%|████████▌                                                                                                        | 22/289 [03:12<39:00,  8.77s/it]
+
hellaswag_ro:   8%|████████▉                                                                                                        | 23/289 [03:21<39:19,  8.87s/it]
+
hellaswag_ro:   8%|█████████▍                                                                                                       | 24/289 [03:30<39:25,  8.93s/it]
+
hellaswag_ro:   9%|█████████▊                                                                                                       | 25/289 [03:38<38:39,  8.79s/it]
+
hellaswag_ro:   9%|██████████▏                                                                                                      | 26/289 [03:47<38:24,  8.76s/it]
+
hellaswag_ro:   9%|██████████▌                                                                                                      | 27/289 [03:56<38:08,  8.74s/it]
+
hellaswag_ro:  10%|██████████▉                                                                                                      | 28/289 [04:04<37:30,  8.62s/it]
+
hellaswag_ro:  10%|███████████▎                                                                                                     | 29/289 [04:13<37:38,  8.69s/it]
+
hellaswag_ro:  10%|███████████▋                                                                                                     | 30/289 [04:22<37:52,  8.78s/it]
+
hellaswag_ro:  11%|████████████                                                                                                     | 31/289 [04:30<37:14,  8.66s/it]
+
hellaswag_ro:  11%|████████████▌                                                                                                    | 32/289 [04:39<37:25,  8.74s/it]
+
hellaswag_ro:  11%|████████████▉                                                                                                    | 33/289 [04:48<37:01,  8.68s/it]
+
hellaswag_ro:  12%|█████████████▎                                                                                                   | 34/289 [04:56<36:57,  8.70s/it]
+
hellaswag_ro:  12%|█████████████▋                                                                                                   | 35/289 [05:05<37:06,  8.77s/it]
+
hellaswag_ro:  12%|██████████████                                                                                                   | 36/289 [05:14<36:38,  8.69s/it]
+
hellaswag_ro:  13%|██████████████▍                                                                                                  | 37/289 [05:22<36:22,  8.66s/it]
+
hellaswag_ro:  13%|██████████████▊                                                                                                  | 38/289 [05:31<36:36,  8.75s/it]
+
hellaswag_ro:  13%|███████████████▏                                                                                                 | 39/289 [05:40<36:56,  8.87s/it]
+
hellaswag_ro:  14%|███████████████▋                                                                                                 | 40/289 [05:49<36:22,  8.77s/it]
+
hellaswag_ro:  14%|████████████████                                                                                                 | 41/289 [05:57<35:36,  8.61s/it]
+
hellaswag_ro:  15%|████████████████▍                                                                                                | 42/289 [06:06<35:31,  8.63s/it]
+
hellaswag_ro:  15%|████████████████▊                                                                                                | 43/289 [06:15<35:22,  8.63s/it]
+
hellaswag_ro:  15%|█████████████████▏                                                                                               | 44/289 [06:24<35:51,  8.78s/it]
+
hellaswag_ro:  16%|█████████████████▌                                                                                               | 45/289 [06:32<35:23,  8.70s/it]
+
hellaswag_ro:  16%|█████████████████▉                                                                                               | 46/289 [06:41<35:52,  8.86s/it]
+
hellaswag_ro:  16%|██████████████████▍                                                                                              | 47/289 [06:50<35:32,  8.81s/it]
+
hellaswag_ro:  17%|██████████████████▊                                                                                              | 48/289 [06:59<35:07,  8.75s/it]
+
hellaswag_ro:  17%|███████████████████▏                                                                                             | 49/289 [07:07<34:37,  8.66s/it]
+
hellaswag_ro:  17%|███████████████████▌                                                                                             | 50/289 [07:16<34:32,  8.67s/it]
+
hellaswag_ro:  18%|███████████████████▉                                                                                             | 51/289 [07:24<34:04,  8.59s/it]
+
hellaswag_ro:  18%|████████████████████▎                                                                                            | 52/289 [07:33<33:28,  8.48s/it]
+
hellaswag_ro:  18%|████████████████████▋                                                                                            | 53/289 [07:41<33:27,  8.51s/it]
+
hellaswag_ro:  19%|█████████████████████                                                                                            | 54/289 [07:50<33:31,  8.56s/it]
+
hellaswag_ro:  19%|█████████████████████▌                                                                                           | 55/289 [07:58<33:18,  8.54s/it]
+
hellaswag_ro:  19%|█████████████████████▉                                                                                           | 56/289 [08:07<33:21,  8.59s/it]
+
hellaswag_ro:  20%|██████████████████████▎                                                                                          | 57/289 [08:16<33:14,  8.60s/it]
+
hellaswag_ro:  20%|██████████████████████▋                                                                                          | 58/289 [08:24<33:19,  8.66s/it]
+
hellaswag_ro:  20%|███████████████████████                                                                                          | 59/289 [08:33<33:05,  8.63s/it]
+
hellaswag_ro:  21%|███████████████████████▍                                                                                         | 60/289 [08:41<32:12,  8.44s/it]
+
hellaswag_ro:  21%|███████████████████████▊                                                                                         | 61/289 [08:50<32:13,  8.48s/it]
+
hellaswag_ro:  21%|████████████████████████▏                                                                                        | 62/289 [08:58<32:04,  8.48s/it]
+
hellaswag_ro:  22%|████████████████████████▋                                                                                        | 63/289 [09:06<31:58,  8.49s/it]
+
hellaswag_ro:  22%|█████████████████████████                                                                                        | 64/289 [09:16<32:43,  8.73s/it]
+
hellaswag_ro:  22%|█████████████████████████▍                                                                                       | 65/289 [09:25<33:10,  8.89s/it]
+
hellaswag_ro:  23%|█████████████████████████▊                                                                                       | 66/289 [09:33<32:31,  8.75s/it]
+
hellaswag_ro:  23%|██████████████████████████▏                                                                                      | 67/289 [09:41<31:32,  8.53s/it]
+
hellaswag_ro:  24%|██████████████████████████▌                                                                                      | 68/289 [09:51<32:14,  8.75s/it]
+
hellaswag_ro:  24%|██████████████████████████▉                                                                                      | 69/289 [09:59<31:37,  8.63s/it]
+
hellaswag_ro:  24%|███████████████████████████▎                                                                                     | 70/289 [10:07<31:04,  8.51s/it]
+
hellaswag_ro:  25%|███████████████████████████▊                                                                                     | 71/289 [10:16<30:52,  8.50s/it]
+
hellaswag_ro:  25%|████████████████████████████▏                                                                                    | 72/289 [10:25<30:58,  8.57s/it]
+
hellaswag_ro:  25%|████████████████████████████▌                                                                                    | 73/289 [10:34<31:37,  8.78s/it]
+
hellaswag_ro:  26%|████████████████████████████▉                                                                                    | 74/289 [10:42<31:06,  8.68s/it]
+
hellaswag_ro:  26%|█████████████████████████████▎                                                                                   | 75/289 [10:51<30:46,  8.63s/it]
+
hellaswag_ro:  26%|█████████████████████████████▋                                                                                   | 76/289 [10:59<30:28,  8.58s/it]
+
hellaswag_ro:  27%|██████████████████████████████                                                                                   | 77/289 [11:08<30:29,  8.63s/it]
+
hellaswag_ro:  27%|██████████████████████████████▍                                                                                  | 78/289 [11:17<30:57,  8.80s/it]
+
hellaswag_ro:  27%|██████████████████████████████▉                                                                                  | 79/289 [11:26<30:35,  8.74s/it]
+
hellaswag_ro:  28%|███████████████████████████████▎                                                                                 | 80/289 [11:34<30:22,  8.72s/it]
+
hellaswag_ro:  28%|███████████████████████████████▋                                                                                 | 81/289 [11:43<30:31,  8.81s/it]
+
hellaswag_ro:  28%|████████████████████████████████                                                                                 | 82/289 [11:52<30:05,  8.72s/it]
+
hellaswag_ro:  29%|████████████████████████████████▍                                                                                | 83/289 [12:01<30:16,  8.82s/it]
+
hellaswag_ro:  29%|████████████████████████████████▊                                                                                | 84/289 [12:10<30:35,  8.95s/it]
+
hellaswag_ro:  29%|█████████████████████████████████▏                                                                               | 85/289 [12:18<29:36,  8.71s/it]
+
hellaswag_ro:  30%|█████████████████████████████████▋                                                                               | 86/289 [12:27<29:13,  8.64s/it]
+
hellaswag_ro:  30%|██████████████████████████████████                                                                               | 87/289 [12:35<28:48,  8.55s/it]
+
hellaswag_ro:  30%|██████████████████████████████████▍                                                                              | 88/289 [12:44<28:36,  8.54s/it]
+
hellaswag_ro:  31%|██████████████████████████████████▊                                                                              | 89/289 [12:52<28:29,  8.55s/it]
+
hellaswag_ro:  31%|███████████████████████████████████▏                                                                             | 90/289 [13:01<28:16,  8.53s/it]
+
hellaswag_ro:  31%|███████████████████████████████████▌                                                                             | 91/289 [13:10<28:56,  8.77s/it]
+
hellaswag_ro:  32%|███████████████████████████████████▉                                                                             | 92/289 [13:19<28:40,  8.74s/it]
+
hellaswag_ro:  32%|████████████████████████████████████▎                                                                            | 93/289 [13:28<28:44,  8.80s/it]
+
hellaswag_ro:  33%|████████████████████████████████████▊                                                                            | 94/289 [13:36<28:32,  8.78s/it]
+
hellaswag_ro:  33%|█████████████████████████████████████▏                                                                           | 95/289 [13:45<28:15,  8.74s/it]
+
hellaswag_ro:  33%|█████████████████████████████████████▌                                                                           | 96/289 [13:54<28:23,  8.83s/it]
+
hellaswag_ro:  34%|█████████████████████████████████████▉                                                                           | 97/289 [14:02<27:43,  8.66s/it]
+
hellaswag_ro:  34%|██████████████████████████████████████▎                                                                          | 98/289 [14:11<27:43,  8.71s/it]
+
hellaswag_ro:  34%|██████████████████████████████████████▋                                                                          | 99/289 [14:20<27:15,  8.61s/it]
+
hellaswag_ro:  35%|██████████████████████████████████████▊                                                                         | 100/289 [14:28<26:59,  8.57s/it]
+
hellaswag_ro:  35%|███████████████████████████████████████▏                                                                        | 101/289 [14:37<27:33,  8.79s/it]
+
hellaswag_ro:  35%|███████████████████████████████████████▌                                                                        | 102/289 [14:46<27:06,  8.70s/it]
+
hellaswag_ro:  36%|███████████████████████████████████████▉                                                                        | 103/289 [14:55<26:52,  8.67s/it]
+
hellaswag_ro:  36%|████████████████████████████████████████▎                                                                       | 104/289 [15:03<26:31,  8.61s/it]
+
hellaswag_ro:  36%|████████████████████████████████████████▋                                                                       | 105/289 [15:12<26:21,  8.60s/it]
+
hellaswag_ro:  37%|█████████████████████████████████████████                                                                       | 106/289 [15:20<26:13,  8.60s/it]
+
hellaswag_ro:  37%|█████████████████████████████████████████▍                                                                      | 107/289 [15:29<26:06,  8.61s/it]
+
hellaswag_ro:  37%|█████████████████████████████████████████▊                                                                      | 108/289 [15:38<26:18,  8.72s/it]
+
hellaswag_ro:  38%|██████████████████████████████████████████▏                                                                     | 109/289 [15:47<26:25,  8.81s/it]
+
hellaswag_ro:  38%|██████████████████████████████████████████▋                                                                     | 110/289 [15:56<26:18,  8.82s/it]
+
hellaswag_ro:  38%|███████████████████████████████████████████                                                                     | 111/289 [16:04<25:21,  8.55s/it]
+
hellaswag_ro:  39%|███████████████████████████████████████████▍                                                                    | 112/289 [16:12<25:07,  8.52s/it]
+
hellaswag_ro:  39%|███████████████████████████████████████████▊                                                                    | 113/289 [16:21<25:15,  8.61s/it]
+
hellaswag_ro:  39%|████████████████████████████████████████████▏                                                                   | 114/289 [16:29<25:06,  8.61s/it]
+
hellaswag_ro:  40%|████████████████████████████████████████████▌                                                                   | 115/289 [16:39<25:36,  8.83s/it]
+
hellaswag_ro:  40%|████████████████████████████████████████████▉                                                                   | 116/289 [16:47<25:09,  8.73s/it]
+
hellaswag_ro:  40%|█████████████████████████████████████████████▎                                                                  | 117/289 [16:56<25:27,  8.88s/it]
+
hellaswag_ro:  41%|█████████████████████████████████████████████▋                                                                  | 118/289 [17:05<24:58,  8.77s/it]
+
hellaswag_ro:  41%|██████████████████████████████████████████████                                                                  | 119/289 [17:14<24:49,  8.76s/it]
+
hellaswag_ro:  42%|██████████████████████████████████████████████▌                                                                 | 120/289 [17:22<24:19,  8.63s/it]
+
hellaswag_ro:  42%|██████████████████████████████████████████████▉                                                                 | 121/289 [17:31<24:13,  8.65s/it]
+
hellaswag_ro:  42%|███████████████████████████████████████████████▎                                                                | 122/289 [17:40<24:32,  8.82s/it]
+
hellaswag_ro:  43%|███████████████████████████████████████████████▋                                                                | 123/289 [17:49<24:10,  8.74s/it]
+
hellaswag_ro:  43%|████████████████████████████████████████████████                                                                | 124/289 [17:57<24:02,  8.74s/it]
+
hellaswag_ro:  43%|████████████████████████████████████████████████▍                                                               | 125/289 [18:07<24:22,  8.92s/it]
+
hellaswag_ro:  44%|████████████████████████████████████████████████▊                                                               | 126/289 [18:15<23:46,  8.75s/it]
+
hellaswag_ro:  44%|█████████████████████████████████████████████████▏                                                              | 127/289 [18:24<23:31,  8.71s/it]
+
hellaswag_ro:  44%|█████████████████████████████████████████████████▌                                                              | 128/289 [18:32<23:18,  8.69s/it]
+
hellaswag_ro:  45%|█████████████████████████████████████████████████▉                                                              | 129/289 [18:41<23:29,  8.81s/it]
+
hellaswag_ro:  45%|██████████████████████████████████████████████████▍                                                             | 130/289 [18:50<23:11,  8.75s/it]
+
hellaswag_ro:  45%|██████████████████████████████████████████████████▊                                                             | 131/289 [18:59<22:54,  8.70s/it]
+
hellaswag_ro:  46%|███████████████████████████████████████████████████▏                                                            | 132/289 [19:07<22:46,  8.70s/it]
+
hellaswag_ro:  46%|███████████████████████████████████████████████████▌                                                            | 133/289 [19:16<22:25,  8.63s/it]
+
hellaswag_ro:  46%|███████████████████████████████████████████████████▉                                                            | 134/289 [19:24<22:13,  8.60s/it]
+
hellaswag_ro:  47%|████████████████████████████████████████████████████▎                                                           | 135/289 [19:33<22:13,  8.66s/it]
+
hellaswag_ro:  47%|████████████████████████████████████████████████████▋                                                           | 136/289 [19:42<22:04,  8.66s/it]
+
hellaswag_ro:  47%|█████████████████████████████████████████████████████                                                           | 137/289 [19:50<21:45,  8.59s/it]
+
hellaswag_ro:  48%|█████████████████████████████████████████████████████▍                                                          | 138/289 [19:59<21:54,  8.71s/it]
+
hellaswag_ro:  48%|█████████████████████████████████████████████████████▊                                                          | 139/289 [20:08<21:35,  8.64s/it]
+
hellaswag_ro:  48%|██████████████████████████████████████████████████████▎                                                         | 140/289 [20:16<21:22,  8.60s/it]
+
hellaswag_ro:  49%|██████████████████████████████████████████████████████▋                                                         | 141/289 [20:25<21:18,  8.64s/it]
+
hellaswag_ro:  49%|███████████████████████████████████████████████████████                                                         | 142/289 [20:33<21:03,  8.60s/it]
+
hellaswag_ro:  49%|███████████████████████████████████████████████████████▍                                                        | 143/289 [20:42<20:45,  8.53s/it]
+
hellaswag_ro:  50%|███████████████████████████████████████████████████████▊                                                        | 144/289 [20:50<20:45,  8.59s/it]
+
hellaswag_ro:  50%|████████████████████████████████████████████████████████▏                                                       | 145/289 [21:00<21:12,  8.84s/it]
+
hellaswag_ro:  51%|████████████████████████████████████████████████████████▌                                                       | 146/289 [21:09<21:00,  8.82s/it]
+
hellaswag_ro:  51%|████████████████████████████████████████████████████████▉                                                       | 147/289 [21:17<20:38,  8.72s/it]
+
hellaswag_ro:  51%|█████████████████████████████████████████████████████████▎                                                      | 148/289 [21:26<20:52,  8.88s/it]
+
hellaswag_ro:  52%|█████████████████████████████████████████████████████████▋                                                      | 149/289 [21:35<20:32,  8.81s/it]
+
hellaswag_ro:  52%|██████████████████████████████████████████████████████████▏                                                     | 150/289 [21:44<20:19,  8.77s/it]
+
hellaswag_ro:  52%|██████████████████████████████████████████████████████████▌                                                     | 151/289 [21:52<20:03,  8.72s/it]
+
hellaswag_ro:  53%|██████████████████████████████████████████████████████████▉                                                     | 152/289 [22:01<19:47,  8.67s/it]
+
hellaswag_ro:  53%|███████████████████████████████████████████████████████████▎                                                    | 153/289 [22:10<19:41,  8.68s/it]
+
hellaswag_ro:  53%|███████████████████████████████████████████████████████████▋                                                    | 154/289 [22:18<19:25,  8.64s/it]
+
hellaswag_ro:  54%|████████████████████████████████████████████████████████████                                                    | 155/289 [22:27<19:17,  8.64s/it]
+
hellaswag_ro:  54%|████████████████████████████████████████████████████████████▍                                                   | 156/289 [22:35<19:11,  8.66s/it]
+
hellaswag_ro:  54%|████████████████████████████████████████████████████████████▊                                                   | 157/289 [22:44<19:09,  8.71s/it]
+
hellaswag_ro:  55%|█████████████████████████████████████████████████████████████▏                                                  | 158/289 [22:53<18:55,  8.67s/it]
+
hellaswag_ro:  55%|█████████████████████████████████████████████████████████████▌                                                  | 159/289 [23:02<18:50,  8.70s/it]
+
hellaswag_ro:  55%|██████████████████████████████████████████████████████████████                                                  | 160/289 [23:10<18:41,  8.69s/it]
+
hellaswag_ro:  56%|██████████████████████████████████████████████████████████████▍                                                 | 161/289 [23:19<18:48,  8.81s/it]
+
hellaswag_ro:  56%|██████████████████████████████████████████████████████████████▊                                                 | 162/289 [23:28<18:32,  8.76s/it]
+
hellaswag_ro:  56%|███████████████████████████████████████████████████████████████▏                                                | 163/289 [23:36<18:12,  8.67s/it]
+
hellaswag_ro:  57%|███████████████████████████████████████████████████████████████▌                                                | 164/289 [23:46<18:28,  8.86s/it]
+
hellaswag_ro:  57%|███████████████████████████████████████████████████████████████▉                                                | 165/289 [23:55<18:31,  8.96s/it]
+
hellaswag_ro:  57%|████████████████████████████████████████████████████████████████▎                                               | 166/289 [24:03<18:06,  8.83s/it]
+
hellaswag_ro:  58%|████████████████████████████████████████████████████████████████▋                                               | 167/289 [24:12<17:55,  8.81s/it]
+
hellaswag_ro:  58%|█████████████████████████████████████████████████████████████████                                               | 168/289 [24:21<17:37,  8.74s/it]
+
hellaswag_ro:  58%|█████████████████████████████████████████████████████████████████▍                                              | 169/289 [24:29<17:22,  8.68s/it]
+
hellaswag_ro:  59%|█████████████████████████████████████████████████████████████████▉                                              | 170/289 [24:38<17:19,  8.73s/it]
+
hellaswag_ro:  59%|██████████████████████████████████████████████████████████████████▎                                             | 171/289 [24:47<17:06,  8.70s/it]
+
hellaswag_ro:  60%|██████████████████████████████████████████████████████████████████▋                                             | 172/289 [24:56<17:11,  8.81s/it]
+
hellaswag_ro:  60%|███████████████████████████████████████████████████████████████████                                             | 173/289 [25:05<16:58,  8.78s/it]
+
hellaswag_ro:  60%|███████████████████████████████████████████████████████████████████▍                                            | 174/289 [25:14<17:11,  8.97s/it]
+
hellaswag_ro:  61%|███████████████████████████████████████████████████████████████████▊                                            | 175/289 [25:23<16:47,  8.84s/it]
+
hellaswag_ro:  61%|████████████████████████████████████████████████████████████████████▏                                           | 176/289 [25:31<16:33,  8.79s/it]
+
hellaswag_ro:  61%|████████████████████████████████████████████████████████████████████▌                                           | 177/289 [25:40<16:19,  8.74s/it]
+
hellaswag_ro:  62%|████████████████████████████████████████████████████████████████████▉                                           | 178/289 [25:48<16:04,  8.69s/it]
+
hellaswag_ro:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 179/289 [25:57<16:04,  8.77s/it]
+
hellaswag_ro:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 180/289 [26:06<15:40,  8.63s/it]
+
hellaswag_ro:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 181/289 [26:14<15:34,  8.65s/it]
+
hellaswag_ro:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 182/289 [26:23<15:31,  8.70s/it]
+
hellaswag_ro:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 183/289 [26:33<15:45,  8.92s/it]
+
hellaswag_ro:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 184/289 [26:41<15:32,  8.88s/it]
+
hellaswag_ro:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 185/289 [26:50<15:07,  8.72s/it]
+
hellaswag_ro:  64%|████████████████████████████████████████████████████████████████████████                                        | 186/289 [26:58<14:53,  8.68s/it]
+
hellaswag_ro:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 187/289 [27:07<14:45,  8.68s/it]
+
hellaswag_ro:  65%|████████████████████████████████████████████████████████████████████████▊                                       | 188/289 [27:16<14:51,  8.82s/it]
+
hellaswag_ro:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 189/289 [27:25<14:52,  8.93s/it]
+
hellaswag_ro:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 190/289 [27:35<14:55,  9.04s/it]
+
hellaswag_ro:  66%|██████████████████████████████████████████████████████████████████████████                                      | 191/289 [27:43<14:13,  8.71s/it]
+
hellaswag_ro:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 192/289 [27:52<14:18,  8.85s/it]
+
hellaswag_ro:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 193/289 [28:01<14:07,  8.83s/it]
+
hellaswag_ro:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 194/289 [28:10<14:06,  8.91s/it]
+
hellaswag_ro:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 195/289 [28:18<13:50,  8.83s/it]
+
hellaswag_ro:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 196/289 [28:28<13:56,  9.00s/it]
+
hellaswag_ro:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 197/289 [28:37<13:56,  9.09s/it]
+
hellaswag_ro:  69%|████████████████████████████████████████████████████████████████████████████▋                                   | 198/289 [28:46<13:31,  8.91s/it]
+
hellaswag_ro:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 199/289 [28:54<13:23,  8.93s/it]
+
hellaswag_ro:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 200/289 [29:03<13:07,  8.85s/it]
+
hellaswag_ro:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 201/289 [29:12<12:58,  8.85s/it]
+
hellaswag_ro:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 202/289 [29:21<12:45,  8.80s/it]
+
hellaswag_ro:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 203/289 [29:30<12:48,  8.93s/it]
+
hellaswag_ro:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 204/289 [29:38<12:24,  8.76s/it]
+
hellaswag_ro:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 205/289 [29:47<12:26,  8.89s/it]
+
hellaswag_ro:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 206/289 [29:56<12:10,  8.80s/it]
+
hellaswag_ro:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 207/289 [30:05<11:56,  8.74s/it]
+
hellaswag_ro:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 208/289 [30:13<11:48,  8.75s/it]
+
hellaswag_ro:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 209/289 [30:22<11:34,  8.69s/it]
+
hellaswag_ro:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 210/289 [30:31<11:23,  8.65s/it]
+
hellaswag_ro:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 211/289 [30:39<11:11,  8.60s/it]
+
hellaswag_ro:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 212/289 [30:47<10:56,  8.53s/it]
+
hellaswag_ro:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 213/289 [30:56<10:48,  8.54s/it]
+
hellaswag_ro:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 214/289 [31:05<10:51,  8.69s/it]
+
hellaswag_ro:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 215/289 [31:14<10:49,  8.78s/it]
+
hellaswag_ro:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 216/289 [31:23<10:36,  8.72s/it]
+
hellaswag_ro:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 217/289 [31:31<10:15,  8.55s/it]
+
hellaswag_ro:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 218/289 [31:40<10:23,  8.78s/it]
+
hellaswag_ro:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 219/289 [31:49<10:26,  8.94s/it]
+
hellaswag_ro:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 220/289 [31:58<10:06,  8.80s/it]
+
hellaswag_ro:  76%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 221/289 [32:07<10:05,  8.91s/it]
+
hellaswag_ro:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 222/289 [32:15<09:46,  8.76s/it]
+
hellaswag_ro:  77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 223/289 [32:24<09:37,  8.75s/it]
+
hellaswag_ro:  78%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 224/289 [32:33<09:28,  8.74s/it]
+
hellaswag_ro:  78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 225/289 [32:41<09:09,  8.59s/it]
+
hellaswag_ro:  78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 226/289 [32:50<09:07,  8.69s/it]
+
hellaswag_ro:  79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 227/289 [32:59<08:56,  8.66s/it]
+
hellaswag_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 228/289 [33:08<08:58,  8.83s/it]
+
hellaswag_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 229/289 [33:17<08:54,  8.90s/it]
+
hellaswag_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 230/289 [33:26<08:43,  8.87s/it]
+
hellaswag_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 231/289 [33:34<08:31,  8.81s/it]
+
hellaswag_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 232/289 [33:44<08:32,  8.99s/it]
+
hellaswag_ro:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 233/289 [33:53<08:26,  9.05s/it]
+
hellaswag_ro:  81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 234/289 [34:02<08:09,  8.90s/it]
+
hellaswag_ro:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 235/289 [34:10<08:01,  8.91s/it]
+
hellaswag_ro:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 236/289 [34:19<07:45,  8.79s/it]
+
hellaswag_ro:  82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 237/289 [34:28<07:43,  8.91s/it]
+
hellaswag_ro:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 238/289 [34:37<07:32,  8.88s/it]
+
hellaswag_ro:  83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 239/289 [34:45<07:17,  8.76s/it]
+
hellaswag_ro:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 240/289 [34:54<07:06,  8.71s/it]
+
hellaswag_ro:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 241/289 [35:03<06:56,  8.68s/it]
+
hellaswag_ro:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 242/289 [35:12<06:55,  8.83s/it]
+
hellaswag_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 243/289 [35:21<06:49,  8.90s/it]
+
hellaswag_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 244/289 [35:30<06:41,  8.93s/it]
+
hellaswag_ro:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 245/289 [35:39<06:41,  9.13s/it]
+
hellaswag_ro:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 246/289 [35:48<06:24,  8.95s/it]
+
hellaswag_ro:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 247/289 [35:56<06:09,  8.79s/it]
+
hellaswag_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 248/289 [36:05<05:55,  8.66s/it]
+
hellaswag_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 249/289 [36:14<05:49,  8.74s/it]
+
hellaswag_ro:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 250/289 [36:23<05:44,  8.84s/it]
+
hellaswag_ro:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 251/289 [36:31<05:34,  8.79s/it]
+
hellaswag_ro:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 252/289 [36:40<05:24,  8.77s/it]
+
hellaswag_ro:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 253/289 [36:49<05:17,  8.82s/it]
+
hellaswag_ro:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 254/289 [36:58<05:09,  8.86s/it]
+
hellaswag_ro:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 255/289 [37:07<04:57,  8.75s/it]
+
hellaswag_ro:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 256/289 [37:15<04:46,  8.67s/it]
+
hellaswag_ro:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 257/289 [37:24<04:38,  8.69s/it]
+
hellaswag_ro:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 258/289 [37:32<04:27,  8.64s/it]
+
hellaswag_ro:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 259/289 [37:41<04:18,  8.61s/it]
+
hellaswag_ro:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 260/289 [37:49<04:09,  8.60s/it]
+
hellaswag_ro:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 261/289 [37:59<04:07,  8.85s/it]
+
hellaswag_ro:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 262/289 [38:07<03:55,  8.73s/it]
+
hellaswag_ro:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 263/289 [38:16<03:46,  8.72s/it]
+
hellaswag_ro:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 264/289 [38:24<03:35,  8.64s/it]
+
hellaswag_ro:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 265/289 [38:33<03:29,  8.72s/it]
+
hellaswag_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 266/289 [38:42<03:19,  8.66s/it]
+
hellaswag_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 267/289 [38:50<03:10,  8.64s/it]
+
hellaswag_ro:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 268/289 [38:58<02:57,  8.46s/it]
+
hellaswag_ro:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 269/289 [39:07<02:51,  8.56s/it]
+
hellaswag_ro:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 270/289 [39:16<02:41,  8.51s/it]
+
hellaswag_ro:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 271/289 [39:25<02:36,  8.68s/it]
+
hellaswag_ro:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 272/289 [39:33<02:27,  8.65s/it]
+
hellaswag_ro:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 273/289 [39:42<02:19,  8.69s/it]
+
hellaswag_ro:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 274/289 [39:51<02:09,  8.63s/it]
+
hellaswag_ro:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 275/289 [39:59<02:00,  8.62s/it]
+
hellaswag_ro:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 276/289 [40:08<01:51,  8.55s/it]
+
hellaswag_ro:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 277/289 [40:17<01:44,  8.73s/it]
+
hellaswag_ro:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 278/289 [40:26<01:37,  8.87s/it]
+
hellaswag_ro:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 279/289 [40:35<01:28,  8.82s/it]
+
hellaswag_ro:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 280/289 [40:43<01:19,  8.80s/it]
+
hellaswag_ro:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 281/289 [40:53<01:11,  8.89s/it]
+
hellaswag_ro:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 282/289 [41:02<01:03,  9.04s/it]
+
hellaswag_ro:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 283/289 [41:11<00:54,  9.10s/it]
+
hellaswag_ro:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 284/289 [41:20<00:44,  8.95s/it]
+
hellaswag_ro:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 285/289 [41:28<00:35,  8.76s/it]
+
hellaswag_ro:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 286/289 [41:37<00:26,  8.71s/it]
+
hellaswag_ro:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 287/289 [41:45<00:17,  8.68s/it]
+
hellaswag_ro: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 288/289 [41:54<00:08,  8.82s/it]
+
hellaswag_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [42:02<00:00,  8.51s/it]
hellaswag_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 289/289 [42:02<00:00,  8.73s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ro_acc 0.4989724175229854
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ro_acc_norm 0.6629529475392104
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 06:03:49,989 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 06:03:49,989 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:50,116 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 06:03:50,116 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:50,242 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 06:03:50,242 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:50,368 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 06:03:50,369 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 06:03:50,369 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 06:03:50,497 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 06:03:50,497 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ro_acc'}
+2024-05-30 06:03:50,561 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 06:03:50,561 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1183, 'value': 0.4989724175229854}
+2024-05-30 06:03:50,626 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 06:03:51,283 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 06:03:51,283 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:51,413 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 06:03:51,413 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:51,543 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 06:03:51,543 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:51,672 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 06:03:51,673 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 06:03:51,673 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 06:03:51,804 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 06:03:51,804 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'hellaswag_ro_acc_norm'}
+2024-05-30 06:03:51,870 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 06:03:51,870 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1184, 'value': 0.6629529475392104}
+2024-05-30 06:03:51,935 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  43%|██████████████████████████████████████████████▏                                                             | 53/124 [23:16:21<60:54:01, 3087.90s/it]['hellaswag_ru']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 06:03:52,554 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 06:03:52,555 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:52,675 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 06:03:52,675 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:52,796 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 06:03:52,796 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 06:03:52,917 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 06:03:52,918 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 06:03:52,918 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_ru'}
+2024-05-30 06:03:53,040 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ru task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:04,  4.23s/ examples]
+
Generating validation split: 1633 examples [00:04, 533.60 examples/s]
+
Generating validation split: 3125 examples [00:04, 1175.28 examples/s]
+
Generating validation split: 5000 examples [00:04, 2201.64 examples/s]
+
Generating validation split: 7000 examples [00:04, 3521.54 examples/s]
+
Generating validation split: 9000 examples [00:04, 5017.87 examples/s]
Generating validation split: 9272 examples [00:04, 1920.07 examples/s]
+Loaded 9272 examples
+Running loglikelihood requests
+
+
hellaswag_ru:   0%|                                                                                                                          | 0/290 [00:00<?, ?it/s]
+
hellaswag_ru:   0%|▍                                                                                                               | 1/290 [00:13<1:04:29, 13.39s/it]
+
hellaswag_ru:   1%|▊                                                                                                               | 2/290 [00:25<1:01:26, 12.80s/it]
+
hellaswag_ru:   1%|█▏                                                                                                              | 3/290 [00:38<1:00:16, 12.60s/it]
+
hellaswag_ru:   1%|█▌                                                                                                                | 4/290 [00:49<57:48, 12.13s/it]
+
hellaswag_ru:   2%|█▉                                                                                                                | 5/290 [01:01<56:50, 11.97s/it]
+
hellaswag_ru:   2%|██▎                                                                                                               | 6/290 [01:13<56:49, 12.00s/it]
+
hellaswag_ru:   2%|██▊                                                                                                               | 7/290 [01:25<57:35, 12.21s/it]
+
hellaswag_ru:   3%|███▏                                                                                                              | 8/290 [01:37<56:15, 11.97s/it]
+
hellaswag_ru:   3%|███▌                                                                                                              | 9/290 [01:49<56:22, 12.04s/it]
+
hellaswag_ru:   3%|███▉                                                                                                             | 10/290 [02:02<56:46, 12.17s/it]
+
hellaswag_ru:   4%|████▎                                                                                                            | 11/290 [02:13<55:59, 12.04s/it]
+
hellaswag_ru:   4%|████▋                                                                                                            | 12/290 [02:24<54:21, 11.73s/it]
+
hellaswag_ru:   4%|█████                                                                                                            | 13/290 [02:35<53:14, 11.53s/it]
+
hellaswag_ru:   5%|█████▍                                                                                                           | 14/290 [02:47<53:29, 11.63s/it]
+
hellaswag_ru:   5%|█████▊                                                                                                           | 15/290 [02:59<53:50, 11.75s/it]
+
hellaswag_ru:   6%|██████▏                                                                                                          | 16/290 [03:11<53:51, 11.79s/it]
+
hellaswag_ru:   6%|██████▌                                                                                                          | 17/290 [03:23<53:13, 11.70s/it]
+
hellaswag_ru:   6%|███████                                                                                                          | 18/290 [03:34<53:08, 11.72s/it]
+
hellaswag_ru:   7%|███████▍                                                                                                         | 19/290 [03:47<53:51, 11.92s/it]
+
hellaswag_ru:   7%|███████▊                                                                                                         | 20/290 [03:59<53:34, 11.91s/it]
+
hellaswag_ru:   7%|████████▏                                                                                                        | 21/290 [04:11<53:47, 12.00s/it]
+
hellaswag_ru:   8%|████████▌                                                                                                        | 22/290 [04:22<52:01, 11.65s/it]
+
hellaswag_ru:   8%|████████▉                                                                                                        | 23/290 [04:34<52:20, 11.76s/it]
+
hellaswag_ru:   8%|█████████▎                                                                                                       | 24/290 [04:45<51:41, 11.66s/it]
+
hellaswag_ru:   9%|█████████▋                                                                                                       | 25/290 [04:57<52:19, 11.85s/it]
+
hellaswag_ru:   9%|██████████▏                                                                                                      | 26/290 [05:09<51:51, 11.78s/it]
+
hellaswag_ru:   9%|██████████▌                                                                                                      | 27/290 [05:21<51:32, 11.76s/it]
+
hellaswag_ru:  10%|██████████▉                                                                                                      | 28/290 [05:33<52:15, 11.97s/it]
+
hellaswag_ru:  10%|███████████▎                                                                                                     | 29/290 [05:45<52:11, 12.00s/it]
+
hellaswag_ru:  10%|███████████▋                                                                                                     | 30/290 [05:57<51:05, 11.79s/it]
+
hellaswag_ru:  11%|████████████                                                                                                     | 31/290 [06:08<50:55, 11.80s/it]
+
hellaswag_ru:  11%|████████████▍                                                                                                    | 32/290 [06:20<50:38, 11.78s/it]
+
hellaswag_ru:  11%|████████████▊                                                                                                    | 33/290 [06:32<50:00, 11.67s/it]
+
hellaswag_ru:  12%|█████████████▏                                                                                                   | 34/290 [06:43<49:53, 11.70s/it]
+
hellaswag_ru:  12%|█████████████▋                                                                                                   | 35/290 [06:55<49:45, 11.71s/it]
+
hellaswag_ru:  12%|██████████████                                                                                                   | 36/290 [07:07<50:27, 11.92s/it]
+
hellaswag_ru:  13%|██████████████▍                                                                                                  | 37/290 [07:21<51:52, 12.30s/it]
+
hellaswag_ru:  13%|██████████████▊                                                                                                  | 38/290 [07:33<51:34, 12.28s/it]
+
hellaswag_ru:  13%|███████████████▏                                                                                                 | 39/290 [07:44<50:15, 12.01s/it]
+
hellaswag_ru:  14%|███████████████▌                                                                                                 | 40/290 [07:56<49:32, 11.89s/it]
+
hellaswag_ru:  14%|███████████████▉                                                                                                 | 41/290 [08:08<49:07, 11.84s/it]
+
hellaswag_ru:  14%|████████████████▎                                                                                                | 42/290 [08:19<48:15, 11.67s/it]
+
hellaswag_ru:  15%|████████████████▊                                                                                                | 43/290 [08:30<47:53, 11.63s/it]
+
hellaswag_ru:  15%|█████████████████▏                                                                                               | 44/290 [08:42<47:00, 11.47s/it]
+
hellaswag_ru:  16%|█████████████████▌                                                                                               | 45/290 [08:53<46:37, 11.42s/it]
+
hellaswag_ru:  16%|█████████████████▉                                                                                               | 46/290 [09:05<47:50, 11.77s/it]
+
hellaswag_ru:  16%|██████████████████▎                                                                                              | 47/290 [09:17<47:28, 11.72s/it]
+
hellaswag_ru:  17%|██████████████████▋                                                                                              | 48/290 [09:29<47:22, 11.74s/it]
+
hellaswag_ru:  17%|███████████████████                                                                                              | 49/290 [09:40<46:45, 11.64s/it]
+
hellaswag_ru:  17%|███████████████████▍                                                                                             | 50/290 [09:52<47:09, 11.79s/it]
+
hellaswag_ru:  18%|███████████████████▊                                                                                             | 51/290 [10:04<47:10, 11.84s/it]
+
hellaswag_ru:  18%|████████████████████▎                                                                                            | 52/290 [10:16<46:43, 11.78s/it]
+
hellaswag_ru:  18%|████████████████████▋                                                                                            | 53/290 [10:28<46:21, 11.74s/it]
+
hellaswag_ru:  19%|█████████████████████                                                                                            | 54/290 [10:40<46:29, 11.82s/it]
+
hellaswag_ru:  19%|█████████████████████▍                                                                                           | 55/290 [10:52<46:22, 11.84s/it]
+
hellaswag_ru:  19%|█████████████████████▊                                                                                           | 56/290 [11:04<46:24, 11.90s/it]
+
hellaswag_ru:  20%|██████████████████████▏                                                                                          | 57/290 [11:15<45:54, 11.82s/it]
+
hellaswag_ru:  20%|██████████████████████▌                                                                                          | 58/290 [11:27<46:01, 11.90s/it]
+
hellaswag_ru:  20%|██████████████████████▉                                                                                          | 59/290 [11:39<45:41, 11.87s/it]
+
hellaswag_ru:  21%|███████████████████████▍                                                                                         | 60/290 [11:51<45:25, 11.85s/it]
+
hellaswag_ru:  21%|███████████████████████▊                                                                                         | 61/290 [12:03<45:45, 11.99s/it]
+
hellaswag_ru:  21%|████████████████████████▏                                                                                        | 62/290 [12:15<45:20, 11.93s/it]
+
hellaswag_ru:  22%|████████████████████████▌                                                                                        | 63/290 [12:27<45:30, 12.03s/it]
+
hellaswag_ru:  22%|████████████████████████▉                                                                                        | 64/290 [12:39<45:02, 11.96s/it]
+
hellaswag_ru:  22%|█████████████████████████▎                                                                                       | 65/290 [12:50<44:15, 11.80s/it]
+
hellaswag_ru:  23%|█████████████████████████▋                                                                                       | 66/290 [13:02<43:49, 11.74s/it]
+
hellaswag_ru:  23%|██████████████████████████                                                                                       | 67/290 [13:15<44:46, 12.05s/it]
+
hellaswag_ru:  23%|██████████████████████████▍                                                                                      | 68/290 [13:26<44:02, 11.90s/it]
+
hellaswag_ru:  24%|██████████████████████████▉                                                                                      | 69/290 [13:38<43:46, 11.88s/it]
+
hellaswag_ru:  24%|███████████████████████████▎                                                                                     | 70/290 [13:50<43:09, 11.77s/it]
+
hellaswag_ru:  24%|███████████████████████████▋                                                                                     | 71/290 [14:02<43:36, 11.95s/it]
+
hellaswag_ru:  25%|████████████████████████████                                                                                     | 72/290 [14:15<44:05, 12.14s/it]
+
hellaswag_ru:  25%|████████████████████████████▍                                                                                    | 73/290 [14:26<42:47, 11.83s/it]
+
hellaswag_ru:  26%|████████████████████████████▊                                                                                    | 74/290 [14:37<41:55, 11.65s/it]
+
hellaswag_ru:  26%|█████████████████████████████▏                                                                                   | 75/290 [14:49<42:34, 11.88s/it]
+
hellaswag_ru:  26%|█████████████████████████████▌                                                                                   | 76/290 [15:02<43:17, 12.14s/it]
+
hellaswag_ru:  27%|██████████████████████████████                                                                                   | 77/290 [15:14<42:36, 12.00s/it]
+
hellaswag_ru:  27%|██████████████████████████████▍                                                                                  | 78/290 [15:26<42:11, 11.94s/it]
+
hellaswag_ru:  27%|██████████████████████████████▊                                                                                  | 79/290 [15:38<42:18, 12.03s/it]
+
hellaswag_ru:  28%|███████████████████████████████▏                                                                                 | 80/290 [15:49<41:35, 11.88s/it]
+
hellaswag_ru:  28%|███████████████████████████████▌                                                                                 | 81/290 [16:01<41:13, 11.83s/it]
+
hellaswag_ru:  28%|███████████████████████████████▉                                                                                 | 82/290 [16:13<41:04, 11.85s/it]
+
hellaswag_ru:  29%|████████████████████████████████▎                                                                                | 83/290 [16:25<41:27, 12.02s/it]
+
hellaswag_ru:  29%|████████████████████████████████▋                                                                                | 84/290 [16:37<40:30, 11.80s/it]
+
hellaswag_ru:  29%|█████████████████████████████████                                                                                | 85/290 [16:48<40:16, 11.79s/it]
+
hellaswag_ru:  30%|█████████████████████████████████▌                                                                               | 86/290 [17:00<39:56, 11.75s/it]
+
hellaswag_ru:  30%|█████████████████████████████████▉                                                                               | 87/290 [17:12<40:03, 11.84s/it]
+
hellaswag_ru:  30%|██████████████████████████████████▎                                                                              | 88/290 [17:23<39:08, 11.62s/it]
+
hellaswag_ru:  31%|██████████████████████████████████▋                                                                              | 89/290 [17:35<38:46, 11.58s/it]
+
hellaswag_ru:  31%|███████████████████████████████████                                                                              | 90/290 [17:46<38:41, 11.61s/it]
+
hellaswag_ru:  31%|███████████████████████████████████▍                                                                             | 91/290 [17:59<39:05, 11.79s/it]
+
hellaswag_ru:  32%|███████████████████████████████████▊                                                                             | 92/290 [18:11<38:59, 11.81s/it]
+
hellaswag_ru:  32%|████████████████████████████████████▏                                                                            | 93/290 [18:22<38:20, 11.68s/it]
+
hellaswag_ru:  32%|████████████████████████████████████▋                                                                            | 94/290 [18:34<38:32, 11.80s/it]
+
hellaswag_ru:  33%|█████████████████████████████████████                                                                            | 95/290 [18:46<38:52, 11.96s/it]
+
hellaswag_ru:  33%|█████████████████████████████████████▍                                                                           | 96/290 [18:59<39:02, 12.07s/it]
+
hellaswag_ru:  33%|█████████████████████████████████████▊                                                                           | 97/290 [19:10<37:50, 11.77s/it]
+
hellaswag_ru:  34%|██████████████████████████████████████▏                                                                          | 98/290 [19:22<38:07, 11.92s/it]
+
hellaswag_ru:  34%|██████████████████████████████████████▌                                                                          | 99/290 [19:34<38:29, 12.09s/it]
+
hellaswag_ru:  34%|██████████████████████████████████████▌                                                                         | 100/290 [19:46<38:06, 12.03s/it]
+
hellaswag_ru:  35%|███████████████████████████████████████                                                                         | 101/290 [19:58<37:38, 11.95s/it]
+
hellaswag_ru:  35%|███████████████████████████████████████▍                                                                        | 102/290 [20:10<37:20, 11.92s/it]
+
hellaswag_ru:  36%|███████████████████████████████████████▊                                                                        | 103/290 [20:22<37:34, 12.06s/it]
+
hellaswag_ru:  36%|████████████████████████████████████████▏                                                                       | 104/290 [20:34<37:02, 11.95s/it]
+
hellaswag_ru:  36%|████████████████████████████████████████▌                                                                       | 105/290 [20:46<36:36, 11.87s/it]
+
hellaswag_ru:  37%|████████████████████████████████████████▉                                                                       | 106/290 [20:58<36:58, 12.06s/it]
+
hellaswag_ru:  37%|█████████████████████████████████████████▎                                                                      | 107/290 [21:10<36:25, 11.94s/it]
+
hellaswag_ru:  37%|█████████████████████████████████████████▋                                                                      | 108/290 [21:21<35:53, 11.83s/it]
+
hellaswag_ru:  38%|██████████████████████████████████████████                                                                      | 109/290 [21:34<36:09, 11.99s/it]
+
hellaswag_ru:  38%|██████████████████████████████████████████▍                                                                     | 110/290 [21:45<34:55, 11.64s/it]
+
hellaswag_ru:  38%|██████████████████████████████████████████▊                                                                     | 111/290 [21:56<34:39, 11.62s/it]
+
hellaswag_ru:  39%|███████████████████████████████████████████▎                                                                    | 112/290 [22:08<34:38, 11.68s/it]
+
hellaswag_ru:  39%|███████████████████████████████████████████▋                                                                    | 113/290 [22:19<33:58, 11.52s/it]
+
hellaswag_ru:  39%|████████████████████████████████████████████                                                                    | 114/290 [22:31<33:55, 11.56s/it]
+
hellaswag_ru:  40%|████████████████████████████████████████████▍                                                                   | 115/290 [22:42<33:06, 11.35s/it]
+
hellaswag_ru:  40%|████████████████████████████████████████████▊                                                                   | 116/290 [22:53<32:57, 11.36s/it]
+
hellaswag_ru:  40%|█████████████████████████████████████████████▏                                                                  | 117/290 [23:06<33:53, 11.75s/it]
+
hellaswag_ru:  41%|█████████████████████████████████████████████▌                                                                  | 118/290 [23:18<33:58, 11.85s/it]
+
hellaswag_ru:  41%|█████████████████████████████████████████████▉                                                                  | 119/290 [23:30<33:37, 11.80s/it]
+
hellaswag_ru:  41%|██████████████████████████████████████████████▎                                                                 | 120/290 [23:41<32:52, 11.60s/it]
+
hellaswag_ru:  42%|██████████████████████████████████████████████▋                                                                 | 121/290 [23:53<33:24, 11.86s/it]
+
hellaswag_ru:  42%|███████████████████████████████████████████████                                                                 | 122/290 [24:04<32:43, 11.69s/it]
+
hellaswag_ru:  42%|███████████████████████████████████████████████▌                                                                | 123/290 [24:17<33:39, 12.09s/it]
+
hellaswag_ru:  43%|███████████████████████████████████████████████▉                                                                | 124/290 [24:29<33:11, 11.99s/it]
+
hellaswag_ru:  43%|████████████████████████████████████████████████▎                                                               | 125/290 [24:41<32:30, 11.82s/it]
+
hellaswag_ru:  43%|████████████████████████████████████████████████▋                                                               | 126/290 [24:53<32:51, 12.02s/it]
+
hellaswag_ru:  44%|█████████████████████████████████████████████████                                                               | 127/290 [25:06<33:01, 12.16s/it]
+
hellaswag_ru:  44%|█████████████████████████████████████████████████▍                                                              | 128/290 [25:17<32:31, 12.04s/it]
+
hellaswag_ru:  44%|█████████████████████████████████████████████████▊                                                              | 129/290 [25:29<32:04, 11.96s/it]
+
hellaswag_ru:  45%|██████████████████████████████████████████████████▏                                                             | 130/290 [25:40<31:09, 11.68s/it]
+
hellaswag_ru:  45%|██████████████████████████████████████████████████▌                                                             | 131/290 [25:52<30:50, 11.64s/it]
+
hellaswag_ru:  46%|██████████████████████████████████████████████████▉                                                             | 132/290 [26:04<30:47, 11.70s/it]
+
hellaswag_ru:  46%|███████████████████████████████████████████████████▎                                                            | 133/290 [26:15<30:40, 11.72s/it]
+
hellaswag_ru:  46%|███████████████████████████████████████████████████▊                                                            | 134/290 [26:27<30:32, 11.75s/it]
+
hellaswag_ru:  47%|████████████████████████████████████████████████████▏                                                           | 135/290 [26:40<31:28, 12.19s/it]
+
hellaswag_ru:  47%|████████████████████████████████████████████████████▌                                                           | 136/290 [26:51<30:28, 11.87s/it]
+
hellaswag_ru:  47%|████████████████████████████████████████████████████▉                                                           | 137/290 [27:04<30:36, 12.01s/it]
+
hellaswag_ru:  48%|█████████████████████████████████████████████████████▎                                                          | 138/290 [27:16<30:49, 12.17s/it]
+
hellaswag_ru:  48%|█████████████████████████████████████████████████████▋                                                          | 139/290 [27:28<30:11, 12.00s/it]
+
hellaswag_ru:  48%|██████████████████████████████████████████████████████                                                          | 140/290 [27:40<30:03, 12.02s/it]
+
hellaswag_ru:  49%|██████████████████████████████████████████████████████▍                                                         | 141/290 [27:52<29:44, 11.98s/it]
+
hellaswag_ru:  49%|██████████████████████████████████████████████████████▊                                                         | 142/290 [28:03<29:14, 11.86s/it]
+
hellaswag_ru:  49%|███████████████████████████████████████████████████████▏                                                        | 143/290 [28:15<29:02, 11.85s/it]
+
hellaswag_ru:  50%|███████████████████████████████████████████████████████▌                                                        | 144/290 [28:27<29:01, 11.93s/it]
+
hellaswag_ru:  50%|████████████████████████████████████████████████████████                                                        | 145/290 [28:39<28:34, 11.83s/it]
+
hellaswag_ru:  50%|████████████████████████████████████████████████████████▍                                                       | 146/290 [28:51<28:48, 12.00s/it]
+
hellaswag_ru:  51%|████████████████████████████████████████████████████████▊                                                       | 147/290 [29:03<28:26, 11.93s/it]
+
hellaswag_ru:  51%|█████████████████████████████████████████████████████████▏                                                      | 148/290 [29:15<28:07, 11.88s/it]
+
hellaswag_ru:  51%|█████████████████████████████████████████████████████████▌                                                      | 149/290 [29:27<27:54, 11.88s/it]
+
hellaswag_ru:  52%|█████████████████████████████████████████████████████████▉                                                      | 150/290 [29:37<26:50, 11.51s/it]
+
hellaswag_ru:  52%|██████████████████████████████████████████████████████████▎                                                     | 151/290 [29:50<27:30, 11.87s/it]
+
hellaswag_ru:  52%|██████████████████████████████████████████████████████████▋                                                     | 152/290 [30:01<26:48, 11.66s/it]
+
hellaswag_ru:  53%|███████████████████████████████████████████████████████████                                                     | 153/290 [30:13<26:25, 11.58s/it]
+
hellaswag_ru:  53%|███████████████████████████████████████████████████████████▍                                                    | 154/290 [30:24<25:54, 11.43s/it]
+
hellaswag_ru:  53%|███████████████████████████████████████████████████████████▊                                                    | 155/290 [30:36<26:13, 11.66s/it]
+
hellaswag_ru:  54%|████████████████████████████████████████████████████████████▏                                                   | 156/290 [30:48<26:25, 11.83s/it]
+
hellaswag_ru:  54%|████████████████████████████████████████████████████████████▋                                                   | 157/290 [31:00<26:13, 11.83s/it]
+
hellaswag_ru:  54%|█████████████████████████████████████████████████████████████                                                   | 158/290 [31:13<26:35, 12.09s/it]
+
hellaswag_ru:  55%|█████████████████████████████████████████████████████████████▍                                                  | 159/290 [31:25<26:20, 12.07s/it]
+
hellaswag_ru:  55%|█████████████████████████████████████████████████████████████▊                                                  | 160/290 [31:38<26:34, 12.27s/it]
+
hellaswag_ru:  56%|██████████████████████████████████████████████████████████████▏                                                 | 161/290 [31:49<26:05, 12.14s/it]
+
hellaswag_ru:  56%|██████████████████████████████████████████████████████████████▌                                                 | 162/290 [32:00<24:54, 11.67s/it]
+
hellaswag_ru:  56%|██████████████████████████████████████████████████████████████▉                                                 | 163/290 [32:12<24:55, 11.77s/it]
+
hellaswag_ru:  57%|███████████████████████████████████████████████████████████████▎                                                | 164/290 [32:24<24:41, 11.76s/it]
+
hellaswag_ru:  57%|███████████████████████████████████████████████████████████████▋                                                | 165/290 [32:35<24:25, 11.73s/it]
+
hellaswag_ru:  57%|████████████████████████████████████████████████████████████████                                                | 166/290 [32:47<24:17, 11.75s/it]
+
hellaswag_ru:  58%|████████████████████████████████████████████████████████████████▍                                               | 167/290 [32:59<24:07, 11.77s/it]
+
hellaswag_ru:  58%|████████████████████████████████████████████████████████████████▉                                               | 168/290 [33:11<24:06, 11.85s/it]
+
hellaswag_ru:  58%|█████████████████████████████████████████████████████████████████▎                                              | 169/290 [33:22<23:23, 11.60s/it]
+
hellaswag_ru:  59%|█████████████████████████████████████████████████████████████████▋                                              | 170/290 [33:34<23:15, 11.63s/it]
+
hellaswag_ru:  59%|██████████████████████████████████████████████████████████████████                                              | 171/290 [33:46<23:42, 11.95s/it]
+
hellaswag_ru:  59%|██████████████████████████████████████████████████████████████████▍                                             | 172/290 [33:58<23:32, 11.97s/it]
+
hellaswag_ru:  60%|██████████████████████████████████████████████████████████████████▊                                             | 173/290 [34:09<22:39, 11.62s/it]
+
hellaswag_ru:  60%|███████████████████████████████████████████████████████████████████▏                                            | 174/290 [34:21<22:30, 11.64s/it]
+
hellaswag_ru:  60%|███████████████████████████████████████████████████████████████████▌                                            | 175/290 [34:33<22:22, 11.67s/it]
+
hellaswag_ru:  61%|███████████████████████████████████████████████████████████████████▉                                            | 176/290 [34:44<21:58, 11.57s/it]
+
hellaswag_ru:  61%|████████████████████████████████████████████████████████████████████▎                                           | 177/290 [34:56<21:54, 11.63s/it]
+
hellaswag_ru:  61%|████████████████████████████████████████████████████████████████████▋                                           | 178/290 [35:08<22:05, 11.83s/it]
+
hellaswag_ru:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 179/290 [35:20<21:49, 11.80s/it]
+
hellaswag_ru:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 180/290 [35:31<21:27, 11.70s/it]
+
hellaswag_ru:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 181/290 [35:44<21:36, 11.90s/it]
+
hellaswag_ru:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 182/290 [35:56<21:30, 11.95s/it]
+
hellaswag_ru:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 183/290 [36:09<21:48, 12.23s/it]
+
hellaswag_ru:  63%|███████████████████████████████████████████████████████████████████████                                         | 184/290 [36:20<21:25, 12.13s/it]
+
hellaswag_ru:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 185/290 [36:32<21:06, 12.06s/it]
+
hellaswag_ru:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 186/290 [36:44<20:34, 11.87s/it]
+
hellaswag_ru:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 187/290 [36:55<20:14, 11.79s/it]
+
hellaswag_ru:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 188/290 [37:07<19:56, 11.73s/it]
+
hellaswag_ru:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 189/290 [37:19<19:40, 11.69s/it]
+
hellaswag_ru:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 190/290 [37:30<19:31, 11.72s/it]
+
hellaswag_ru:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 191/290 [37:43<19:40, 11.93s/it]
+
hellaswag_ru:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 192/290 [37:54<19:15, 11.79s/it]
+
hellaswag_ru:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 193/290 [38:06<18:59, 11.75s/it]
+
hellaswag_ru:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 194/290 [38:18<18:42, 11.70s/it]
+
hellaswag_ru:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 195/290 [38:30<18:46, 11.86s/it]
+
hellaswag_ru:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 196/290 [38:43<19:02, 12.16s/it]
+
hellaswag_ru:  68%|████████████████████████████████████████████████████████████████████████████                                    | 197/290 [38:56<19:13, 12.40s/it]
+
hellaswag_ru:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 198/290 [39:07<18:30, 12.07s/it]
+
hellaswag_ru:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 199/290 [39:18<18:04, 11.92s/it]
+
hellaswag_ru:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 200/290 [39:30<17:41, 11.79s/it]
+
hellaswag_ru:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 201/290 [39:41<17:20, 11.70s/it]
+
hellaswag_ru:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 202/290 [39:53<17:07, 11.67s/it]
+
hellaswag_ru:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 203/290 [40:05<16:50, 11.62s/it]
+
hellaswag_ru:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 204/290 [40:15<16:21, 11.41s/it]
+
hellaswag_ru:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 205/290 [40:27<16:23, 11.57s/it]
+
hellaswag_ru:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 206/290 [40:40<16:28, 11.77s/it]
+
hellaswag_ru:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 207/290 [40:51<16:13, 11.73s/it]
+
hellaswag_ru:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 208/290 [41:04<16:18, 11.93s/it]
+
hellaswag_ru:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 209/290 [41:16<16:12, 12.00s/it]
+
hellaswag_ru:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 210/290 [41:28<16:03, 12.05s/it]
+
hellaswag_ru:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 211/290 [41:39<15:26, 11.73s/it]
+
hellaswag_ru:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 212/290 [41:51<15:28, 11.91s/it]
+
hellaswag_ru:  73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 213/290 [42:03<15:00, 11.70s/it]
+
hellaswag_ru:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 214/290 [42:14<14:49, 11.70s/it]
+
hellaswag_ru:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 215/290 [42:26<14:32, 11.63s/it]
+
hellaswag_ru:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 216/290 [42:37<14:24, 11.68s/it]
+
hellaswag_ru:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 217/290 [42:49<14:13, 11.70s/it]
+
hellaswag_ru:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 218/290 [43:01<13:56, 11.62s/it]
+
hellaswag_ru:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 219/290 [43:12<13:44, 11.61s/it]
+
hellaswag_ru:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 220/290 [43:24<13:39, 11.71s/it]
+
hellaswag_ru:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 221/290 [43:35<13:17, 11.56s/it]
+
hellaswag_ru:  77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 222/290 [43:48<13:21, 11.79s/it]
+
hellaswag_ru:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 223/290 [43:59<13:08, 11.77s/it]
+
hellaswag_ru:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 224/290 [44:11<12:51, 11.69s/it]
+
hellaswag_ru:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 225/290 [44:23<12:45, 11.77s/it]
+
hellaswag_ru:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 226/290 [44:35<12:45, 11.96s/it]
+
hellaswag_ru:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 227/290 [44:47<12:25, 11.84s/it]
+
hellaswag_ru:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 228/290 [44:58<12:05, 11.71s/it]
+
hellaswag_ru:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 229/290 [45:10<11:50, 11.65s/it]
+
hellaswag_ru:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 230/290 [45:22<11:44, 11.75s/it]
+
hellaswag_ru:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 231/290 [45:34<11:34, 11.77s/it]
+
hellaswag_ru:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 232/290 [45:45<11:24, 11.81s/it]
+
hellaswag_ru:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 233/290 [45:58<11:33, 12.17s/it]
+
hellaswag_ru:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 234/290 [46:11<11:19, 12.13s/it]
+
hellaswag_ru:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 235/290 [46:22<10:59, 11.99s/it]
+
hellaswag_ru:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 236/290 [46:33<10:36, 11.79s/it]
+
hellaswag_ru:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 237/290 [46:46<10:32, 11.94s/it]
+
hellaswag_ru:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 238/290 [46:58<10:18, 11.89s/it]
+
hellaswag_ru:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 239/290 [47:10<10:10, 11.97s/it]
+
hellaswag_ru:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 240/290 [47:22<10:07, 12.15s/it]
+
hellaswag_ru:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 241/290 [47:34<09:54, 12.14s/it]
+
hellaswag_ru:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 242/290 [47:47<09:44, 12.19s/it]
+
hellaswag_ru:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 243/290 [47:59<09:27, 12.07s/it]
+
hellaswag_ru:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 244/290 [48:10<09:11, 11.98s/it]
+
hellaswag_ru:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 245/290 [48:22<08:53, 11.86s/it]
+
hellaswag_ru:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 246/290 [48:34<08:43, 11.91s/it]
+
hellaswag_ru:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 247/290 [48:46<08:29, 11.85s/it]
+
hellaswag_ru:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 248/290 [48:58<08:19, 11.88s/it]
+
hellaswag_ru:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 249/290 [49:09<08:05, 11.85s/it]
+
hellaswag_ru:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 250/290 [49:21<07:51, 11.78s/it]
+
hellaswag_ru:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 251/290 [49:33<07:45, 11.92s/it]
+
hellaswag_ru:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 252/290 [49:45<07:29, 11.84s/it]
+
hellaswag_ru:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 253/290 [49:56<07:07, 11.54s/it]
+
hellaswag_ru:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 254/290 [50:07<06:57, 11.58s/it]
+
hellaswag_ru:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 255/290 [50:19<06:44, 11.55s/it]
+
hellaswag_ru:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 256/290 [50:32<06:46, 11.96s/it]
+
hellaswag_ru:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 257/290 [50:45<06:44, 12.27s/it]
+
hellaswag_ru:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 258/290 [50:57<06:32, 12.28s/it]
+
hellaswag_ru:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 259/290 [51:10<06:24, 12.41s/it]
+
hellaswag_ru:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 260/290 [51:22<06:12, 12.40s/it]
+
hellaswag_ru:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 261/290 [51:34<05:52, 12.15s/it]
+
hellaswag_ru:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 262/290 [51:46<05:37, 12.05s/it]
+
hellaswag_ru:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 263/290 [51:58<05:28, 12.16s/it]
+
hellaswag_ru:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 264/290 [52:09<05:10, 11.94s/it]
+
hellaswag_ru:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 265/290 [52:20<04:48, 11.55s/it]
+
hellaswag_ru:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 266/290 [52:33<04:46, 11.94s/it]
+
hellaswag_ru:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 267/290 [52:45<04:35, 12.00s/it]
+
hellaswag_ru:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 268/290 [52:57<04:24, 12.01s/it]
+
hellaswag_ru:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 269/290 [53:09<04:09, 11.89s/it]
+
hellaswag_ru:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 270/290 [53:22<04:03, 12.19s/it]
+
hellaswag_ru:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 271/290 [53:34<03:53, 12.28s/it]
+
hellaswag_ru:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 272/290 [53:46<03:38, 12.17s/it]
+
hellaswag_ru:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 273/290 [53:58<03:24, 12.01s/it]
+
hellaswag_ru:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 274/290 [54:09<03:11, 11.98s/it]
+
hellaswag_ru:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 275/290 [54:21<02:57, 11.83s/it]
+
hellaswag_ru:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 276/290 [54:33<02:44, 11.76s/it]
+
hellaswag_ru:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 277/290 [54:44<02:31, 11.66s/it]
+
hellaswag_ru:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 278/290 [54:56<02:19, 11.63s/it]
+
hellaswag_ru:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 279/290 [55:07<02:07, 11.62s/it]
+
hellaswag_ru:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 280/290 [55:18<01:53, 11.34s/it]
+
hellaswag_ru:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 281/290 [55:29<01:41, 11.30s/it]
+
hellaswag_ru:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 282/290 [55:41<01:32, 11.54s/it]
+
hellaswag_ru:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 283/290 [55:53<01:20, 11.53s/it]
+
hellaswag_ru:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 284/290 [56:04<01:09, 11.57s/it]
+
hellaswag_ru:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 285/290 [56:16<00:57, 11.51s/it]
+
hellaswag_ru:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [56:27<00:46, 11.55s/it]
+
hellaswag_ru:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [56:39<00:34, 11.66s/it]
+
hellaswag_ru:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [56:51<00:23, 11.62s/it]
+
hellaswag_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [57:03<00:11, 11.79s/it]
+
hellaswag_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [57:13<00:00, 11.41s/it]
hellaswag_ru: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [57:13<00:00, 11.84s/it]
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ru_acc 0.3953839516824849
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ru_acc_norm 0.5135893011216566
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:01:13,671 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:01:13,671 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:13,800 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:01:13,800 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:13,928 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:01:13,928 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:14,057 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:01:14,058 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 07:01:14,058 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 07:01:14,188 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 07:01:14,188 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_ru_acc'}
+2024-05-30 07:01:14,253 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 07:01:14,253 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1185, 'value': 0.3953839516824849}
+2024-05-30 07:01:14,318 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:01:14,978 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:01:14,978 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:15,108 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:01:15,108 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:15,238 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:01:15,238 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 07:01:15,368 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 07:01:15,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 07:01:15,499 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ru_acc_norm'}
+2024-05-30 07:01:15,565 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 07:01:15,565 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1186, 'value': 0.5135893011216566}
+2024-05-30 07:01:15,631 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  44%|███████████████████████████████████████████████                                                             | 54/124 [24:13:44<62:07:04, 3194.64s/it]['hellaswag_sk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:01:16,282 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:01:16,282 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:16,411 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:01:16,411 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:16,539 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:01:16,539 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:01:16,667 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:01:16,668 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 07:01:16,668 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sk'}
+2024-05-30 07:01:16,797 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_sk task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  7.56 examples/s]
+
Generating validation split: 2000 examples [00:00, 9276.83 examples/s]
+
Generating validation split: 4000 examples [00:00, 12495.60 examples/s]
+
Generating validation split: 6000 examples [00:00, 14100.65 examples/s]
+
Generating validation split: 8000 examples [00:00, 14993.79 examples/s]
Generating validation split: 9485 examples [00:00, 13211.95 examples/s]
+Loaded 9485 examples
+Running loglikelihood requests
+
+
hellaswag_sk:   0%|                                                                                                                          | 0/297 [00:00<?, ?it/s]
+
hellaswag_sk:   0%|▍                                                                                                                 | 1/297 [00:08<42:57,  8.71s/it]
+
hellaswag_sk:   1%|▊                                                                                                                 | 2/297 [00:18<45:25,  9.24s/it]
+
hellaswag_sk:   1%|█▏                                                                                                                | 3/297 [00:27<44:20,  9.05s/it]
+
hellaswag_sk:   1%|█▌                                                                                                                | 4/297 [00:36<45:19,  9.28s/it]
+
hellaswag_sk:   2%|█▉                                                                                                                | 5/297 [00:45<44:21,  9.12s/it]
+
hellaswag_sk:   2%|██▎                                                                                                               | 6/297 [00:54<43:34,  8.98s/it]
+
hellaswag_sk:   2%|██▋                                                                                                               | 7/297 [01:04<45:18,  9.38s/it]
+
hellaswag_sk:   3%|███                                                                                                               | 8/297 [01:13<44:07,  9.16s/it]
+
hellaswag_sk:   3%|███▍                                                                                                              | 9/297 [01:21<42:42,  8.90s/it]
+
hellaswag_sk:   3%|███▊                                                                                                             | 10/297 [01:30<42:19,  8.85s/it]
+
hellaswag_sk:   4%|████▏                                                                                                            | 11/297 [01:39<42:04,  8.83s/it]
+
hellaswag_sk:   4%|████▌                                                                                                            | 12/297 [01:48<42:16,  8.90s/it]
+
hellaswag_sk:   4%|████▉                                                                                                            | 13/297 [01:56<42:01,  8.88s/it]
+
hellaswag_sk:   5%|█████▎                                                                                                           | 14/297 [02:05<41:33,  8.81s/it]
+
hellaswag_sk:   5%|█████▋                                                                                                           | 15/297 [02:14<41:06,  8.75s/it]
+
hellaswag_sk:   5%|██████                                                                                                           | 16/297 [02:22<41:01,  8.76s/it]
+
hellaswag_sk:   6%|██████▍                                                                                                          | 17/297 [02:31<40:58,  8.78s/it]
+
hellaswag_sk:   6%|██████▊                                                                                                          | 18/297 [02:40<40:32,  8.72s/it]
+
hellaswag_sk:   6%|███████▏                                                                                                         | 19/297 [02:49<40:23,  8.72s/it]
+
hellaswag_sk:   7%|███████▌                                                                                                         | 20/297 [02:57<40:24,  8.75s/it]
+
hellaswag_sk:   7%|███████▉                                                                                                         | 21/297 [03:06<40:28,  8.80s/it]
+
hellaswag_sk:   7%|████████▎                                                                                                        | 22/297 [03:15<40:28,  8.83s/it]
+
hellaswag_sk:   8%|████████▊                                                                                                        | 23/297 [03:24<40:21,  8.84s/it]
+
hellaswag_sk:   8%|█████████▏                                                                                                       | 24/297 [03:33<40:45,  8.96s/it]
+
hellaswag_sk:   8%|█████████▌                                                                                                       | 25/297 [03:43<41:13,  9.10s/it]
+
hellaswag_sk:   9%|█████████▉                                                                                                       | 26/297 [03:52<40:42,  9.01s/it]
+
hellaswag_sk:   9%|██████████▎                                                                                                      | 27/297 [04:01<40:49,  9.07s/it]
+
hellaswag_sk:   9%|██████████▋                                                                                                      | 28/297 [04:10<40:15,  8.98s/it]
+
hellaswag_sk:  10%|███████████                                                                                                      | 29/297 [04:18<39:37,  8.87s/it]
+
hellaswag_sk:  10%|███████████▍                                                                                                     | 30/297 [04:27<39:25,  8.86s/it]
+
hellaswag_sk:  10%|███████████▊                                                                                                     | 31/297 [04:36<39:41,  8.95s/it]
+
hellaswag_sk:  11%|████████████▏                                                                                                    | 32/297 [04:45<39:13,  8.88s/it]
+
hellaswag_sk:  11%|████████████▌                                                                                                    | 33/297 [04:54<38:47,  8.82s/it]
+
hellaswag_sk:  11%|████████████▉                                                                                                    | 34/297 [05:02<38:34,  8.80s/it]
+
hellaswag_sk:  12%|█████████████▎                                                                                                   | 35/297 [05:11<38:17,  8.77s/it]
+
hellaswag_sk:  12%|█████████████▋                                                                                                   | 36/297 [05:20<38:14,  8.79s/it]
+
hellaswag_sk:  12%|██████████████                                                                                                   | 37/297 [05:29<38:54,  8.98s/it]
+
hellaswag_sk:  13%|██████████████▍                                                                                                  | 38/297 [05:38<37:49,  8.76s/it]
+
hellaswag_sk:  13%|██████████████▊                                                                                                  | 39/297 [05:46<37:48,  8.79s/it]
+
hellaswag_sk:  13%|███████████████▏                                                                                                 | 40/297 [05:55<37:44,  8.81s/it]
+
hellaswag_sk:  14%|███████████████▌                                                                                                 | 41/297 [06:04<37:43,  8.84s/it]
+
hellaswag_sk:  14%|███████████████▉                                                                                                 | 42/297 [06:13<37:31,  8.83s/it]
+
hellaswag_sk:  14%|████████████████▎                                                                                                | 43/297 [06:22<37:33,  8.87s/it]
+
hellaswag_sk:  15%|████████████████▋                                                                                                | 44/297 [06:31<37:20,  8.86s/it]
+
hellaswag_sk:  15%|█████████████████                                                                                                | 45/297 [06:40<37:21,  8.90s/it]
+
hellaswag_sk:  15%|█████████████████▌                                                                                               | 46/297 [06:48<36:51,  8.81s/it]
+
hellaswag_sk:  16%|█████████████████▉                                                                                               | 47/297 [06:57<36:51,  8.85s/it]
+
hellaswag_sk:  16%|██████████████████▎                                                                                              | 48/297 [07:06<36:12,  8.72s/it]
+
hellaswag_sk:  16%|██████████████████▋                                                                                              | 49/297 [07:14<36:04,  8.73s/it]
+
hellaswag_sk:  17%|███████████████████                                                                                              | 50/297 [07:23<35:58,  8.74s/it]
+
hellaswag_sk:  17%|███████████████████▍                                                                                             | 51/297 [07:32<36:14,  8.84s/it]
+
hellaswag_sk:  18%|███████████████████▊                                                                                             | 52/297 [07:41<35:57,  8.81s/it]
+
hellaswag_sk:  18%|████████████████████▏                                                                                            | 53/297 [07:50<35:41,  8.78s/it]
+
hellaswag_sk:  18%|████████████████████▌                                                                                            | 54/297 [07:59<35:49,  8.84s/it]
+
hellaswag_sk:  19%|████████████████████▉                                                                                            | 55/297 [08:08<35:41,  8.85s/it]
+
hellaswag_sk:  19%|█████████████████████▎                                                                                           | 56/297 [08:17<35:45,  8.90s/it]
+
hellaswag_sk:  19%|█████████████████████▋                                                                                           | 57/297 [08:26<36:13,  9.06s/it]
+
hellaswag_sk:  20%|██████████████████████                                                                                           | 58/297 [08:36<36:40,  9.21s/it]
+
hellaswag_sk:  20%|██████████████████████▍                                                                                          | 59/297 [08:44<35:50,  9.03s/it]
+
hellaswag_sk:  20%|██████████████████████▊                                                                                          | 60/297 [08:53<35:33,  9.00s/it]
+
hellaswag_sk:  21%|███████████████████████▏                                                                                         | 61/297 [09:03<35:58,  9.15s/it]
+
hellaswag_sk:  21%|███████████████████████▌                                                                                         | 62/297 [09:11<35:25,  9.05s/it]
+
hellaswag_sk:  21%|███████████████████████▉                                                                                         | 63/297 [09:20<34:25,  8.83s/it]
+
hellaswag_sk:  22%|████████████████████████▎                                                                                        | 64/297 [09:29<34:16,  8.83s/it]
+
hellaswag_sk:  22%|████████████████████████▋                                                                                        | 65/297 [09:37<33:59,  8.79s/it]
+
hellaswag_sk:  22%|█████████████████████████                                                                                        | 66/297 [09:47<34:30,  8.96s/it]
+
hellaswag_sk:  23%|█████████████████████████▍                                                                                       | 67/297 [09:55<34:08,  8.91s/it]
+
hellaswag_sk:  23%|█████████████████████████▊                                                                                       | 68/297 [10:04<33:56,  8.89s/it]
+
hellaswag_sk:  23%|██████████████████████████▎                                                                                      | 69/297 [10:14<34:25,  9.06s/it]
+
hellaswag_sk:  24%|██████████████████████████▋                                                                                      | 70/297 [10:22<33:49,  8.94s/it]
+
hellaswag_sk:  24%|███████████████████████████                                                                                      | 71/297 [10:32<33:58,  9.02s/it]
+
hellaswag_sk:  24%|███████████████████████████▍                                                                                     | 72/297 [10:40<33:31,  8.94s/it]
+
hellaswag_sk:  25%|███████████████████████████▊                                                                                     | 73/297 [10:50<33:50,  9.06s/it]
+
hellaswag_sk:  25%|████████████████████████████▏                                                                                    | 74/297 [10:59<34:18,  9.23s/it]
+
hellaswag_sk:  25%|████████████████████████████▌                                                                                    | 75/297 [11:09<34:16,  9.26s/it]
+
hellaswag_sk:  26%|████████████████████████████▉                                                                                    | 76/297 [11:18<34:23,  9.34s/it]
+
hellaswag_sk:  26%|█████████████████████████████▎                                                                                   | 77/297 [11:27<33:31,  9.14s/it]
+
hellaswag_sk:  26%|█████████████████████████████▋                                                                                   | 78/297 [11:36<33:07,  9.07s/it]
+
hellaswag_sk:  27%|██████████████████████████████                                                                                   | 79/297 [11:44<32:27,  8.93s/it]
+
hellaswag_sk:  27%|██████████████████████████████▍                                                                                  | 80/297 [11:53<32:15,  8.92s/it]
+
hellaswag_sk:  27%|██████████████████████████████▊                                                                                  | 81/297 [12:02<31:54,  8.86s/it]
+
hellaswag_sk:  28%|███████████████████████████████▏                                                                                 | 82/297 [12:11<32:11,  8.99s/it]
+
hellaswag_sk:  28%|███████████████████████████████▌                                                                                 | 83/297 [12:20<31:15,  8.77s/it]
+
hellaswag_sk:  28%|███████████████████████████████▉                                                                                 | 84/297 [12:29<31:39,  8.92s/it]
+
hellaswag_sk:  29%|████████████████████████████████▎                                                                                | 85/297 [12:38<31:55,  9.04s/it]
+
hellaswag_sk:  29%|████████████████████████████████▋                                                                                | 86/297 [12:48<32:24,  9.22s/it]
+
hellaswag_sk:  29%|█████████████████████████████████                                                                                | 87/297 [12:57<31:53,  9.11s/it]
+
hellaswag_sk:  30%|█████████████████████████████████▍                                                                               | 88/297 [13:06<32:16,  9.26s/it]
+
hellaswag_sk:  30%|█████████████████████████████████▊                                                                               | 89/297 [13:15<31:23,  9.05s/it]
+
hellaswag_sk:  30%|██████████████████████████████████▏                                                                              | 90/297 [13:24<31:31,  9.14s/it]
+
hellaswag_sk:  31%|██████████████████████████████████▌                                                                              | 91/297 [13:34<31:54,  9.30s/it]
+
hellaswag_sk:  31%|███████████████████████████████████                                                                              | 92/297 [13:43<31:16,  9.16s/it]
+
hellaswag_sk:  31%|███████████████████████████████████▍                                                                             | 93/297 [13:52<30:56,  9.10s/it]
+
hellaswag_sk:  32%|███████████████████████████████████▊                                                                             | 94/297 [14:00<30:19,  8.96s/it]
+
hellaswag_sk:  32%|████████████████████████████████████▏                                                                            | 95/297 [14:09<30:09,  8.96s/it]
+
hellaswag_sk:  32%|████████████████████████████████████▌                                                                            | 96/297 [14:18<30:00,  8.96s/it]
+
hellaswag_sk:  33%|████████████████████████████████████▉                                                                            | 97/297 [14:27<29:36,  8.88s/it]
+
hellaswag_sk:  33%|█████████████████████████████████████▎                                                                           | 98/297 [14:36<29:48,  8.99s/it]
+
hellaswag_sk:  33%|█████████████████████████████████████▋                                                                           | 99/297 [14:45<30:02,  9.11s/it]
+
hellaswag_sk:  34%|█████████████████████████████████████▋                                                                          | 100/297 [14:54<29:37,  9.02s/it]
+
hellaswag_sk:  34%|██████████████████████████████████████                                                                          | 101/297 [15:03<29:11,  8.93s/it]
+
hellaswag_sk:  34%|██████████████████████████████████████▍                                                                         | 102/297 [15:12<28:50,  8.87s/it]
+
hellaswag_sk:  35%|██████████████████████████████████████▊                                                                         | 103/297 [15:20<28:26,  8.80s/it]
+
hellaswag_sk:  35%|███████████████████████████████████████▏                                                                        | 104/297 [15:29<28:29,  8.86s/it]
+
hellaswag_sk:  35%|███████████████████████████████████████▌                                                                        | 105/297 [15:38<28:29,  8.90s/it]
+
hellaswag_sk:  36%|███████████████████████████████████████▉                                                                        | 106/297 [15:48<28:56,  9.09s/it]
+
hellaswag_sk:  36%|████████████████████████████████████████▎                                                                       | 107/297 [15:57<28:35,  9.03s/it]
+
hellaswag_sk:  36%|████████████████████████████████████████▋                                                                       | 108/297 [16:06<29:02,  9.22s/it]
+
hellaswag_sk:  37%|█████████████████████████████████████████                                                                       | 109/297 [16:16<28:51,  9.21s/it]
+
hellaswag_sk:  37%|█████████████████████████████████████████▍                                                                      | 110/297 [16:25<28:26,  9.13s/it]
+
hellaswag_sk:  37%|█████████████████████████████████████████▊                                                                      | 111/297 [16:33<28:01,  9.04s/it]
+
hellaswag_sk:  38%|██████████████████████████████████████████▏                                                                     | 112/297 [16:42<27:44,  9.00s/it]
+
hellaswag_sk:  38%|██████████████████████████████████████████▌                                                                     | 113/297 [16:51<27:32,  8.98s/it]
+
hellaswag_sk:  38%|██████████████████████████████████████████▉                                                                     | 114/297 [17:00<27:17,  8.95s/it]
+
hellaswag_sk:  39%|███████████████████████████████████████████▎                                                                    | 115/297 [17:09<27:22,  9.03s/it]
+
hellaswag_sk:  39%|███████████████████████████████████████████▋                                                                    | 116/297 [17:19<27:40,  9.18s/it]
+
hellaswag_sk:  39%|████████████████████████████████████████████                                                                    | 117/297 [17:28<27:04,  9.03s/it]
+
hellaswag_sk:  40%|████████████████████████████████████████████▍                                                                   | 118/297 [17:36<26:42,  8.95s/it]
+
hellaswag_sk:  40%|████████████████████████████████████████████▉                                                                   | 119/297 [17:45<26:28,  8.93s/it]
+
hellaswag_sk:  40%|█████████████████████████████████████████████▎                                                                  | 120/297 [17:54<26:11,  8.88s/it]
+
hellaswag_sk:  41%|█████████████████████████████████████████████▋                                                                  | 121/297 [18:03<26:19,  8.97s/it]
+
hellaswag_sk:  41%|██████████████████████████████████████████████                                                                  | 122/297 [18:12<25:57,  8.90s/it]
+
hellaswag_sk:  41%|██████████████████████████████████████████████▍                                                                 | 123/297 [18:21<26:01,  8.97s/it]
+
hellaswag_sk:  42%|██████████████████████████████████████████████▊                                                                 | 124/297 [18:31<26:24,  9.16s/it]
+
hellaswag_sk:  42%|███████████████████████████████████████████████▏                                                                | 125/297 [18:39<25:53,  9.03s/it]
+
hellaswag_sk:  42%|███████████████████████████████████████████████▌                                                                | 126/297 [18:48<25:32,  8.96s/it]
+
hellaswag_sk:  43%|███████████████████████████████████████████████▉                                                                | 127/297 [18:58<25:43,  9.08s/it]
+
hellaswag_sk:  43%|████████████████████████████████████████████████▎                                                               | 128/297 [19:06<25:16,  8.97s/it]
+
hellaswag_sk:  43%|████████████████████████████████████████████████▋                                                               | 129/297 [19:15<24:57,  8.92s/it]
+
hellaswag_sk:  44%|█████████████████████████████████████████████████                                                               | 130/297 [19:24<24:53,  8.94s/it]
+
hellaswag_sk:  44%|█████████████████████████████████████████████████▍                                                              | 131/297 [19:33<24:41,  8.93s/it]
+
hellaswag_sk:  44%|█████████████████████████████████████████████████▊                                                              | 132/297 [19:43<25:06,  9.13s/it]
+
hellaswag_sk:  45%|██████████████████████████████████████████████████▏                                                             | 133/297 [19:52<24:50,  9.09s/it]
+
hellaswag_sk:  45%|██████████████████████████████████████████████████▌                                                             | 134/297 [20:01<24:38,  9.07s/it]
+
hellaswag_sk:  45%|██████████████████████████████████████████████████▉                                                             | 135/297 [20:10<24:41,  9.15s/it]
+
hellaswag_sk:  46%|███████████████████████████████████████████████████▎                                                            | 136/297 [20:19<24:39,  9.19s/it]
+
hellaswag_sk:  46%|███████████████████████████████████████████████████▋                                                            | 137/297 [20:28<24:13,  9.09s/it]
+
hellaswag_sk:  46%|████████████████████████████████████████████████████                                                            | 138/297 [20:37<23:54,  9.02s/it]
+
hellaswag_sk:  47%|████████████████████████████████████████████████████▍                                                           | 139/297 [20:46<23:38,  8.98s/it]
+
hellaswag_sk:  47%|████████████████████████████████████████████████████▊                                                           | 140/297 [20:54<23:18,  8.91s/it]
+
hellaswag_sk:  47%|█████████████████████████████████████████████████████▏                                                          | 141/297 [21:03<22:54,  8.81s/it]
+
hellaswag_sk:  48%|█████████████████████████████████████████████████████▌                                                          | 142/297 [21:12<22:45,  8.81s/it]
+
hellaswag_sk:  48%|█████████████████████████████████████████████████████▉                                                          | 143/297 [21:21<22:36,  8.81s/it]
+
hellaswag_sk:  48%|██████████████████████████████████████████████████████▎                                                         | 144/297 [21:30<22:40,  8.89s/it]
+
hellaswag_sk:  49%|██████████████████████████████████████████████████████▋                                                         | 145/297 [21:40<23:38,  9.34s/it]
+
hellaswag_sk:  49%|███████████████████████████████████████████████████████                                                         | 146/297 [21:50<23:42,  9.42s/it]
+
hellaswag_sk:  49%|███████████████████████████████████████████████████████▍                                                        | 147/297 [21:59<23:02,  9.22s/it]
+
hellaswag_sk:  50%|███████████████████████████████████████████████████████▊                                                        | 148/297 [22:07<22:29,  9.05s/it]
+
hellaswag_sk:  50%|████████████████████████████████████████████████████████▏                                                       | 149/297 [22:16<22:00,  8.92s/it]
+
hellaswag_sk:  51%|████████████████████████████████████████████████████████▌                                                       | 150/297 [22:25<22:07,  9.03s/it]
+
hellaswag_sk:  51%|████████████████████████████████████████████████████████▉                                                       | 151/297 [22:34<21:39,  8.90s/it]
+
hellaswag_sk:  51%|█████████████████████████████████████████████████████████▎                                                      | 152/297 [22:42<21:23,  8.85s/it]
+
hellaswag_sk:  52%|█████████████████████████████████████████████████████████▋                                                      | 153/297 [22:51<21:01,  8.76s/it]
+
hellaswag_sk:  52%|██████████████████████████████████████████████████████████                                                      | 154/297 [23:01<21:28,  9.01s/it]
+
hellaswag_sk:  52%|██████████████████████████████████████████████████████████▍                                                     | 155/297 [23:10<21:41,  9.17s/it]
+
hellaswag_sk:  53%|██████████████████████████████████████████████████████████▊                                                     | 156/297 [23:20<21:44,  9.25s/it]
+
hellaswag_sk:  53%|███████████████████████████████████████████████████████████▏                                                    | 157/297 [23:29<21:47,  9.34s/it]
+
hellaswag_sk:  53%|███████████████████████████████████████████████████████████▌                                                    | 158/297 [23:38<21:19,  9.21s/it]
+
hellaswag_sk:  54%|███████████████████████████████████████████████████████████▉                                                    | 159/297 [23:48<21:25,  9.31s/it]
+
hellaswag_sk:  54%|████████████████████████████████████████████████████████████▎                                                   | 160/297 [23:57<21:01,  9.21s/it]
+
hellaswag_sk:  54%|████████████████████████████████████████████████████████████▋                                                   | 161/297 [24:06<21:12,  9.36s/it]
+
hellaswag_sk:  55%|█████████████████████████████████████████████████████████████                                                   | 162/297 [24:16<21:18,  9.47s/it]
+
hellaswag_sk:  55%|█████████████████████████████████████████████████████████████▍                                                  | 163/297 [24:25<21:10,  9.48s/it]
+
hellaswag_sk:  55%|█████████████████████████████████████████████████████████████▊                                                  | 164/297 [24:34<20:31,  9.26s/it]
+
hellaswag_sk:  56%|██████████████████████████████████████████████████████████████▏                                                 | 165/297 [24:43<19:59,  9.09s/it]
+
hellaswag_sk:  56%|██████████████████████████████████████████████████████████████▌                                                 | 166/297 [24:52<19:39,  9.01s/it]
+
hellaswag_sk:  56%|██████████████████████████████████████████████████████████████▉                                                 | 167/297 [25:00<19:11,  8.86s/it]
+
hellaswag_sk:  57%|███████████████████████████████████████████████████████████████▎                                                | 168/297 [25:09<18:59,  8.83s/it]
+
hellaswag_sk:  57%|███████████████████████████████████████████████████████████████▋                                                | 169/297 [25:18<18:54,  8.86s/it]
+
hellaswag_sk:  57%|████████████████████████████████████████████████████████████████                                                | 170/297 [25:27<18:38,  8.81s/it]
+
hellaswag_sk:  58%|████████████████████████████████████████████████████████████████▍                                               | 171/297 [25:35<18:08,  8.64s/it]
+
hellaswag_sk:  58%|████████████████████████████████████████████████████████████████▊                                               | 172/297 [25:44<18:25,  8.84s/it]
+
hellaswag_sk:  58%|█████████████████████████████████████████████████████████████████▏                                              | 173/297 [25:53<18:13,  8.82s/it]
+
hellaswag_sk:  59%|█████████████████████████████████████████████████████████████████▌                                              | 174/297 [26:02<18:08,  8.85s/it]
+
hellaswag_sk:  59%|█████████████████████████████████████████████████████████████████▉                                              | 175/297 [26:11<18:00,  8.86s/it]
+
hellaswag_sk:  59%|██████████████████████████████████████████████████████████████████▎                                             | 176/297 [26:19<17:46,  8.81s/it]
+
hellaswag_sk:  60%|██████████████████████████████████████████████████████████████████▋                                             | 177/297 [26:28<17:38,  8.82s/it]
+
hellaswag_sk:  60%|███████████████████████████████████████████████████████████████████                                             | 178/297 [26:37<17:15,  8.70s/it]
+
hellaswag_sk:  60%|███████████████████████████████████████████████████████████████████▌                                            | 179/297 [26:45<17:09,  8.73s/it]
+
hellaswag_sk:  61%|███████████████████████████████████████████████████████████████████▉                                            | 180/297 [26:54<17:01,  8.73s/it]
+
hellaswag_sk:  61%|████████████████████████████████████████████████████████████████████▎                                           | 181/297 [27:03<16:49,  8.70s/it]
+
hellaswag_sk:  61%|████████████████████████████████████████████████████████████████████▋                                           | 182/297 [27:11<16:32,  8.63s/it]
+
hellaswag_sk:  62%|█████████████████████████████████████████████████████████████████████                                           | 183/297 [27:20<16:27,  8.66s/it]
+
hellaswag_sk:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 184/297 [27:29<16:29,  8.76s/it]
+
hellaswag_sk:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 185/297 [27:38<16:25,  8.80s/it]
+
hellaswag_sk:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 186/297 [27:47<16:14,  8.78s/it]
+
hellaswag_sk:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 187/297 [27:55<16:03,  8.76s/it]
+
hellaswag_sk:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 188/297 [28:04<16:02,  8.83s/it]
+
hellaswag_sk:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 189/297 [28:14<16:18,  9.06s/it]
+
hellaswag_sk:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 190/297 [28:22<15:46,  8.85s/it]
+
hellaswag_sk:  64%|████████████████████████████████████████████████████████████████████████                                        | 191/297 [28:31<15:35,  8.82s/it]
+
hellaswag_sk:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 192/297 [28:40<15:36,  8.92s/it]
+
hellaswag_sk:  65%|████████████████████████████████████████████████████████████████████████▊                                       | 193/297 [28:49<15:29,  8.93s/it]
+
hellaswag_sk:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 194/297 [28:58<15:17,  8.91s/it]
+
hellaswag_sk:  66%|█████████████████████████████████████████████████████████████████████████▌                                      | 195/297 [29:07<15:03,  8.86s/it]
+
hellaswag_sk:  66%|█████████████████████████████████████████████████████████████████████████▉                                      | 196/297 [29:16<15:04,  8.96s/it]
+
hellaswag_sk:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 197/297 [29:25<14:52,  8.93s/it]
+
hellaswag_sk:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 198/297 [29:34<14:40,  8.89s/it]
+
hellaswag_sk:  67%|███████████████████████████████████████████████████████████████████████████                                     | 199/297 [29:43<14:43,  9.01s/it]
+
hellaswag_sk:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 200/297 [29:52<14:32,  9.00s/it]
+
hellaswag_sk:  68%|███████████████████████████████████████████████████████████████████████████▊                                    | 201/297 [30:01<14:15,  8.91s/it]
+
hellaswag_sk:  68%|████████████████████████████████████████████████████████████████████████████▏                                   | 202/297 [30:09<14:01,  8.86s/it]
+
hellaswag_sk:  68%|████████████████████████████████████████████████████████████████████████████▌                                   | 203/297 [30:18<13:51,  8.85s/it]
+
hellaswag_sk:  69%|████████████████████████████████████████████████████████████████████████████▉                                   | 204/297 [30:27<13:36,  8.78s/it]
+
hellaswag_sk:  69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 205/297 [30:36<13:31,  8.82s/it]
+
hellaswag_sk:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 206/297 [30:44<13:15,  8.75s/it]
+
hellaswag_sk:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 207/297 [30:53<13:08,  8.76s/it]
+
hellaswag_sk:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 208/297 [31:02<13:01,  8.78s/it]
+
hellaswag_sk:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 209/297 [31:11<13:05,  8.93s/it]
+
hellaswag_sk:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 210/297 [31:20<12:51,  8.87s/it]
+
hellaswag_sk:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 211/297 [31:29<12:51,  8.97s/it]
+
hellaswag_sk:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 212/297 [31:39<13:00,  9.18s/it]
+
hellaswag_sk:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 213/297 [31:48<12:42,  9.08s/it]
+
hellaswag_sk:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 214/297 [31:56<12:21,  8.93s/it]
+
hellaswag_sk:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 215/297 [32:05<11:58,  8.76s/it]
+
hellaswag_sk:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 216/297 [32:13<11:47,  8.74s/it]
+
hellaswag_sk:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 217/297 [32:22<11:49,  8.86s/it]
+
hellaswag_sk:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 218/297 [32:32<11:47,  8.95s/it]
+
hellaswag_sk:  74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 219/297 [32:41<11:48,  9.08s/it]
+
hellaswag_sk:  74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 220/297 [32:50<11:32,  9.00s/it]
+
hellaswag_sk:  74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 221/297 [32:59<11:26,  9.03s/it]
+
hellaswag_sk:  75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 222/297 [33:08<11:13,  8.98s/it]
+
hellaswag_sk:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 223/297 [33:17<11:11,  9.08s/it]
+
hellaswag_sk:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 224/297 [33:26<11:09,  9.18s/it]
+
hellaswag_sk:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 225/297 [33:35<10:52,  9.07s/it]
+
hellaswag_sk:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 226/297 [33:45<10:51,  9.18s/it]
+
hellaswag_sk:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 227/297 [33:54<10:44,  9.21s/it]
+
hellaswag_sk:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 228/297 [34:03<10:24,  9.05s/it]
+
hellaswag_sk:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 229/297 [34:11<10:06,  8.92s/it]
+
hellaswag_sk:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 230/297 [34:20<09:54,  8.87s/it]
+
hellaswag_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 231/297 [34:29<09:45,  8.87s/it]
+
hellaswag_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 232/297 [34:38<09:44,  9.00s/it]
+
hellaswag_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 233/297 [34:47<09:31,  8.93s/it]
+
hellaswag_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 234/297 [34:56<09:32,  9.09s/it]
+
hellaswag_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 235/297 [35:06<09:30,  9.20s/it]
+
hellaswag_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 236/297 [35:15<09:13,  9.08s/it]
+
hellaswag_sk:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 237/297 [35:24<09:12,  9.21s/it]
+
hellaswag_sk:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 238/297 [35:33<08:57,  9.11s/it]
+
hellaswag_sk:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 239/297 [35:42<08:43,  9.03s/it]
+
hellaswag_sk:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 240/297 [35:51<08:30,  8.95s/it]
+
hellaswag_sk:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 241/297 [36:00<08:22,  8.97s/it]
+
hellaswag_sk:  81%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 242/297 [36:08<08:08,  8.88s/it]
+
hellaswag_sk:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 243/297 [36:17<07:50,  8.72s/it]
+
hellaswag_sk:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 244/297 [36:26<07:45,  8.79s/it]
+
hellaswag_sk:  82%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 245/297 [36:35<07:41,  8.87s/it]
+
hellaswag_sk:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 246/297 [36:43<07:30,  8.84s/it]
+
hellaswag_sk:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 247/297 [36:52<07:20,  8.82s/it]
+
hellaswag_sk:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 248/297 [37:01<07:10,  8.79s/it]
+
hellaswag_sk:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 249/297 [37:11<07:15,  9.06s/it]
+
hellaswag_sk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 250/297 [37:20<07:04,  9.04s/it]
+
hellaswag_sk:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 251/297 [37:29<07:02,  9.19s/it]
+
hellaswag_sk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 252/297 [37:39<06:56,  9.26s/it]
+
hellaswag_sk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 253/297 [37:48<06:49,  9.31s/it]
+
hellaswag_sk:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 254/297 [37:57<06:30,  9.09s/it]
+
hellaswag_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 255/297 [38:05<06:17,  8.98s/it]
+
hellaswag_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 256/297 [38:15<06:12,  9.10s/it]
+
hellaswag_sk:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 257/297 [38:24<06:04,  9.11s/it]
+
hellaswag_sk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 258/297 [38:33<05:51,  9.01s/it]
+
hellaswag_sk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 259/297 [38:41<05:34,  8.81s/it]
+
hellaswag_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 260/297 [38:50<05:30,  8.94s/it]
+
hellaswag_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 261/297 [38:59<05:20,  8.91s/it]
+
hellaswag_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 262/297 [39:08<05:11,  8.89s/it]
+
hellaswag_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 263/297 [39:17<05:00,  8.84s/it]
+
hellaswag_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 264/297 [39:26<04:52,  8.86s/it]
+
hellaswag_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 265/297 [39:35<04:47,  8.98s/it]
+
hellaswag_sk:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 266/297 [39:43<04:35,  8.90s/it]
+
hellaswag_sk:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 267/297 [39:52<04:20,  8.67s/it]
+
hellaswag_sk:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 268/297 [40:01<04:18,  8.91s/it]
+
hellaswag_sk:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 269/297 [40:10<04:09,  8.90s/it]
+
hellaswag_sk:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 270/297 [40:19<03:59,  8.86s/it]
+
hellaswag_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 271/297 [40:27<03:49,  8.83s/it]
+
hellaswag_sk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 272/297 [40:36<03:39,  8.79s/it]
+
hellaswag_sk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 273/297 [40:45<03:30,  8.79s/it]
+
hellaswag_sk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 274/297 [40:54<03:25,  8.92s/it]
+
hellaswag_sk:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 275/297 [41:03<03:13,  8.78s/it]
+
hellaswag_sk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████        | 276/297 [41:12<03:05,  8.84s/it]
+
hellaswag_sk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 277/297 [41:21<03:00,  9.04s/it]
+
hellaswag_sk:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 278/297 [41:30<02:50,  8.96s/it]
+
hellaswag_sk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 279/297 [41:39<02:40,  8.90s/it]
+
hellaswag_sk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 280/297 [41:47<02:30,  8.86s/it]
+
hellaswag_sk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 281/297 [41:57<02:23,  8.98s/it]
+
hellaswag_sk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 282/297 [42:06<02:17,  9.16s/it]
+
hellaswag_sk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 283/297 [42:15<02:07,  9.10s/it]
+
hellaswag_sk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 284/297 [42:24<01:56,  8.96s/it]
+
hellaswag_sk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 285/297 [42:33<01:47,  8.94s/it]
+
hellaswag_sk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 286/297 [42:42<01:37,  8.89s/it]
+
hellaswag_sk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 287/297 [42:50<01:28,  8.87s/it]
+
hellaswag_sk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 288/297 [42:59<01:20,  8.94s/it]
+
hellaswag_sk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 289/297 [43:08<01:11,  8.89s/it]
+
hellaswag_sk:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 290/297 [43:18<01:03,  9.01s/it]
+
hellaswag_sk:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 291/297 [43:26<00:53,  8.96s/it]
+
hellaswag_sk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 292/297 [43:35<00:44,  8.98s/it]
+
hellaswag_sk:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 293/297 [43:44<00:36,  9.00s/it]
+
hellaswag_sk:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 294/297 [43:54<00:27,  9.10s/it]
+
hellaswag_sk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 295/297 [44:03<00:18,  9.01s/it]
+
hellaswag_sk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 296/297 [44:12<00:09,  9.17s/it]
+
hellaswag_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 297/297 [44:19<00:00,  8.50s/it]
hellaswag_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 297/297 [44:19<00:00,  8.95s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sk_acc 0.4106483921982077
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sk_acc_norm 0.550131787032156
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:45:38,927 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:45:38,928 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:39,057 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:45:39,057 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:39,186 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:45:39,186 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:39,314 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:45:39,315 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 07:45:39,315 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 07:45:39,445 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 07:45:39,446 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sk_acc'}
+2024-05-30 07:45:39,511 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 07:45:39,511 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1187, 'value': 0.4106483921982077}
+2024-05-30 07:45:39,576 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:45:40,180 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:45:40,180 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:40,296 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:45:40,296 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:40,411 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:45:40,411 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:40,527 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:45:40,528 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 07:45:40,528 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 07:45:40,645 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 07:45:40,645 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sk_acc_norm'}
+2024-05-30 07:45:40,703 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 07:45:40,703 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1188, 'value': 0.550131787032156}
+2024-05-30 07:45:40,762 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  44%|███████████████████████████████████████████████▉                                                            | 55/124 [24:58:10<58:11:09, 3035.79s/it]['hellaswag_sr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 07:45:41,409 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 07:45:41,409 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:41,538 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 07:45:41,538 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:41,667 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 07:45:41,667 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 07:45:41,795 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 07:45:41,796 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 07:45:41,796 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sr'}
+2024-05-30 07:45:41,925 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_sr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  7.07 examples/s]
+
Generating validation split: 2000 examples [00:00, 9062.33 examples/s]
+
Generating validation split: 3994 examples [00:00, 12854.19 examples/s]
+
Generating validation split: 5615 examples [00:00, 14029.50 examples/s]
+
Generating validation split: 7225 examples [00:00, 14717.53 examples/s]
+
Generating validation split: 9000 examples [00:00, 15290.23 examples/s]
Generating validation split: 9449 examples [00:00, 13155.77 examples/s]
+Loaded 9449 examples
+Running loglikelihood requests
+
+
hellaswag_sr:   0%|                                                                                                                          | 0/296 [00:00<?, ?it/s]
+
hellaswag_sr:   0%|▍                                                                                                                 | 1/296 [00:08<44:04,  8.96s/it]
+
hellaswag_sr:   1%|▊                                                                                                                 | 2/296 [00:17<43:27,  8.87s/it]
+
hellaswag_sr:   1%|█▏                                                                                                                | 3/296 [00:26<42:30,  8.70s/it]
+
hellaswag_sr:   1%|█▌                                                                                                                | 4/296 [00:35<42:25,  8.72s/it]
+
hellaswag_sr:   2%|█▉                                                                                                                | 5/296 [00:44<43:28,  8.97s/it]
+
hellaswag_sr:   2%|██▎                                                                                                               | 6/296 [00:53<43:04,  8.91s/it]
+
hellaswag_sr:   2%|██▋                                                                                                               | 7/296 [01:01<42:26,  8.81s/it]
+
hellaswag_sr:   3%|███                                                                                                               | 8/296 [01:10<42:04,  8.76s/it]
+
hellaswag_sr:   3%|███▍                                                                                                              | 9/296 [01:19<42:39,  8.92s/it]
+
hellaswag_sr:   3%|███▊                                                                                                             | 10/296 [01:28<42:11,  8.85s/it]
+
hellaswag_sr:   4%|████▏                                                                                                            | 11/296 [01:37<42:08,  8.87s/it]
+
hellaswag_sr:   4%|████▌                                                                                                            | 12/296 [01:46<42:53,  9.06s/it]
+
hellaswag_sr:   4%|████▉                                                                                                            | 13/296 [01:56<43:08,  9.15s/it]
+
hellaswag_sr:   5%|█████▎                                                                                                           | 14/296 [02:05<43:00,  9.15s/it]
+
hellaswag_sr:   5%|█████▋                                                                                                           | 15/296 [02:14<42:17,  9.03s/it]
+
hellaswag_sr:   5%|██████                                                                                                           | 16/296 [02:22<41:36,  8.92s/it]
+
hellaswag_sr:   6%|██████▍                                                                                                          | 17/296 [02:31<41:08,  8.85s/it]
+
hellaswag_sr:   6%|██████▊                                                                                                          | 18/296 [02:41<42:11,  9.11s/it]
+
hellaswag_sr:   6%|███████▎                                                                                                         | 19/296 [02:50<41:43,  9.04s/it]
+
hellaswag_sr:   7%|███████▋                                                                                                         | 20/296 [02:58<41:20,  8.99s/it]
+
hellaswag_sr:   7%|████████                                                                                                         | 21/296 [03:07<40:34,  8.85s/it]
+
hellaswag_sr:   7%|████████▍                                                                                                        | 22/296 [03:16<41:00,  8.98s/it]
+
hellaswag_sr:   8%|████████▊                                                                                                        | 23/296 [03:26<41:16,  9.07s/it]
+
hellaswag_sr:   8%|█████████▏                                                                                                       | 24/296 [03:34<39:42,  8.76s/it]
+
hellaswag_sr:   8%|█████████▌                                                                                                       | 25/296 [03:43<40:04,  8.87s/it]
+
hellaswag_sr:   9%|█████████▉                                                                                                       | 26/296 [03:51<39:32,  8.79s/it]
+
hellaswag_sr:   9%|██████████▎                                                                                                      | 27/296 [04:00<39:14,  8.75s/it]
+
hellaswag_sr:   9%|██████████▋                                                                                                      | 28/296 [04:09<39:16,  8.79s/it]
+
hellaswag_sr:  10%|███████████                                                                                                      | 29/296 [04:18<39:46,  8.94s/it]
+
hellaswag_sr:  10%|███████████▍                                                                                                     | 30/296 [04:27<39:14,  8.85s/it]
+
hellaswag_sr:  10%|███████████▊                                                                                                     | 31/296 [04:36<39:01,  8.84s/it]
+
hellaswag_sr:  11%|████████████▏                                                                                                    | 32/296 [04:44<38:31,  8.75s/it]
+
hellaswag_sr:  11%|████████████▌                                                                                                    | 33/296 [04:53<38:09,  8.71s/it]
+
hellaswag_sr:  11%|████████████▉                                                                                                    | 34/296 [05:02<38:13,  8.76s/it]
+
hellaswag_sr:  12%|█████████████▎                                                                                                   | 35/296 [05:11<38:20,  8.82s/it]
+
hellaswag_sr:  12%|█████████████▋                                                                                                   | 36/296 [05:19<37:58,  8.76s/it]
+
hellaswag_sr:  12%|██████████████▏                                                                                                  | 37/296 [05:28<38:29,  8.92s/it]
+
hellaswag_sr:  13%|██████████████▌                                                                                                  | 38/296 [05:38<38:49,  9.03s/it]
+
hellaswag_sr:  13%|██████████████▉                                                                                                  | 39/296 [05:47<38:35,  9.01s/it]
+
hellaswag_sr:  14%|███████████████▎                                                                                                 | 40/296 [05:55<37:49,  8.87s/it]
+
hellaswag_sr:  14%|███████████████▋                                                                                                 | 41/296 [06:04<37:57,  8.93s/it]
+
hellaswag_sr:  14%|████████████████                                                                                                 | 42/296 [06:13<37:20,  8.82s/it]
+
hellaswag_sr:  15%|████████████████▍                                                                                                | 43/296 [06:22<37:28,  8.89s/it]
+
hellaswag_sr:  15%|████████████████▊                                                                                                | 44/296 [06:31<37:35,  8.95s/it]
+
hellaswag_sr:  15%|█████████████████▏                                                                                               | 45/296 [06:40<37:13,  8.90s/it]
+
hellaswag_sr:  16%|█████████████████▌                                                                                               | 46/296 [06:49<37:16,  8.95s/it]
+
hellaswag_sr:  16%|█████████████████▉                                                                                               | 47/296 [06:58<37:09,  8.96s/it]
+
hellaswag_sr:  16%|██████████████████▎                                                                                              | 48/296 [07:07<36:51,  8.92s/it]
+
hellaswag_sr:  17%|██████████████████▋                                                                                              | 49/296 [07:15<36:26,  8.85s/it]
+
hellaswag_sr:  17%|███████████████████                                                                                              | 50/296 [07:24<35:52,  8.75s/it]
+
hellaswag_sr:  17%|███████████████████▍                                                                                             | 51/296 [07:33<35:40,  8.74s/it]
+
hellaswag_sr:  18%|███████████████████▊                                                                                             | 52/296 [07:41<35:37,  8.76s/it]
+
hellaswag_sr:  18%|████████████████████▏                                                                                            | 53/296 [07:50<35:07,  8.67s/it]
+
hellaswag_sr:  18%|████████████████████▌                                                                                            | 54/296 [07:59<35:11,  8.72s/it]
+
hellaswag_sr:  19%|████████████████████▉                                                                                            | 55/296 [08:07<35:00,  8.72s/it]
+
hellaswag_sr:  19%|█████████████████████▍                                                                                           | 56/296 [08:16<34:43,  8.68s/it]
+
hellaswag_sr:  19%|█████████████████████▊                                                                                           | 57/296 [08:25<34:45,  8.73s/it]
+
hellaswag_sr:  20%|██████████████████████▏                                                                                          | 58/296 [08:34<35:24,  8.93s/it]
+
hellaswag_sr:  20%|██████████████████████▌                                                                                          | 59/296 [08:43<35:01,  8.87s/it]
+
hellaswag_sr:  20%|██████████████████████▉                                                                                          | 60/296 [08:52<35:33,  9.04s/it]
+
hellaswag_sr:  21%|███████████████████████▎                                                                                         | 61/296 [09:02<35:31,  9.07s/it]
+
hellaswag_sr:  21%|███████████████████████▋                                                                                         | 62/296 [09:10<34:51,  8.94s/it]
+
hellaswag_sr:  21%|████████████████████████                                                                                         | 63/296 [09:20<35:16,  9.08s/it]
+
hellaswag_sr:  22%|████████████████████████▍                                                                                        | 64/296 [09:28<34:52,  9.02s/it]
+
hellaswag_sr:  22%|████████████████████████▊                                                                                        | 65/296 [09:37<34:32,  8.97s/it]
+
hellaswag_sr:  22%|█████████████████████████▏                                                                                       | 66/296 [09:46<34:15,  8.94s/it]
+
hellaswag_sr:  23%|█████████████████████████▌                                                                                       | 67/296 [09:56<34:38,  9.08s/it]
+
hellaswag_sr:  23%|█████████████████████████▉                                                                                       | 68/296 [10:04<33:25,  8.79s/it]
+
hellaswag_sr:  23%|██████████████████████████▎                                                                                      | 69/296 [10:12<33:08,  8.76s/it]
+
hellaswag_sr:  24%|██████████████████████████▋                                                                                      | 70/296 [10:21<32:44,  8.69s/it]
+
hellaswag_sr:  24%|███████████████████████████                                                                                      | 71/296 [10:30<33:03,  8.81s/it]
+
hellaswag_sr:  24%|███████████████████████████▍                                                                                     | 72/296 [10:38<32:30,  8.71s/it]
+
hellaswag_sr:  25%|███████████████████████████▊                                                                                     | 73/296 [10:47<32:34,  8.76s/it]
+
hellaswag_sr:  25%|████████████████████████████▎                                                                                    | 74/296 [10:57<32:55,  8.90s/it]
+
hellaswag_sr:  25%|████████████████████████████▋                                                                                    | 75/296 [11:05<32:41,  8.88s/it]
+
hellaswag_sr:  26%|█████████████████████████████                                                                                    | 76/296 [11:14<32:20,  8.82s/it]
+
hellaswag_sr:  26%|█████████████████████████████▍                                                                                   | 77/296 [11:23<31:59,  8.76s/it]
+
hellaswag_sr:  26%|█████████████████████████████▊                                                                                   | 78/296 [11:32<31:53,  8.78s/it]
+
hellaswag_sr:  27%|██████████████████████████████▏                                                                                  | 79/296 [11:40<31:33,  8.73s/it]
+
hellaswag_sr:  27%|██████████████████████████████▌                                                                                  | 80/296 [11:49<31:41,  8.80s/it]
+
hellaswag_sr:  27%|██████████████████████████████▉                                                                                  | 81/296 [11:58<31:11,  8.71s/it]
+
hellaswag_sr:  28%|███████████████████████████████▎                                                                                 | 82/296 [12:07<31:42,  8.89s/it]
+
hellaswag_sr:  28%|███████████████████████████████▋                                                                                 | 83/296 [12:15<31:03,  8.75s/it]
+
hellaswag_sr:  28%|████████████████████████████████                                                                                 | 84/296 [12:24<30:56,  8.76s/it]
+
hellaswag_sr:  29%|████████████████████████████████▍                                                                                | 85/296 [12:33<31:15,  8.89s/it]
+
hellaswag_sr:  29%|████████████████████████████████▊                                                                                | 86/296 [12:42<30:49,  8.81s/it]
+
hellaswag_sr:  29%|█████████████████████████████████▏                                                                               | 87/296 [12:51<30:38,  8.80s/it]
+
hellaswag_sr:  30%|█████████████████████████████████▌                                                                               | 88/296 [12:59<30:22,  8.76s/it]
+
hellaswag_sr:  30%|█████████████████████████████████▉                                                                               | 89/296 [13:09<30:49,  8.94s/it]
+
hellaswag_sr:  30%|██████████████████████████████████▎                                                                              | 90/296 [13:18<31:04,  9.05s/it]
+
hellaswag_sr:  31%|██████████████████████████████████▋                                                                              | 91/296 [13:27<30:26,  8.91s/it]
+
hellaswag_sr:  31%|███████████████████████████████████                                                                              | 92/296 [13:36<30:28,  8.96s/it]
+
hellaswag_sr:  31%|███████████████████████████████████▌                                                                             | 93/296 [13:44<29:26,  8.70s/it]
+
hellaswag_sr:  32%|███████████████████████████████████▉                                                                             | 94/296 [13:53<29:23,  8.73s/it]
+
hellaswag_sr:  32%|████████████████████████████████████▎                                                                            | 95/296 [14:01<28:47,  8.59s/it]
+
hellaswag_sr:  32%|████████████████████████████████████▋                                                                            | 96/296 [14:10<28:53,  8.67s/it]
+
hellaswag_sr:  33%|█████████████████████████████████████                                                                            | 97/296 [14:19<28:51,  8.70s/it]
+
hellaswag_sr:  33%|█████████████████████████████████████▍                                                                           | 98/296 [14:28<29:17,  8.88s/it]
+
hellaswag_sr:  33%|█████████████████████████████████████▊                                                                           | 99/296 [14:37<29:44,  9.06s/it]
+
hellaswag_sr:  34%|█████████████████████████████████████▊                                                                          | 100/296 [14:46<29:18,  8.97s/it]
+
hellaswag_sr:  34%|██████████████████████████████████████▏                                                                         | 101/296 [14:55<29:08,  8.97s/it]
+
hellaswag_sr:  34%|██████████████████████████████████████▌                                                                         | 102/296 [15:04<29:15,  9.05s/it]
+
hellaswag_sr:  35%|██████████████████████████████████████▉                                                                         | 103/296 [15:13<28:50,  8.97s/it]
+
hellaswag_sr:  35%|███████████████████████████████████████▎                                                                        | 104/296 [15:22<28:15,  8.83s/it]
+
hellaswag_sr:  35%|███████████████████████████████████████▋                                                                        | 105/296 [15:30<27:56,  8.78s/it]
+
hellaswag_sr:  36%|████████████████████████████████████████                                                                        | 106/296 [15:39<28:01,  8.85s/it]
+
hellaswag_sr:  36%|████████████████████████████████████████▍                                                                       | 107/296 [15:49<28:37,  9.09s/it]
+
hellaswag_sr:  36%|████████████████████████████████████████▊                                                                       | 108/296 [15:57<27:59,  8.93s/it]
+
hellaswag_sr:  37%|█████████████████████████████████████████▏                                                                      | 109/296 [16:06<27:42,  8.89s/it]
+
hellaswag_sr:  37%|█████████████████████████████████████████▌                                                                      | 110/296 [16:15<27:31,  8.88s/it]
+
hellaswag_sr:  38%|██████████████████████████████████████████                                                                      | 111/296 [16:23<26:47,  8.69s/it]
+
hellaswag_sr:  38%|██████████████████████████████████████████▍                                                                     | 112/296 [16:33<27:21,  8.92s/it]
+
hellaswag_sr:  38%|██████████████████████████████████████████▊                                                                     | 113/296 [16:42<27:14,  8.93s/it]
+
hellaswag_sr:  39%|███████████████████████████████████████████▏                                                                    | 114/296 [16:50<26:37,  8.78s/it]
+
hellaswag_sr:  39%|███████████████████████████████████████████▌                                                                    | 115/296 [16:59<26:20,  8.73s/it]
+
hellaswag_sr:  39%|███████████████████████████████████████████▉                                                                    | 116/296 [17:07<26:10,  8.72s/it]
+
hellaswag_sr:  40%|████████████████████████████████████████████▎                                                                   | 117/296 [17:16<26:04,  8.74s/it]
+
hellaswag_sr:  40%|████████████████████████████████████████████▋                                                                   | 118/296 [17:25<25:57,  8.75s/it]
+
hellaswag_sr:  40%|█████████████████████████████████████████████                                                                   | 119/296 [17:34<26:04,  8.84s/it]
+
hellaswag_sr:  41%|█████████████████████████████████████████████▍                                                                  | 120/296 [17:43<25:52,  8.82s/it]
+
hellaswag_sr:  41%|█████████████████████████████████████████████▊                                                                  | 121/296 [17:52<25:44,  8.82s/it]
+
hellaswag_sr:  41%|██████████████████████████████████████████████▏                                                                 | 122/296 [18:01<25:48,  8.90s/it]
+
hellaswag_sr:  42%|██████████████████████████████████████████████▌                                                                 | 123/296 [18:09<25:25,  8.82s/it]
+
hellaswag_sr:  42%|██████████████████████████████████████████████▉                                                                 | 124/296 [18:19<25:40,  8.96s/it]
+
hellaswag_sr:  42%|███████████████████████████████████████████████▎                                                                | 125/296 [18:28<25:33,  8.97s/it]
+
hellaswag_sr:  43%|███████████████████████████████████████████████▋                                                                | 126/296 [18:37<25:39,  9.05s/it]
+
hellaswag_sr:  43%|████████████████████████████████████████████████                                                                | 127/296 [18:46<25:16,  8.98s/it]
+
hellaswag_sr:  43%|████████████████████████████████████████████████▍                                                               | 128/296 [18:55<25:05,  8.96s/it]
+
hellaswag_sr:  44%|████████████████████████████████████████████████▊                                                               | 129/296 [19:03<24:41,  8.87s/it]
+
hellaswag_sr:  44%|█████████████████████████████████████████████████▏                                                              | 130/296 [19:13<24:51,  8.98s/it]
+
hellaswag_sr:  44%|█████████████████████████████████████████████████▌                                                              | 131/296 [19:21<24:27,  8.90s/it]
+
hellaswag_sr:  45%|█████████████████████████████████████████████████▉                                                              | 132/296 [19:30<24:13,  8.86s/it]
+
hellaswag_sr:  45%|██████████████████████████████████████████████████▎                                                             | 133/296 [19:39<24:07,  8.88s/it]
+
hellaswag_sr:  45%|██████████████████████████████████████████████████▋                                                             | 134/296 [19:47<23:41,  8.78s/it]
+
hellaswag_sr:  46%|███████████████████████████████████████████████████                                                             | 135/296 [19:56<23:24,  8.72s/it]
+
hellaswag_sr:  46%|███████████████████████████████████████████████████▍                                                            | 136/296 [20:05<23:10,  8.69s/it]
+
hellaswag_sr:  46%|███████████████████████████████████████████████████▊                                                            | 137/296 [20:14<23:35,  8.90s/it]
+
hellaswag_sr:  47%|████████████████████████████████████████████████████▏                                                           | 138/296 [20:23<23:42,  9.00s/it]
+
hellaswag_sr:  47%|████████████████████████████████████████████████████▌                                                           | 139/296 [20:33<23:45,  9.08s/it]
+
hellaswag_sr:  47%|████████████████████████████████████████████████████▉                                                           | 140/296 [20:41<23:10,  8.92s/it]
+
hellaswag_sr:  48%|█████████████████████████████████████████████████████▎                                                          | 141/296 [20:50<22:59,  8.90s/it]
+
hellaswag_sr:  48%|█████████████████████████████████████████████████████▋                                                          | 142/296 [20:59<23:16,  9.07s/it]
+
hellaswag_sr:  48%|██████████████████████████████████████████████████████                                                          | 143/296 [21:08<22:56,  9.00s/it]
+
hellaswag_sr:  49%|██████████████████████████████████████████████████████▍                                                         | 144/296 [21:17<22:47,  9.00s/it]
+
hellaswag_sr:  49%|██████████████████████████████████████████████████████▊                                                         | 145/296 [21:26<22:18,  8.87s/it]
+
hellaswag_sr:  49%|███████████████████████████████████████████████████████▏                                                        | 146/296 [21:34<22:00,  8.80s/it]
+
hellaswag_sr:  50%|███████████████████████████████████████████████████████▌                                                        | 147/296 [21:44<22:17,  8.98s/it]
+
hellaswag_sr:  50%|████████████████████████████████████████████████████████                                                        | 148/296 [21:53<21:58,  8.91s/it]
+
hellaswag_sr:  50%|████████████████████████████████████████████████████████▍                                                       | 149/296 [22:01<21:46,  8.89s/it]
+
hellaswag_sr:  51%|████████████████████████████████████████████████████████▊                                                       | 150/296 [22:10<21:41,  8.92s/it]
+
hellaswag_sr:  51%|█████████████████████████████████████████████████████████▏                                                      | 151/296 [22:19<21:14,  8.79s/it]
+
hellaswag_sr:  51%|█████████████████████████████████████████████████████████▌                                                      | 152/296 [22:29<21:41,  9.04s/it]
+
hellaswag_sr:  52%|█████████████████████████████████████████████████████████▉                                                      | 153/296 [22:37<21:25,  8.99s/it]
+
hellaswag_sr:  52%|██████████████████████████████████████████████████████████▎                                                     | 154/296 [22:46<21:02,  8.89s/it]
+
hellaswag_sr:  52%|██████████████████████████████████████████████████████████▋                                                     | 155/296 [22:55<20:47,  8.84s/it]
+
hellaswag_sr:  53%|███████████████████████████████████████████████████████████                                                     | 156/296 [23:04<20:36,  8.83s/it]
+
hellaswag_sr:  53%|███████████████████████████████████████████████████████████▍                                                    | 157/296 [23:12<20:23,  8.81s/it]
+
hellaswag_sr:  53%|███████████████████████████████████████████████████████████▊                                                    | 158/296 [23:21<20:08,  8.76s/it]
+
hellaswag_sr:  54%|████████████████████████████████████████████████████████████▏                                                   | 159/296 [23:30<19:59,  8.76s/it]
+
hellaswag_sr:  54%|████████████████████████████████████████████████████████████▌                                                   | 160/296 [23:39<19:49,  8.75s/it]
+
hellaswag_sr:  54%|████████████████████████████████████████████████████████████▉                                                   | 161/296 [23:47<19:45,  8.78s/it]
+
hellaswag_sr:  55%|█████████████████████████████████████████████████████████████▎                                                  | 162/296 [23:55<19:07,  8.56s/it]
+
hellaswag_sr:  55%|█████████████████████████████████████████████████████████████▋                                                  | 163/296 [24:04<19:08,  8.64s/it]
+
hellaswag_sr:  55%|██████████████████████████████████████████████████████████████                                                  | 164/296 [24:13<18:49,  8.56s/it]
+
hellaswag_sr:  56%|██████████████████████████████████████████████████████████████▍                                                 | 165/296 [24:21<18:46,  8.60s/it]
+
hellaswag_sr:  56%|██████████████████████████████████████████████████████████████▊                                                 | 166/296 [24:30<18:40,  8.62s/it]
+
hellaswag_sr:  56%|███████████████████████████████████████████████████████████████▏                                                | 167/296 [24:39<18:36,  8.65s/it]
+
hellaswag_sr:  57%|███████████████████████████████████████████████████████████████▌                                                | 168/296 [24:48<18:34,  8.70s/it]
+
hellaswag_sr:  57%|███████████████████████████████████████████████████████████████▉                                                | 169/296 [24:56<17:58,  8.50s/it]
+
hellaswag_sr:  57%|████████████████████████████████████████████████████████████████▎                                               | 170/296 [25:05<18:26,  8.78s/it]
+
hellaswag_sr:  58%|████████████████████████████████████████████████████████████████▋                                               | 171/296 [25:14<18:18,  8.79s/it]
+
hellaswag_sr:  58%|█████████████████████████████████████████████████████████████████                                               | 172/296 [25:23<18:25,  8.91s/it]
+
hellaswag_sr:  58%|█████████████████████████████████████████████████████████████████▍                                              | 173/296 [25:32<18:17,  8.93s/it]
+
hellaswag_sr:  59%|█████████████████████████████████████████████████████████████████▊                                              | 174/296 [25:41<18:06,  8.91s/it]
+
hellaswag_sr:  59%|██████████████████████████████████████████████████████████████████▏                                             | 175/296 [25:49<17:43,  8.79s/it]
+
hellaswag_sr:  59%|██████████████████████████████████████████████████████████████████▌                                             | 176/296 [25:58<17:37,  8.81s/it]
+
hellaswag_sr:  60%|██████████████████████████████████████████████████████████████████▉                                             | 177/296 [26:06<17:00,  8.57s/it]
+
hellaswag_sr:  60%|███████████████████████████████████████████████████████████████████▎                                            | 178/296 [26:15<17:03,  8.67s/it]
+
hellaswag_sr:  60%|███████████████████████████████████████████████████████████████████▋                                            | 179/296 [26:25<17:20,  8.89s/it]
+
hellaswag_sr:  61%|████████████████████████████████████████████████████████████████████                                            | 180/296 [26:33<17:05,  8.84s/it]
+
hellaswag_sr:  61%|████████████████████████████████████████████████████████████████████▍                                           | 181/296 [26:42<16:57,  8.85s/it]
+
hellaswag_sr:  61%|████████████████████████████████████████████████████████████████████▊                                           | 182/296 [26:51<17:06,  9.01s/it]
+
hellaswag_sr:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 183/296 [27:01<17:02,  9.04s/it]
+
hellaswag_sr:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 184/296 [27:09<16:44,  8.97s/it]
+
hellaswag_sr:  62%|██████████████████████████████████████████████████████████████████████                                          | 185/296 [27:18<16:24,  8.87s/it]
+
hellaswag_sr:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 186/296 [27:28<16:35,  9.05s/it]
+
hellaswag_sr:  63%|██████████████████████████████████████████████████████████████████████▊                                         | 187/296 [27:36<16:18,  8.98s/it]
+
hellaswag_sr:  64%|███████████████████████████████████████████████████████████████████████▏                                        | 188/296 [27:46<16:26,  9.13s/it]
+
hellaswag_sr:  64%|███████████████████████████████████████████████████████████████████████▌                                        | 189/296 [27:55<16:03,  9.01s/it]
+
hellaswag_sr:  64%|███████████████████████████████████████████████████████████████████████▉                                        | 190/296 [28:03<15:45,  8.92s/it]
+
hellaswag_sr:  65%|████████████████████████████████████████████████████████████████████████▎                                       | 191/296 [28:13<15:53,  9.08s/it]
+
hellaswag_sr:  65%|████████████████████████████████████████████████████████████████████████▋                                       | 192/296 [28:22<15:56,  9.20s/it]
+
hellaswag_sr:  65%|█████████████████████████████████████████████████████████████████████████                                       | 193/296 [28:31<15:25,  8.99s/it]
+
hellaswag_sr:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 194/296 [28:39<15:10,  8.93s/it]
+
hellaswag_sr:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 195/296 [28:48<15:02,  8.94s/it]
+
hellaswag_sr:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 196/296 [28:57<14:47,  8.88s/it]
+
hellaswag_sr:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 197/296 [29:06<14:42,  8.91s/it]
+
hellaswag_sr:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 198/296 [29:15<14:45,  9.04s/it]
+
hellaswag_sr:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 199/296 [29:25<14:37,  9.05s/it]
+
hellaswag_sr:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 200/296 [29:34<14:26,  9.02s/it]
+
hellaswag_sr:  68%|████████████████████████████████████████████████████████████████████████████                                    | 201/296 [29:42<14:14,  9.00s/it]
+
hellaswag_sr:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 202/296 [29:51<13:48,  8.81s/it]
+
hellaswag_sr:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 203/296 [29:59<13:34,  8.76s/it]
+
hellaswag_sr:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 204/296 [30:08<13:26,  8.76s/it]
+
hellaswag_sr:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 205/296 [30:17<13:08,  8.66s/it]
+
hellaswag_sr:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 206/296 [30:26<13:20,  8.89s/it]
+
hellaswag_sr:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 207/296 [30:35<13:06,  8.83s/it]
+
hellaswag_sr:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 208/296 [30:44<12:58,  8.84s/it]
+
hellaswag_sr:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 209/296 [30:52<12:45,  8.79s/it]
+
hellaswag_sr:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 210/296 [31:02<12:46,  8.91s/it]
+
hellaswag_sr:  71%|███████████████████████████████████████████████████████████████████████████████▊                                | 211/296 [31:11<12:53,  9.11s/it]
+
hellaswag_sr:  72%|████████████████████████████████████████████████████████████████████████████████▏                               | 212/296 [31:20<12:36,  9.01s/it]
+
hellaswag_sr:  72%|████████████████████████████████████████████████████████████████████████████████▌                               | 213/296 [31:29<12:33,  9.08s/it]
+
hellaswag_sr:  72%|████████████████████████████████████████████████████████████████████████████████▉                               | 214/296 [31:38<12:26,  9.10s/it]
+
hellaswag_sr:  73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 215/296 [31:47<12:05,  8.96s/it]
+
hellaswag_sr:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 216/296 [31:56<11:48,  8.86s/it]
+
hellaswag_sr:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 217/296 [32:04<11:30,  8.74s/it]
+
hellaswag_sr:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 218/296 [32:13<11:26,  8.80s/it]
+
hellaswag_sr:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 219/296 [32:21<11:11,  8.72s/it]
+
hellaswag_sr:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 220/296 [32:30<11:01,  8.70s/it]
+
hellaswag_sr:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 221/296 [32:39<10:55,  8.74s/it]
+
hellaswag_sr:  75%|████████████████████████████████████████████████████████████████████████████████████                            | 222/296 [32:47<10:42,  8.68s/it]
+
hellaswag_sr:  75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 223/296 [32:56<10:38,  8.75s/it]
+
hellaswag_sr:  76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 224/296 [33:05<10:29,  8.74s/it]
+
hellaswag_sr:  76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 225/296 [33:14<10:22,  8.76s/it]
+
hellaswag_sr:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 226/296 [33:23<10:20,  8.86s/it]
+
hellaswag_sr:  77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 227/296 [33:32<10:12,  8.88s/it]
+
hellaswag_sr:  77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 228/296 [33:41<10:01,  8.85s/it]
+
hellaswag_sr:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 229/296 [33:50<10:05,  9.04s/it]
+
hellaswag_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 230/296 [33:59<09:51,  8.96s/it]
+
hellaswag_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 231/296 [34:07<09:26,  8.72s/it]
+
hellaswag_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 232/296 [34:16<09:18,  8.72s/it]
+
hellaswag_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 233/296 [34:25<09:20,  8.90s/it]
+
hellaswag_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 234/296 [34:34<09:09,  8.86s/it]
+
hellaswag_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 235/296 [34:43<08:55,  8.78s/it]
+
hellaswag_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 236/296 [34:52<08:51,  8.86s/it]
+
hellaswag_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 237/296 [35:00<08:39,  8.80s/it]
+
hellaswag_sr:  80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 238/296 [35:09<08:29,  8.79s/it]
+
hellaswag_sr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 239/296 [35:17<08:15,  8.69s/it]
+
hellaswag_sr:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 240/296 [35:26<08:05,  8.68s/it]
+
hellaswag_sr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 241/296 [35:34<07:50,  8.55s/it]
+
hellaswag_sr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 242/296 [35:43<07:43,  8.59s/it]
+
hellaswag_sr:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 243/296 [35:52<07:46,  8.80s/it]
+
hellaswag_sr:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 244/296 [36:01<07:38,  8.82s/it]
+
hellaswag_sr:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 245/296 [36:10<07:32,  8.86s/it]
+
hellaswag_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 246/296 [36:19<07:21,  8.83s/it]
+
hellaswag_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 247/296 [36:27<07:07,  8.73s/it]
+
hellaswag_sr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 248/296 [36:36<06:59,  8.74s/it]
+
hellaswag_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 249/296 [36:45<06:47,  8.66s/it]
+
hellaswag_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 250/296 [36:54<06:48,  8.87s/it]
+
hellaswag_sr:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 251/296 [37:03<06:41,  8.93s/it]
+
hellaswag_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 252/296 [37:12<06:33,  8.94s/it]
+
hellaswag_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 253/296 [37:21<06:21,  8.87s/it]
+
hellaswag_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 254/296 [37:30<06:12,  8.86s/it]
+
hellaswag_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 255/296 [37:38<05:58,  8.75s/it]
+
hellaswag_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 256/296 [37:47<05:50,  8.77s/it]
+
hellaswag_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 257/296 [37:56<05:40,  8.74s/it]
+
hellaswag_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 258/296 [38:04<05:27,  8.61s/it]
+
hellaswag_sr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 259/296 [38:13<05:21,  8.70s/it]
+
hellaswag_sr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 260/296 [38:22<05:16,  8.79s/it]
+
hellaswag_sr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 261/296 [38:30<05:05,  8.74s/it]
+
hellaswag_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▏            | 262/296 [38:39<04:58,  8.78s/it]
+
hellaswag_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 263/296 [38:49<04:55,  8.96s/it]
+
hellaswag_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 264/296 [38:57<04:44,  8.90s/it]
+
hellaswag_sr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 265/296 [39:07<04:39,  9.02s/it]
+
hellaswag_sr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 266/296 [39:16<04:29,  8.98s/it]
+
hellaswag_sr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 267/296 [39:25<04:19,  8.96s/it]
+
hellaswag_sr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 268/296 [39:33<04:08,  8.87s/it]
+
hellaswag_sr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 269/296 [39:42<03:57,  8.78s/it]
+
hellaswag_sr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 270/296 [39:51<03:51,  8.91s/it]
+
hellaswag_sr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 271/296 [40:00<03:43,  8.95s/it]
+
hellaswag_sr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 272/296 [40:09<03:31,  8.81s/it]
+
hellaswag_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 273/296 [40:17<03:22,  8.79s/it]
+
hellaswag_sr:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 274/296 [40:26<03:13,  8.79s/it]
+
hellaswag_sr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████        | 275/296 [40:35<03:07,  8.92s/it]
+
hellaswag_sr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 276/296 [40:44<02:59,  8.99s/it]
+
hellaswag_sr:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 277/296 [40:54<02:52,  9.10s/it]
+
hellaswag_sr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 278/296 [41:03<02:44,  9.14s/it]
+
hellaswag_sr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 279/296 [41:12<02:34,  9.07s/it]
+
hellaswag_sr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 280/296 [41:21<02:25,  9.07s/it]
+
hellaswag_sr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 281/296 [41:30<02:14,  8.97s/it]
+
hellaswag_sr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 282/296 [41:38<02:04,  8.88s/it]
+
hellaswag_sr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 283/296 [41:47<01:55,  8.85s/it]
+
hellaswag_sr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 284/296 [41:57<01:48,  9.02s/it]
+
hellaswag_sr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 285/296 [42:05<01:38,  8.98s/it]
+
hellaswag_sr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 286/296 [42:15<01:30,  9.04s/it]
+
hellaswag_sr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 287/296 [42:23<01:20,  8.96s/it]
+
hellaswag_sr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 288/296 [42:32<01:11,  8.91s/it]
+
hellaswag_sr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 289/296 [42:41<01:02,  8.97s/it]
+
hellaswag_sr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 290/296 [42:50<00:53,  8.89s/it]
+
hellaswag_sr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 291/296 [42:59<00:44,  8.88s/it]
+
hellaswag_sr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 292/296 [43:08<00:35,  8.87s/it]
+
hellaswag_sr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 293/296 [43:16<00:26,  8.79s/it]
+
hellaswag_sr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 294/296 [43:25<00:17,  8.79s/it]
+
hellaswag_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 295/296 [43:34<00:08,  8.79s/it]
+
hellaswag_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:39<00:00,  7.70s/it]
hellaswag_sr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [43:39<00:00,  8.85s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sr_acc 0.35464070271986453
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sr_acc_norm 0.4479839136416552
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 08:29:24,308 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 08:29:24,308 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:24,425 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 08:29:24,425 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:24,542 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 08:29:24,542 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:24,659 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 08:29:24,660 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 08:29:24,660 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 08:29:24,778 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 08:29:24,778 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_sr_acc'}
+2024-05-30 08:29:24,837 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 08:29:24,837 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1189, 'value': 0.35464070271986453}
+2024-05-30 08:29:24,897 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 08:29:25,538 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 08:29:25,538 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:25,665 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 08:29:25,665 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:25,793 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 08:29:25,793 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:25,920 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 08:29:25,921 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 08:29:25,921 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 08:29:26,049 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 08:29:26,049 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_sr_acc_norm'}
+2024-05-30 08:29:26,114 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 08:29:26,114 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1190, 'value': 0.4479839136416552}
+2024-05-30 08:29:26,178 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  45%|████████████████████████████████████████████████▊                                                           | 56/124 [25:41:55<55:01:02, 2912.68s/it]['hellaswag_sv']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 08:29:26,773 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 08:29:26,773 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:26,888 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 08:29:26,888 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:27,004 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 08:29:27,004 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 08:29:27,119 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 08:29:27,120 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 08:29:27,120 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_sv'}
+2024-05-30 08:29:27,236 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_sv task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  9.42 examples/s]
+
Generating validation split: 2000 examples [00:00, 10273.86 examples/s]
+
Generating validation split: 3994 examples [00:00, 13830.11 examples/s]
+
Generating validation split: 5623 examples [00:00, 14732.58 examples/s]
+
Generating validation split: 7253 examples [00:00, 15269.84 examples/s]
+
Generating validation split: 9000 examples [00:00, 15679.76 examples/s]
Generating validation split: 9122 examples [00:00, 13864.95 examples/s]
+Loaded 9122 examples
+Running loglikelihood requests
+
+
hellaswag_sv:   0%|                                                                                                                          | 0/286 [00:00<?, ?it/s]
+
hellaswag_sv:   0%|▍                                                                                                                 | 1/286 [00:09<44:17,  9.32s/it]
+
hellaswag_sv:   1%|▊                                                                                                                 | 2/286 [00:18<42:20,  8.95s/it]
+
hellaswag_sv:   1%|█▏                                                                                                                | 3/286 [00:26<41:14,  8.74s/it]
+
hellaswag_sv:   1%|█▌                                                                                                                | 4/286 [00:34<39:57,  8.50s/it]
+
hellaswag_sv:   2%|█▉                                                                                                                | 5/286 [00:42<38:51,  8.30s/it]
+
hellaswag_sv:   2%|██▍                                                                                                               | 6/286 [00:50<38:16,  8.20s/it]
+
hellaswag_sv:   2%|██▊                                                                                                               | 7/286 [00:58<37:53,  8.15s/it]
+
hellaswag_sv:   3%|███▏                                                                                                              | 8/286 [01:07<38:32,  8.32s/it]
+
hellaswag_sv:   3%|███▌                                                                                                              | 9/286 [01:15<38:05,  8.25s/it]
+
hellaswag_sv:   3%|███▉                                                                                                             | 10/286 [01:24<38:26,  8.36s/it]
+
hellaswag_sv:   4%|████▎                                                                                                            | 11/286 [01:32<38:03,  8.30s/it]
+
hellaswag_sv:   4%|████▋                                                                                                            | 12/286 [01:40<37:36,  8.24s/it]
+
hellaswag_sv:   5%|█████▏                                                                                                           | 13/286 [01:48<37:04,  8.15s/it]
+
hellaswag_sv:   5%|█████▌                                                                                                           | 14/286 [01:57<37:48,  8.34s/it]
+
hellaswag_sv:   5%|█████▉                                                                                                           | 15/286 [02:04<37:00,  8.19s/it]
+
hellaswag_sv:   6%|██████▎                                                                                                          | 16/286 [02:13<37:28,  8.33s/it]
+
hellaswag_sv:   6%|██████▋                                                                                                          | 17/286 [02:21<36:43,  8.19s/it]
+
hellaswag_sv:   6%|███████                                                                                                          | 18/286 [02:30<38:06,  8.53s/it]
+
hellaswag_sv:   7%|███████▌                                                                                                         | 19/286 [02:39<37:40,  8.46s/it]
+
hellaswag_sv:   7%|███████▉                                                                                                         | 20/286 [02:47<36:58,  8.34s/it]
+
hellaswag_sv:   7%|████████▎                                                                                                        | 21/286 [02:55<36:39,  8.30s/it]
+
hellaswag_sv:   8%|████████▋                                                                                                        | 22/286 [03:03<36:06,  8.21s/it]
+
hellaswag_sv:   8%|█████████                                                                                                        | 23/286 [03:11<35:37,  8.13s/it]
+
hellaswag_sv:   8%|█████████▍                                                                                                       | 24/286 [03:20<36:47,  8.43s/it]
+
hellaswag_sv:   9%|█████████▉                                                                                                       | 25/286 [03:29<37:11,  8.55s/it]
+
hellaswag_sv:   9%|██████████▎                                                                                                      | 26/286 [03:37<36:13,  8.36s/it]
+
hellaswag_sv:   9%|██████████▋                                                                                                      | 27/286 [03:45<35:50,  8.30s/it]
+
hellaswag_sv:  10%|███████████                                                                                                      | 28/286 [03:53<35:09,  8.18s/it]
+
hellaswag_sv:  10%|███████████▍                                                                                                     | 29/286 [04:00<34:34,  8.07s/it]
+
hellaswag_sv:  10%|███████████▊                                                                                                     | 30/286 [04:08<34:15,  8.03s/it]
+
hellaswag_sv:  11%|████████████▏                                                                                                    | 31/286 [04:16<33:53,  7.97s/it]
+
hellaswag_sv:  11%|████████████▋                                                                                                    | 32/286 [04:25<34:59,  8.26s/it]
+
hellaswag_sv:  12%|█████████████                                                                                                    | 33/286 [04:33<34:24,  8.16s/it]
+
hellaswag_sv:  12%|█████████████▍                                                                                                   | 34/286 [04:41<34:07,  8.13s/it]
+
hellaswag_sv:  12%|█████████████▊                                                                                                   | 35/286 [04:49<33:52,  8.10s/it]
+
hellaswag_sv:  13%|██████████████▏                                                                                                  | 36/286 [04:58<34:09,  8.20s/it]
+
hellaswag_sv:  13%|██████████████▌                                                                                                  | 37/286 [05:06<33:43,  8.13s/it]
+
hellaswag_sv:  13%|███████████████                                                                                                  | 38/286 [05:13<33:20,  8.07s/it]
+
hellaswag_sv:  14%|███████████████▍                                                                                                 | 39/286 [05:22<33:39,  8.18s/it]
+
hellaswag_sv:  14%|███████████████▊                                                                                                 | 40/286 [05:30<33:47,  8.24s/it]
+
hellaswag_sv:  14%|████████████████▏                                                                                                | 41/286 [05:38<33:29,  8.20s/it]
+
hellaswag_sv:  15%|████████████████▌                                                                                                | 42/286 [05:47<33:21,  8.20s/it]
+
hellaswag_sv:  15%|████████████████▉                                                                                                | 43/286 [05:55<33:23,  8.24s/it]
+
hellaswag_sv:  15%|█████████████████▍                                                                                               | 44/286 [06:04<34:29,  8.55s/it]
+
hellaswag_sv:  16%|█████████████████▊                                                                                               | 45/286 [06:13<34:26,  8.57s/it]
+
hellaswag_sv:  16%|██████████████████▏                                                                                              | 46/286 [06:21<33:41,  8.42s/it]
+
hellaswag_sv:  16%|██████████████████▌                                                                                              | 47/286 [06:29<33:27,  8.40s/it]
+
hellaswag_sv:  17%|██████████████████▉                                                                                              | 48/286 [06:38<33:33,  8.46s/it]
+
hellaswag_sv:  17%|███████████████████▎                                                                                             | 49/286 [06:46<32:41,  8.28s/it]
+
hellaswag_sv:  17%|███████████████████▊                                                                                             | 50/286 [06:55<33:19,  8.47s/it]
+
hellaswag_sv:  18%|████████████████████▏                                                                                            | 51/286 [07:03<33:02,  8.44s/it]
+
hellaswag_sv:  18%|████████████████████▌                                                                                            | 52/286 [07:11<32:13,  8.26s/it]
+
hellaswag_sv:  19%|████████████████████▉                                                                                            | 53/286 [07:19<31:48,  8.19s/it]
+
hellaswag_sv:  19%|█████████████████████▎                                                                                           | 54/286 [07:27<31:17,  8.09s/it]
+
hellaswag_sv:  19%|█████████████████████▋                                                                                           | 55/286 [07:35<31:39,  8.22s/it]
+
hellaswag_sv:  20%|██████████████████████▏                                                                                          | 56/286 [07:43<31:12,  8.14s/it]
+
hellaswag_sv:  20%|██████████████████████▌                                                                                          | 57/286 [07:51<30:51,  8.09s/it]
+
hellaswag_sv:  20%|██████████████████████▉                                                                                          | 58/286 [07:59<30:48,  8.11s/it]
+
hellaswag_sv:  21%|███████████████████████▎                                                                                         | 59/286 [08:07<30:28,  8.05s/it]
+
hellaswag_sv:  21%|███████████████████████▋                                                                                         | 60/286 [08:16<30:48,  8.18s/it]
+
hellaswag_sv:  21%|████████████████████████                                                                                         | 61/286 [08:24<30:34,  8.15s/it]
+
hellaswag_sv:  22%|████████████████████████▍                                                                                        | 62/286 [08:32<30:53,  8.28s/it]
+
hellaswag_sv:  22%|████████████████████████▉                                                                                        | 63/286 [08:41<30:35,  8.23s/it]
+
hellaswag_sv:  22%|█████████████████████████▎                                                                                       | 64/286 [08:49<31:01,  8.38s/it]
+
hellaswag_sv:  23%|█████████████████████████▋                                                                                       | 65/286 [08:57<30:21,  8.24s/it]
+
hellaswag_sv:  23%|██████████████████████████                                                                                       | 66/286 [09:05<29:53,  8.15s/it]
+
hellaswag_sv:  23%|██████████████████████████▍                                                                                      | 67/286 [09:14<30:12,  8.28s/it]
+
hellaswag_sv:  24%|██████████████████████████▊                                                                                      | 68/286 [09:22<29:51,  8.22s/it]
+
hellaswag_sv:  24%|███████████████████████████▎                                                                                     | 69/286 [09:31<31:11,  8.63s/it]
+
hellaswag_sv:  24%|███████████████████████████▋                                                                                     | 70/286 [09:40<30:50,  8.57s/it]
+
hellaswag_sv:  25%|████████████████████████████                                                                                     | 71/286 [09:48<30:42,  8.57s/it]
+
hellaswag_sv:  25%|████████████████████████████▍                                                                                    | 72/286 [09:56<29:58,  8.40s/it]
+
hellaswag_sv:  26%|████████████████████████████▊                                                                                    | 73/286 [10:05<30:11,  8.50s/it]
+
hellaswag_sv:  26%|█████████████████████████████▏                                                                                   | 74/286 [10:14<30:05,  8.52s/it]
+
hellaswag_sv:  26%|█████████████████████████████▋                                                                                   | 75/286 [10:22<29:27,  8.38s/it]
+
hellaswag_sv:  27%|██████████████████████████████                                                                                   | 76/286 [10:30<28:45,  8.22s/it]
+
hellaswag_sv:  27%|██████████████████████████████▍                                                                                  | 77/286 [10:38<28:25,  8.16s/it]
+
hellaswag_sv:  27%|██████████████████████████████▊                                                                                  | 78/286 [10:46<28:45,  8.30s/it]
+
hellaswag_sv:  28%|███████████████████████████████▏                                                                                 | 79/286 [10:54<28:15,  8.19s/it]
+
hellaswag_sv:  28%|███████████████████████████████▌                                                                                 | 80/286 [11:03<28:36,  8.33s/it]
+
hellaswag_sv:  28%|████████████████████████████████                                                                                 | 81/286 [11:12<29:00,  8.49s/it]
+
hellaswag_sv:  29%|████████████████████████████████▍                                                                                | 82/286 [11:20<28:17,  8.32s/it]
+
hellaswag_sv:  29%|████████████████████████████████▊                                                                                | 83/286 [11:27<27:45,  8.20s/it]
+
hellaswag_sv:  29%|█████████████████████████████████▏                                                                               | 84/286 [11:36<27:51,  8.27s/it]
+
hellaswag_sv:  30%|█████████████████████████████████▌                                                                               | 85/286 [11:45<28:17,  8.45s/it]
+
hellaswag_sv:  30%|█████████████████████████████████▉                                                                               | 86/286 [11:53<27:52,  8.36s/it]
+
hellaswag_sv:  30%|██████████████████████████████████▎                                                                              | 87/286 [12:01<27:19,  8.24s/it]
+
hellaswag_sv:  31%|██████████████████████████████████▊                                                                              | 88/286 [12:10<28:21,  8.60s/it]
+
hellaswag_sv:  31%|███████████████████████████████████▏                                                                             | 89/286 [12:19<28:06,  8.56s/it]
+
hellaswag_sv:  31%|███████████████████████████████████▌                                                                             | 90/286 [12:27<27:27,  8.40s/it]
+
hellaswag_sv:  32%|███████████████████████████████████▉                                                                             | 91/286 [12:35<26:49,  8.26s/it]
+
hellaswag_sv:  32%|████████████████████████████████████▎                                                                            | 92/286 [12:43<26:38,  8.24s/it]
+
hellaswag_sv:  33%|████████████████████████████████████▋                                                                            | 93/286 [12:51<26:12,  8.15s/it]
+
hellaswag_sv:  33%|█████████████████████████████████████▏                                                                           | 94/286 [12:59<26:28,  8.27s/it]
+
hellaswag_sv:  33%|█████████████████████████████████████▌                                                                           | 95/286 [13:07<25:54,  8.14s/it]
+
hellaswag_sv:  34%|█████████████████████████████████████▉                                                                           | 96/286 [13:16<25:58,  8.20s/it]
+
hellaswag_sv:  34%|██████████████████████████████████████▎                                                                          | 97/286 [13:24<26:19,  8.36s/it]
+
hellaswag_sv:  34%|██████████████████████████████████████▋                                                                          | 98/286 [13:32<25:51,  8.25s/it]
+
hellaswag_sv:  35%|███████████████████████████████████████                                                                          | 99/286 [13:42<26:34,  8.53s/it]
+
hellaswag_sv:  35%|███████████████████████████████████████▏                                                                        | 100/286 [13:50<26:19,  8.49s/it]
+
hellaswag_sv:  35%|███████████████████████████████████████▌                                                                        | 101/286 [13:58<26:06,  8.47s/it]
+
hellaswag_sv:  36%|███████████████████████████████████████▉                                                                        | 102/286 [14:06<25:33,  8.34s/it]
+
hellaswag_sv:  36%|████████████████████████████████████████▎                                                                       | 103/286 [14:14<25:05,  8.22s/it]
+
hellaswag_sv:  36%|████████████████████████████████████████▋                                                                       | 104/286 [14:23<25:09,  8.29s/it]
+
hellaswag_sv:  37%|█████████████████████████████████████████                                                                       | 105/286 [14:31<25:20,  8.40s/it]
+
hellaswag_sv:  37%|█████████████████████████████████████████▌                                                                      | 106/286 [14:41<25:56,  8.65s/it]
+
hellaswag_sv:  37%|█████████████████████████████████████████▉                                                                      | 107/286 [14:50<25:58,  8.71s/it]
+
hellaswag_sv:  38%|██████████████████████████████████████████▎                                                                     | 108/286 [14:58<25:31,  8.60s/it]
+
hellaswag_sv:  38%|██████████████████████████████████████████▋                                                                     | 109/286 [15:06<24:46,  8.40s/it]
+
hellaswag_sv:  38%|███████████████████████████████████████████                                                                     | 110/286 [15:14<24:16,  8.27s/it]
+
hellaswag_sv:  39%|███████████████████████████████████████████▍                                                                    | 111/286 [15:22<24:00,  8.23s/it]
+
hellaswag_sv:  39%|███████████████████████████████████████████▊                                                                    | 112/286 [15:30<23:36,  8.14s/it]
+
hellaswag_sv:  40%|████████████████████████████████████████████▎                                                                   | 113/286 [15:38<23:52,  8.28s/it]
+
hellaswag_sv:  40%|████████████████████████████████████████████▋                                                                   | 114/286 [15:47<23:58,  8.37s/it]
+
hellaswag_sv:  40%|█████████████████████████████████████████████                                                                   | 115/286 [15:55<23:52,  8.38s/it]
+
hellaswag_sv:  41%|█████████████████████████████████████████████▍                                                                  | 116/286 [16:04<24:10,  8.53s/it]
+
hellaswag_sv:  41%|█████████████████████████████████████████████▊                                                                  | 117/286 [16:12<23:28,  8.33s/it]
+
hellaswag_sv:  41%|██████████████████████████████████████████████▏                                                                 | 118/286 [16:21<23:42,  8.47s/it]
+
hellaswag_sv:  42%|██████████████████████████████████████████████▌                                                                 | 119/286 [16:30<23:45,  8.53s/it]
+
hellaswag_sv:  42%|██████████████████████████████████████████████▉                                                                 | 120/286 [16:38<23:16,  8.42s/it]
+
hellaswag_sv:  42%|███████████████████████████████████████████████▍                                                                | 121/286 [16:47<23:27,  8.53s/it]
+
hellaswag_sv:  43%|███████████████████████████████████████████████▊                                                                | 122/286 [16:55<23:07,  8.46s/it]
+
hellaswag_sv:  43%|████████████████████████████████████████████████▏                                                               | 123/286 [17:03<22:57,  8.45s/it]
+
hellaswag_sv:  43%|████████████████████████████████████████████████▌                                                               | 124/286 [17:11<22:27,  8.32s/it]
+
hellaswag_sv:  44%|████████████████████████████████████████████████▉                                                               | 125/286 [17:19<22:07,  8.25s/it]
+
hellaswag_sv:  44%|█████████████████████████████████████████████████▎                                                              | 126/286 [17:28<22:28,  8.43s/it]
+
hellaswag_sv:  44%|█████████████████████████████████████████████████▋                                                              | 127/286 [17:36<22:07,  8.35s/it]
+
hellaswag_sv:  45%|██████████████████████████████████████████████████▏                                                             | 128/286 [17:44<21:37,  8.21s/it]
+
hellaswag_sv:  45%|██████████████████████████████████████████████████▌                                                             | 129/286 [17:53<21:52,  8.36s/it]
+
hellaswag_sv:  45%|██████████████████████████████████████████████████▉                                                             | 130/286 [18:01<21:30,  8.27s/it]
+
hellaswag_sv:  46%|███████████████████████████████████████████████████▎                                                            | 131/286 [18:09<21:11,  8.20s/it]
+
hellaswag_sv:  46%|███████████████████████████████████████████████████▋                                                            | 132/286 [18:18<21:39,  8.44s/it]
+
hellaswag_sv:  47%|████████████████████████████████████████████████████                                                            | 133/286 [18:26<21:15,  8.34s/it]
+
hellaswag_sv:  47%|████████████████████████████████████████████████████▍                                                           | 134/286 [18:35<21:10,  8.36s/it]
+
hellaswag_sv:  47%|████████████████████████████████████████████████████▊                                                           | 135/286 [18:43<21:22,  8.50s/it]
+
hellaswag_sv:  48%|█████████████████████████████████████████████████████▎                                                          | 136/286 [18:51<20:51,  8.35s/it]
+
hellaswag_sv:  48%|█████████████████████████████████████████████████████▋                                                          | 137/286 [19:00<20:53,  8.41s/it]
+
hellaswag_sv:  48%|██████████████████████████████████████████████████████                                                          | 138/286 [19:09<21:27,  8.70s/it]
+
hellaswag_sv:  49%|██████████████████████████████████████████████████████▍                                                         | 139/286 [19:17<20:48,  8.49s/it]
+
hellaswag_sv:  49%|██████████████████████████████████████████████████████▊                                                         | 140/286 [19:25<20:16,  8.33s/it]
+
hellaswag_sv:  49%|███████████████████████████████████████████████████████▏                                                        | 141/286 [19:33<19:50,  8.21s/it]
+
hellaswag_sv:  50%|███████████████████████████████████████████████████████▌                                                        | 142/286 [19:43<20:26,  8.52s/it]
+
hellaswag_sv:  50%|████████████████████████████████████████████████████████                                                        | 143/286 [19:51<20:25,  8.57s/it]
+
hellaswag_sv:  50%|████████████████████████████████████████████████████████▍                                                       | 144/286 [19:59<19:48,  8.37s/it]
+
hellaswag_sv:  51%|████████████████████████████████████████████████████████▊                                                       | 145/286 [20:08<19:53,  8.47s/it]
+
hellaswag_sv:  51%|█████████████████████████████████████████████████████████▏                                                      | 146/286 [20:16<19:42,  8.45s/it]
+
hellaswag_sv:  51%|█████████████████████████████████████████████████████████▌                                                      | 147/286 [20:25<20:08,  8.69s/it]
+
hellaswag_sv:  52%|█████████████████████████████████████████████████████████▉                                                      | 148/286 [20:33<19:31,  8.49s/it]
+
hellaswag_sv:  52%|██████████████████████████████████████████████████████████▎                                                     | 149/286 [20:42<19:06,  8.37s/it]
+
hellaswag_sv:  52%|██████████████████████████████████████████████████████████▋                                                     | 150/286 [20:50<19:02,  8.40s/it]
+
hellaswag_sv:  53%|███████████████████████████████████████████████████████████▏                                                    | 151/286 [20:59<19:05,  8.48s/it]
+
hellaswag_sv:  53%|███████████████████████████████████████████████████████████▌                                                    | 152/286 [21:07<18:37,  8.34s/it]
+
hellaswag_sv:  53%|███████████████████████████████████████████████████████████▉                                                    | 153/286 [21:15<18:12,  8.21s/it]
+
hellaswag_sv:  54%|████████████████████████████████████████████████████████████▎                                                   | 154/286 [21:23<18:17,  8.32s/it]
+
hellaswag_sv:  54%|████████████████████████████████████████████████████████████▋                                                   | 155/286 [21:31<17:59,  8.24s/it]
+
hellaswag_sv:  55%|█████████████████████████████████████████████████████████████                                                   | 156/286 [21:39<17:43,  8.18s/it]
+
hellaswag_sv:  55%|█████████████████████████████████████████████████████████████▍                                                  | 157/286 [21:48<17:49,  8.29s/it]
+
hellaswag_sv:  55%|█████████████████████████████████████████████████████████████▊                                                  | 158/286 [21:57<17:59,  8.44s/it]
+
hellaswag_sv:  56%|██████████████████████████████████████████████████████████████▎                                                 | 159/286 [22:05<17:58,  8.49s/it]
+
hellaswag_sv:  56%|██████████████████████████████████████████████████████████████▋                                                 | 160/286 [22:13<17:33,  8.36s/it]
+
hellaswag_sv:  56%|███████████████████████████████████████████████████████████████                                                 | 161/286 [22:22<17:39,  8.48s/it]
+
hellaswag_sv:  57%|███████████████████████████████████████████████████████████████▍                                                | 162/286 [22:31<17:35,  8.51s/it]
+
hellaswag_sv:  57%|███████████████████████████████████████████████████████████████▊                                                | 163/286 [22:39<17:05,  8.34s/it]
+
hellaswag_sv:  57%|████████████████████████████████████████████████████████████████▏                                               | 164/286 [22:47<16:42,  8.22s/it]
+
hellaswag_sv:  58%|████████████████████████████████████████████████████████████████▌                                               | 165/286 [22:55<16:41,  8.28s/it]
+
hellaswag_sv:  58%|█████████████████████████████████████████████████████████████████                                               | 166/286 [23:03<16:36,  8.30s/it]
+
hellaswag_sv:  58%|█████████████████████████████████████████████████████████████████▍                                              | 167/286 [23:12<16:34,  8.36s/it]
+
hellaswag_sv:  59%|█████████████████████████████████████████████████████████████████▊                                              | 168/286 [23:21<16:43,  8.50s/it]
+
hellaswag_sv:  59%|██████████████████████████████████████████████████████████████████▏                                             | 169/286 [23:29<16:21,  8.39s/it]
+
hellaswag_sv:  59%|██████████████████████████████████████████████████████████████████▌                                             | 170/286 [23:37<16:21,  8.46s/it]
+
hellaswag_sv:  60%|██████████████████████████████████████████████████████████████████▉                                             | 171/286 [23:45<15:52,  8.28s/it]
+
hellaswag_sv:  60%|███████████████████████████████████████████████████████████████████▎                                            | 172/286 [23:53<15:39,  8.24s/it]
+
hellaswag_sv:  60%|███████████████████████████████████████████████████████████████████▋                                            | 173/286 [24:01<15:22,  8.16s/it]
+
hellaswag_sv:  61%|████████████████████████████████████████████████████████████████████▏                                           | 174/286 [24:10<15:22,  8.23s/it]
+
hellaswag_sv:  61%|████████████████████████████████████████████████████████████████████▌                                           | 175/286 [24:18<15:09,  8.19s/it]
+
hellaswag_sv:  62%|████████████████████████████████████████████████████████████████████▉                                           | 176/286 [24:26<15:16,  8.33s/it]
+
hellaswag_sv:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 177/286 [24:35<15:00,  8.26s/it]
+
hellaswag_sv:  62%|█████████████████████████████████████████████████████████████████████▋                                          | 178/286 [24:43<14:55,  8.29s/it]
+
hellaswag_sv:  63%|██████████████████████████████████████████████████████████████████████                                          | 179/286 [24:51<14:38,  8.21s/it]
+
hellaswag_sv:  63%|██████████████████████████████████████████████████████████████████████▍                                         | 180/286 [24:59<14:20,  8.12s/it]
+
hellaswag_sv:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 181/286 [25:08<14:32,  8.31s/it]
+
hellaswag_sv:  64%|███████████████████████████████████████████████████████████████████████▎                                        | 182/286 [25:16<14:22,  8.29s/it]
+
hellaswag_sv:  64%|███████████████████████████████████████████████████████████████████████▋                                        | 183/286 [25:25<14:26,  8.41s/it]
+
hellaswag_sv:  64%|████████████████████████████████████████████████████████████████████████                                        | 184/286 [25:33<14:16,  8.39s/it]
+
hellaswag_sv:  65%|████████████████████████████████████████████████████████████████████████▍                                       | 185/286 [25:42<14:22,  8.54s/it]
+
hellaswag_sv:  65%|████████████████████████████████████████████████████████████████████████▊                                       | 186/286 [25:51<14:26,  8.66s/it]
+
hellaswag_sv:  65%|█████████████████████████████████████████████████████████████████████████▏                                      | 187/286 [25:59<14:09,  8.59s/it]
+
hellaswag_sv:  66%|█████████████████████████████████████████████████████████████████████████▌                                      | 188/286 [26:08<14:02,  8.59s/it]
+
hellaswag_sv:  66%|██████████████████████████████████████████████████████████████████████████                                      | 189/286 [26:17<14:10,  8.77s/it]
+
hellaswag_sv:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 190/286 [26:25<13:48,  8.63s/it]
+
hellaswag_sv:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 191/286 [26:33<13:22,  8.45s/it]
+
hellaswag_sv:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 192/286 [26:41<12:58,  8.29s/it]
+
hellaswag_sv:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 193/286 [26:50<13:05,  8.45s/it]
+
hellaswag_sv:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 194/286 [26:59<13:19,  8.69s/it]
+
hellaswag_sv:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 195/286 [27:07<12:54,  8.51s/it]
+
hellaswag_sv:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 196/286 [27:17<13:04,  8.71s/it]
+
hellaswag_sv:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 197/286 [27:25<12:54,  8.71s/it]
+
hellaswag_sv:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 198/286 [27:34<12:46,  8.71s/it]
+
hellaswag_sv:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 199/286 [27:42<12:15,  8.45s/it]
+
hellaswag_sv:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 200/286 [27:50<11:53,  8.30s/it]
+
hellaswag_sv:  70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 201/286 [27:58<11:36,  8.19s/it]
+
hellaswag_sv:  71%|███████████████████████████████████████████████████████████████████████████████                                 | 202/286 [28:06<11:36,  8.30s/it]
+
hellaswag_sv:  71%|███████████████████████████████████████████████████████████████████████████████▍                                | 203/286 [28:14<11:22,  8.23s/it]
+
hellaswag_sv:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 204/286 [28:22<11:06,  8.13s/it]
+
hellaswag_sv:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 205/286 [28:30<10:55,  8.09s/it]
+
hellaswag_sv:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 206/286 [28:39<10:57,  8.21s/it]
+
hellaswag_sv:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 207/286 [28:47<10:42,  8.13s/it]
+
hellaswag_sv:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 208/286 [28:55<10:34,  8.13s/it]
+
hellaswag_sv:  73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 209/286 [29:04<10:40,  8.31s/it]
+
hellaswag_sv:  73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 210/286 [29:13<10:51,  8.57s/it]
+
hellaswag_sv:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 211/286 [29:21<10:29,  8.39s/it]
+
hellaswag_sv:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 212/286 [29:29<10:13,  8.28s/it]
+
hellaswag_sv:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 213/286 [29:37<09:58,  8.19s/it]
+
hellaswag_sv:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 214/286 [29:45<09:47,  8.17s/it]
+
hellaswag_sv:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 215/286 [29:53<09:43,  8.22s/it]
+
hellaswag_sv:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 216/286 [30:01<09:33,  8.20s/it]
+
hellaswag_sv:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 217/286 [30:10<09:36,  8.36s/it]
+
hellaswag_sv:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 218/286 [30:18<09:23,  8.29s/it]
+
hellaswag_sv:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 219/286 [30:27<09:19,  8.34s/it]
+
hellaswag_sv:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 220/286 [30:35<09:03,  8.23s/it]
+
hellaswag_sv:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 221/286 [30:43<08:56,  8.26s/it]
+
hellaswag_sv:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 222/286 [30:52<09:02,  8.48s/it]
+
hellaswag_sv:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 223/286 [31:00<08:43,  8.31s/it]
+
hellaswag_sv:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 224/286 [31:08<08:28,  8.20s/it]
+
hellaswag_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 225/286 [31:16<08:15,  8.12s/it]
+
hellaswag_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 226/286 [31:24<08:16,  8.28s/it]
+
hellaswag_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 227/286 [31:33<08:16,  8.42s/it]
+
hellaswag_sv:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 228/286 [31:42<08:12,  8.49s/it]
+
hellaswag_sv:  80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 229/286 [31:50<08:05,  8.52s/it]
+
hellaswag_sv:  80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 230/286 [31:59<07:54,  8.48s/it]
+
hellaswag_sv:  81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 231/286 [32:07<07:40,  8.37s/it]
+
hellaswag_sv:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 232/286 [32:15<07:27,  8.28s/it]
+
hellaswag_sv:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 233/286 [32:23<07:14,  8.19s/it]
+
hellaswag_sv:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 234/286 [32:31<07:09,  8.26s/it]
+
hellaswag_sv:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 235/286 [32:40<07:01,  8.26s/it]
+
hellaswag_sv:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 236/286 [32:48<06:48,  8.18s/it]
+
hellaswag_sv:  83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 237/286 [32:56<06:37,  8.12s/it]
+
hellaswag_sv:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 238/286 [33:04<06:28,  8.10s/it]
+
hellaswag_sv:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 239/286 [33:12<06:20,  8.10s/it]
+
hellaswag_sv:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 240/286 [33:20<06:19,  8.26s/it]
+
hellaswag_sv:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 241/286 [33:29<06:14,  8.32s/it]
+
hellaswag_sv:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 242/286 [33:37<06:01,  8.22s/it]
+
hellaswag_sv:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 243/286 [33:45<05:53,  8.22s/it]
+
hellaswag_sv:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 244/286 [33:53<05:41,  8.13s/it]
+
hellaswag_sv:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 245/286 [34:01<05:31,  8.08s/it]
+
hellaswag_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▎               | 246/286 [34:09<05:21,  8.03s/it]
+
hellaswag_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋               | 247/286 [34:17<05:19,  8.19s/it]
+
hellaswag_sv:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████               | 248/286 [34:26<05:14,  8.28s/it]
+
hellaswag_sv:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 249/286 [34:34<05:01,  8.15s/it]
+
hellaswag_sv:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉              | 250/286 [34:42<04:51,  8.10s/it]
+
hellaswag_sv:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎             | 251/286 [34:50<04:51,  8.32s/it]
+
hellaswag_sv:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋             | 252/286 [34:59<04:40,  8.26s/it]
+
hellaswag_sv:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 253/286 [35:07<04:29,  8.17s/it]
+
hellaswag_sv:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍            | 254/286 [35:15<04:24,  8.26s/it]
+
hellaswag_sv:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊            | 255/286 [35:24<04:19,  8.37s/it]
+
hellaswag_sv:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 256/286 [35:32<04:07,  8.26s/it]
+
hellaswag_sv:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 257/286 [35:40<03:57,  8.19s/it]
+
hellaswag_sv:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 258/286 [35:48<03:54,  8.36s/it]
+
hellaswag_sv:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 259/286 [35:56<03:43,  8.27s/it]
+
hellaswag_sv:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 260/286 [36:05<03:40,  8.46s/it]
+
hellaswag_sv:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 261/286 [36:14<03:32,  8.52s/it]
+
hellaswag_sv:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 262/286 [36:23<03:25,  8.56s/it]
+
hellaswag_sv:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 263/286 [36:31<03:13,  8.42s/it]
+
hellaswag_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 264/286 [36:39<03:03,  8.33s/it]
+
hellaswag_sv:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 265/286 [36:47<02:53,  8.25s/it]
+
hellaswag_sv:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 266/286 [36:55<02:42,  8.13s/it]
+
hellaswag_sv:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 267/286 [37:03<02:33,  8.07s/it]
+
hellaswag_sv:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 268/286 [37:11<02:25,  8.06s/it]
+
hellaswag_sv:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 269/286 [37:19<02:18,  8.17s/it]
+
hellaswag_sv:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 270/286 [37:27<02:09,  8.11s/it]
+
hellaswag_sv:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 271/286 [37:35<02:00,  8.06s/it]
+
hellaswag_sv:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 272/286 [37:44<01:56,  8.33s/it]
+
hellaswag_sv:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 273/286 [37:53<01:48,  8.38s/it]
+
hellaswag_sv:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 274/286 [38:01<01:39,  8.26s/it]
+
hellaswag_sv:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 275/286 [38:09<01:29,  8.17s/it]
+
hellaswag_sv:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 276/286 [38:17<01:21,  8.18s/it]
+
hellaswag_sv:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 277/286 [38:25<01:14,  8.30s/it]
+
hellaswag_sv:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 278/286 [38:34<01:06,  8.34s/it]
+
hellaswag_sv:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 279/286 [38:42<00:57,  8.25s/it]
+
hellaswag_sv:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 280/286 [38:50<00:49,  8.22s/it]
+
hellaswag_sv:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 281/286 [38:59<00:41,  8.37s/it]
+
hellaswag_sv:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 282/286 [39:07<00:34,  8.50s/it]
+
hellaswag_sv:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 283/286 [39:16<00:25,  8.37s/it]
+
hellaswag_sv:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 284/286 [39:23<00:16,  8.22s/it]
+
hellaswag_sv: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 285/286 [39:32<00:08,  8.24s/it]
+
hellaswag_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 286/286 [39:37<00:00,  7.25s/it]
hellaswag_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 286/286 [39:37<00:00,  8.31s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sv_acc 0.5042753782065337
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_sv_acc_norm 0.6817583863187897
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 09:09:07,085 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 09:09:07,085 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:07,213 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 09:09:07,214 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:07,341 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 09:09:07,342 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:07,469 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 09:09:07,471 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 09:09:07,471 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 09:09:07,600 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 09:09:07,600 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sv_acc'}
+2024-05-30 09:09:07,665 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 09:09:07,665 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1191, 'value': 0.5042753782065337}
+2024-05-30 09:09:07,730 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 09:09:08,366 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 09:09:08,366 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:08,491 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 09:09:08,491 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:08,615 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 09:09:08,615 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:08,739 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 09:09:08,740 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 09:09:08,740 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 09:09:08,865 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 09:09:08,865 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_sv_acc_norm'}
+2024-05-30 09:09:08,929 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 09:09:08,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1192, 'value': 0.6817583863187897}
+2024-05-30 09:09:08,991 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  46%|█████████████████████████████████████████████████▋                                                          | 57/124 [26:21:38<51:14:59, 2753.72s/it]['hellaswag_ta']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 09:09:09,660 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 09:09:09,660 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:09,793 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 09:09:09,793 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:09,925 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 09:09:09,925 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 09:09:10,058 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_ta'}
+2024-05-30 09:09:10,192 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_ta task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  5.72 examples/s]
+
Generating validation split: 2000 examples [00:00, 7788.14 examples/s]
+
Generating validation split: 3679 examples [00:00, 11004.05 examples/s]
+
Generating validation split: 5100 examples [00:00, 12086.66 examples/s]
+
Generating validation split: 7000 examples [00:00, 13299.85 examples/s]
Generating validation split: 8413 examples [00:00, 11381.36 examples/s]
+Loaded 8413 examples
+Running loglikelihood requests
+
+
hellaswag_ta:   0%|                                                                                                                          | 0/263 [00:00<?, ?it/s]
+
hellaswag_ta:   0%|▍                                                                                                               | 1/263 [00:22<1:36:04, 22.00s/it]
+
hellaswag_ta:   1%|▊                                                                                                               | 2/263 [00:44<1:35:50, 22.03s/it]
+
hellaswag_ta:   1%|█▎                                                                                                              | 3/263 [01:05<1:34:55, 21.91s/it]
+
hellaswag_ta:   2%|█▋                                                                                                              | 4/263 [01:29<1:37:05, 22.49s/it]
+
hellaswag_ta:   2%|██▏                                                                                                             | 5/263 [01:52<1:38:27, 22.90s/it]
+
hellaswag_ta:   2%|██▌                                                                                                             | 6/263 [02:18<1:42:16, 23.88s/it]
+
hellaswag_ta:   3%|██▉                                                                                                             | 7/263 [02:41<1:40:07, 23.47s/it]
+
hellaswag_ta:   3%|███▍                                                                                                            | 8/263 [03:04<1:39:23, 23.39s/it]
+
hellaswag_ta:   3%|███▊                                                                                                            | 9/263 [03:27<1:39:00, 23.39s/it]
+
hellaswag_ta:   4%|████▏                                                                                                          | 10/263 [03:50<1:37:53, 23.22s/it]
+
hellaswag_ta:   4%|████▋                                                                                                          | 11/263 [04:14<1:38:52, 23.54s/it]
+
hellaswag_ta:   5%|█████                                                                                                          | 12/263 [04:37<1:37:30, 23.31s/it]
+
hellaswag_ta:   5%|█████▍                                                                                                         | 13/263 [05:00<1:36:01, 23.05s/it]
+
hellaswag_ta:   5%|█████▉                                                                                                         | 14/263 [05:23<1:36:18, 23.21s/it]
+
hellaswag_ta:   6%|██████▎                                                                                                        | 15/263 [05:47<1:36:15, 23.29s/it]
+
hellaswag_ta:   6%|██████▊                                                                                                        | 16/263 [06:08<1:33:07, 22.62s/it]
+
hellaswag_ta:   6%|███████▏                                                                                                       | 17/263 [06:30<1:31:38, 22.35s/it]
+
hellaswag_ta:   7%|███████▌                                                                                                       | 18/263 [06:52<1:31:40, 22.45s/it]
+
hellaswag_ta:   7%|████████                                                                                                       | 19/263 [07:16<1:33:02, 22.88s/it]
+
hellaswag_ta:   8%|████████▍                                                                                                      | 20/263 [07:38<1:30:57, 22.46s/it]
+
hellaswag_ta:   8%|████████▊                                                                                                      | 21/263 [08:00<1:30:18, 22.39s/it]
+
hellaswag_ta:   8%|█████████▎                                                                                                     | 22/263 [08:22<1:29:42, 22.34s/it]
+
hellaswag_ta:   9%|█████████▋                                                                                                     | 23/263 [08:45<1:29:53, 22.47s/it]
+
hellaswag_ta:   9%|██████████▏                                                                                                    | 24/263 [09:04<1:26:06, 21.62s/it]
+
hellaswag_ta:  10%|██████████▌                                                                                                    | 25/263 [09:29<1:28:44, 22.37s/it]
+
hellaswag_ta:  10%|██████████▉                                                                                                    | 26/263 [09:54<1:31:41, 23.21s/it]
+
hellaswag_ta:  10%|███████████▍                                                                                                   | 27/263 [10:18<1:31:59, 23.39s/it]
+
hellaswag_ta:  11%|███████████▊                                                                                                   | 28/263 [10:40<1:30:17, 23.05s/it]
+
hellaswag_ta:  11%|████████████▏                                                                                                  | 29/263 [11:03<1:29:52, 23.05s/it]
+
hellaswag_ta:  11%|████████████▋                                                                                                  | 30/263 [11:24<1:27:34, 22.55s/it]
+
hellaswag_ta:  12%|█████████████                                                                                                  | 31/263 [11:45<1:25:37, 22.14s/it]
+
hellaswag_ta:  12%|█████████████▌                                                                                                 | 32/263 [12:07<1:25:06, 22.11s/it]
+
hellaswag_ta:  13%|█████████████▉                                                                                                 | 33/263 [12:29<1:23:50, 21.87s/it]
+
hellaswag_ta:  13%|██████████████▎                                                                                                | 34/263 [12:52<1:25:07, 22.30s/it]
+
hellaswag_ta:  13%|██████████████▊                                                                                                | 35/263 [13:15<1:25:32, 22.51s/it]
+
hellaswag_ta:  14%|███████████████▏                                                                                               | 36/263 [13:37<1:24:39, 22.38s/it]
+
hellaswag_ta:  14%|███████████████▌                                                                                               | 37/263 [14:00<1:24:38, 22.47s/it]
+
hellaswag_ta:  14%|████████████████                                                                                               | 38/263 [14:24<1:25:55, 22.91s/it]
+
hellaswag_ta:  15%|████████████████▍                                                                                              | 39/263 [14:46<1:24:36, 22.66s/it]
+
hellaswag_ta:  15%|████████████████▉                                                                                              | 40/263 [15:09<1:24:52, 22.84s/it]
+
hellaswag_ta:  16%|█████████████████▎                                                                                             | 41/263 [15:32<1:24:26, 22.82s/it]
+
hellaswag_ta:  16%|█████████████████▋                                                                                             | 42/263 [15:52<1:21:24, 22.10s/it]
+
hellaswag_ta:  16%|██████████████████▏                                                                                            | 43/263 [16:16<1:22:22, 22.46s/it]
+
hellaswag_ta:  17%|██████████████████▌                                                                                            | 44/263 [16:39<1:22:47, 22.68s/it]
+
hellaswag_ta:  17%|██████████████████▉                                                                                            | 45/263 [17:02<1:22:56, 22.83s/it]
+
hellaswag_ta:  17%|███████████████████▍                                                                                           | 46/263 [17:25<1:22:22, 22.78s/it]
+
hellaswag_ta:  18%|███████████████████▊                                                                                           | 47/263 [17:48<1:22:26, 22.90s/it]
+
hellaswag_ta:  18%|████████████████████▎                                                                                          | 48/263 [18:10<1:21:44, 22.81s/it]
+
hellaswag_ta:  19%|████████████████████▋                                                                                          | 49/263 [18:32<1:19:34, 22.31s/it]
+
hellaswag_ta:  19%|█████████████████████                                                                                          | 50/263 [18:52<1:17:25, 21.81s/it]
+
hellaswag_ta:  19%|█████████████████████▌                                                                                         | 51/263 [19:14<1:17:00, 21.80s/it]
+
hellaswag_ta:  20%|█████████████████████▉                                                                                         | 52/263 [19:37<1:17:40, 22.09s/it]
+
hellaswag_ta:  20%|██████████████████████▎                                                                                        | 53/263 [19:58<1:16:18, 21.80s/it]
+
hellaswag_ta:  21%|██████████████████████▊                                                                                        | 54/263 [20:20<1:16:29, 21.96s/it]
+
hellaswag_ta:  21%|███████████████████████▏                                                                                       | 55/263 [20:42<1:15:33, 21.80s/it]
+
hellaswag_ta:  21%|███████████████████████▋                                                                                       | 56/263 [21:04<1:15:55, 22.01s/it]
+
hellaswag_ta:  22%|████████████████████████                                                                                       | 57/263 [21:24<1:13:19, 21.36s/it]
+
hellaswag_ta:  22%|████████████████████████▍                                                                                      | 58/263 [21:46<1:13:40, 21.56s/it]
+
hellaswag_ta:  22%|████████████████████████▉                                                                                      | 59/263 [22:10<1:16:02, 22.36s/it]
+
hellaswag_ta:  23%|█████████████████████████▎                                                                                     | 60/263 [22:33<1:16:16, 22.55s/it]
+
hellaswag_ta:  23%|█████████████████████████▋                                                                                     | 61/263 [22:54<1:14:34, 22.15s/it]
+
hellaswag_ta:  24%|██████████████████████████▏                                                                                    | 62/263 [23:15<1:12:43, 21.71s/it]
+
hellaswag_ta:  24%|██████████████████████████▌                                                                                    | 63/263 [23:37<1:12:59, 21.90s/it]
+
hellaswag_ta:  24%|███████████████████████████                                                                                    | 64/263 [24:01<1:13:54, 22.29s/it]
+
hellaswag_ta:  25%|███████████████████████████▍                                                                                   | 65/263 [24:26<1:16:09, 23.08s/it]
+
hellaswag_ta:  25%|███████████████████████████▊                                                                                   | 66/263 [24:49<1:16:27, 23.29s/it]
+
hellaswag_ta:  25%|████████████████████████████▎                                                                                  | 67/263 [25:10<1:13:32, 22.51s/it]
+
hellaswag_ta:  26%|████████████████████████████▋                                                                                  | 68/263 [25:31<1:11:57, 22.14s/it]
+
hellaswag_ta:  26%|█████████████████████████████                                                                                  | 69/263 [25:54<1:12:25, 22.40s/it]
+
hellaswag_ta:  27%|█████████████████████████████▌                                                                                 | 70/263 [26:17<1:12:35, 22.57s/it]
+
hellaswag_ta:  27%|█████████████████████████████▉                                                                                 | 71/263 [26:40<1:12:47, 22.75s/it]
+
hellaswag_ta:  27%|██████████████████████████████▍                                                                                | 72/263 [27:00<1:09:42, 21.90s/it]
+
hellaswag_ta:  28%|██████████████████████████████▊                                                                                | 73/263 [27:23<1:10:20, 22.21s/it]
+
hellaswag_ta:  28%|███████████████████████████████▏                                                                               | 74/263 [27:47<1:11:32, 22.71s/it]
+
hellaswag_ta:  29%|███████████████████████████████▋                                                                               | 75/263 [28:08<1:09:40, 22.24s/it]
+
hellaswag_ta:  29%|████████████████████████████████                                                                               | 76/263 [28:29<1:07:39, 21.71s/it]
+
hellaswag_ta:  29%|████████████████████████████████▍                                                                              | 77/263 [28:51<1:08:11, 22.00s/it]
+
hellaswag_ta:  30%|████████████████████████████████▉                                                                              | 78/263 [29:15<1:09:27, 22.53s/it]
+
hellaswag_ta:  30%|█████████████████████████████████▎                                                                             | 79/263 [29:39<1:09:53, 22.79s/it]
+
hellaswag_ta:  30%|█████████████████████████████████▊                                                                             | 80/263 [30:01<1:09:25, 22.76s/it]
+
hellaswag_ta:  31%|██████████████████████████████████▏                                                                            | 81/263 [30:25<1:09:38, 22.96s/it]
+
hellaswag_ta:  31%|██████████████████████████████████▌                                                                            | 82/263 [30:48<1:09:35, 23.07s/it]
+
hellaswag_ta:  32%|███████████████████████████████████                                                                            | 83/263 [31:11<1:09:11, 23.06s/it]
+
hellaswag_ta:  32%|███████████████████████████████████▍                                                                           | 84/263 [31:36<1:10:27, 23.62s/it]
+
hellaswag_ta:  32%|███████████████████████████████████▊                                                                           | 85/263 [32:02<1:12:12, 24.34s/it]
+
hellaswag_ta:  33%|████████████████████████████████████▎                                                                          | 86/263 [32:22<1:08:00, 23.05s/it]
+
hellaswag_ta:  33%|████████████████████████████████████▋                                                                          | 87/263 [32:46<1:08:39, 23.40s/it]
+
hellaswag_ta:  33%|█████████████████████████████████████▏                                                                         | 88/263 [33:13<1:10:46, 24.27s/it]
+
hellaswag_ta:  34%|█████████████████████████████████████▌                                                                         | 89/263 [33:34<1:08:02, 23.47s/it]
+
hellaswag_ta:  34%|█████████████████████████████████████▉                                                                         | 90/263 [33:58<1:07:41, 23.48s/it]
+
hellaswag_ta:  35%|██████████████████████████████████████▍                                                                        | 91/263 [34:21<1:07:23, 23.51s/it]
+
hellaswag_ta:  35%|██████████████████████████████████████▊                                                                        | 92/263 [34:44<1:05:59, 23.15s/it]
+
hellaswag_ta:  35%|███████████████████████████████████████▎                                                                       | 93/263 [35:09<1:07:37, 23.87s/it]
+
hellaswag_ta:  36%|███████████████████████████████████████▋                                                                       | 94/263 [35:33<1:07:35, 24.00s/it]
+
hellaswag_ta:  36%|████████████████████████████████████████                                                                       | 95/263 [35:54<1:04:38, 23.09s/it]
+
hellaswag_ta:  37%|████████████████████████████████████████▌                                                                      | 96/263 [36:17<1:04:12, 23.07s/it]
+
hellaswag_ta:  37%|████████████████████████████████████████▉                                                                      | 97/263 [36:39<1:02:20, 22.53s/it]
+
hellaswag_ta:  37%|█████████████████████████████████████████▎                                                                     | 98/263 [37:02<1:02:32, 22.74s/it]
+
hellaswag_ta:  38%|█████████████████████████████████████████▊                                                                     | 99/263 [37:24<1:01:19, 22.44s/it]
+
hellaswag_ta:  38%|█████████████████████████████████████████▊                                                                    | 100/263 [37:45<1:00:07, 22.13s/it]
+
hellaswag_ta:  38%|███████████████████████████████████████████                                                                     | 101/263 [38:06<58:49, 21.79s/it]
+
hellaswag_ta:  39%|███████████████████████████████████████████▍                                                                    | 102/263 [38:29<59:00, 21.99s/it]
+
hellaswag_ta:  39%|███████████████████████████████████████████▊                                                                    | 103/263 [38:50<58:07, 21.80s/it]
+
hellaswag_ta:  40%|████████████████████████████████████████████▎                                                                   | 104/263 [39:14<59:19, 22.39s/it]
+
hellaswag_ta:  40%|████████████████████████████████████████████▋                                                                   | 105/263 [39:37<59:39, 22.66s/it]
+
hellaswag_ta:  40%|█████████████████████████████████████████████▏                                                                  | 106/263 [39:59<58:35, 22.39s/it]
+
hellaswag_ta:  41%|█████████████████████████████████████████████▌                                                                  | 107/263 [40:22<59:12, 22.77s/it]
+
hellaswag_ta:  41%|█████████████████████████████████████████████▉                                                                  | 108/263 [40:45<59:04, 22.87s/it]
+
hellaswag_ta:  41%|█████████████████████████████████████████████▌                                                                | 109/263 [41:11<1:00:24, 23.54s/it]
+
hellaswag_ta:  42%|██████████████████████████████████████████████▊                                                                 | 110/263 [41:32<58:46, 23.05s/it]
+
hellaswag_ta:  42%|███████████████████████████████████████████████▎                                                                | 111/263 [41:55<57:56, 22.87s/it]
+
hellaswag_ta:  43%|███████████████████████████████████████████████▋                                                                | 112/263 [42:16<56:10, 22.32s/it]
+
hellaswag_ta:  43%|████████████████████████████████████████████████                                                                | 113/263 [42:37<55:08, 22.05s/it]
+
hellaswag_ta:  43%|████████████████████████████████████████████████▌                                                               | 114/263 [43:02<56:33, 22.78s/it]
+
hellaswag_ta:  44%|████████████████████████████████████████████████▉                                                               | 115/263 [43:23<55:07, 22.35s/it]
+
hellaswag_ta:  44%|█████████████████████████████████████████████████▍                                                              | 116/263 [43:45<54:07, 22.09s/it]
+
hellaswag_ta:  44%|█████████████████████████████████████████████████▊                                                              | 117/263 [44:08<54:36, 22.44s/it]
+
hellaswag_ta:  45%|██████████████████████████████████████████████████▎                                                             | 118/263 [44:30<54:10, 22.42s/it]
+
hellaswag_ta:  45%|██████████████████████████████████████████████████▋                                                             | 119/263 [44:54<54:50, 22.85s/it]
+
hellaswag_ta:  46%|███████████████████████████████████████████████████                                                             | 120/263 [45:17<54:07, 22.71s/it]
+
hellaswag_ta:  46%|███████████████████████████████████████████████████▌                                                            | 121/263 [45:40<53:56, 22.79s/it]
+
hellaswag_ta:  46%|███████████████████████████████████████████████████▉                                                            | 122/263 [46:02<53:12, 22.65s/it]
+
hellaswag_ta:  47%|████████████████████████████████████████████████████▍                                                           | 123/263 [46:24<52:48, 22.64s/it]
+
hellaswag_ta:  47%|████████████████████████████████████████████████████▊                                                           | 124/263 [46:48<53:10, 22.96s/it]
+
hellaswag_ta:  48%|█████████████████████████████████████████████████████▏                                                          | 125/263 [47:10<51:49, 22.53s/it]
+
hellaswag_ta:  48%|█████████████████████████████████████████████████████▋                                                          | 126/263 [47:35<53:13, 23.31s/it]
+
hellaswag_ta:  48%|██████████████████████████████████████████████████████                                                          | 127/263 [47:58<53:01, 23.39s/it]
+
hellaswag_ta:  49%|██████████████████████████████████████████████████████▌                                                         | 128/263 [48:22<52:27, 23.31s/it]
+
hellaswag_ta:  49%|██████████████████████████████████████████████████████▉                                                         | 129/263 [48:44<51:21, 23.00s/it]
+
hellaswag_ta:  49%|███████████████████████████████████████████████████████▎                                                        | 130/263 [49:06<50:37, 22.84s/it]
+
hellaswag_ta:  50%|███████████████████████████████████████████████████████▊                                                        | 131/263 [49:27<48:59, 22.27s/it]
+
hellaswag_ta:  50%|████████████████████████████████████████████████████████▏                                                       | 132/263 [49:50<48:40, 22.29s/it]
+
hellaswag_ta:  51%|████████████████████████████████████████████████████████▋                                                       | 133/263 [50:12<48:24, 22.34s/it]
+
hellaswag_ta:  51%|█████████████████████████████████████████████████████████                                                       | 134/263 [50:33<47:01, 21.87s/it]
+
hellaswag_ta:  51%|█████████████████████████████████████████████████████████▍                                                      | 135/263 [50:55<46:45, 21.92s/it]
+
hellaswag_ta:  52%|█████████████████████████████████████████████████████████▉                                                      | 136/263 [51:18<47:04, 22.24s/it]
+
hellaswag_ta:  52%|██████████████████████████████████████████████████████████▎                                                     | 137/263 [51:41<47:32, 22.64s/it]
+
hellaswag_ta:  52%|██████████████████████████████████████████████████████████▊                                                     | 138/263 [52:03<46:39, 22.40s/it]
+
hellaswag_ta:  53%|███████████████████████████████████████████████████████████▏                                                    | 139/263 [52:25<45:54, 22.21s/it]
+
hellaswag_ta:  53%|███████████████████████████████████████████████████████████▌                                                    | 140/263 [52:48<45:47, 22.33s/it]
+
hellaswag_ta:  54%|████████████████████████████████████████████████████████████                                                    | 141/263 [53:12<46:25, 22.83s/it]
+
hellaswag_ta:  54%|████████████████████████████████████████████████████████████▍                                                   | 142/263 [53:34<45:47, 22.71s/it]
+
hellaswag_ta:  54%|████████████████████████████████████████████████████████████▉                                                   | 143/263 [53:56<44:52, 22.44s/it]
+
hellaswag_ta:  55%|█████████████████████████████████████████████████████████████▎                                                  | 144/263 [54:20<45:39, 23.02s/it]
+
hellaswag_ta:  55%|█████████████████████████████████████████████████████████████▋                                                  | 145/263 [54:43<44:58, 22.87s/it]
+
hellaswag_ta:  56%|██████████████████████████████████████████████████████████████▏                                                 | 146/263 [55:04<43:38, 22.38s/it]
+
hellaswag_ta:  56%|██████████████████████████████████████████████████████████████▌                                                 | 147/263 [55:26<43:17, 22.40s/it]
+
hellaswag_ta:  56%|███████████████████████████████████████████████████████████████                                                 | 148/263 [55:47<42:07, 21.98s/it]
+
hellaswag_ta:  57%|███████████████████████████████████████████████████████████████▍                                                | 149/263 [56:10<41:51, 22.03s/it]
+
hellaswag_ta:  57%|███████████████████████████████████████████████████████████████▉                                                | 150/263 [56:33<42:05, 22.35s/it]
+
hellaswag_ta:  57%|████████████████████████████████████████████████████████████████▎                                               | 151/263 [56:53<40:33, 21.73s/it]
+
hellaswag_ta:  58%|████████████████████████████████████████████████████████████████▋                                               | 152/263 [57:18<41:47, 22.59s/it]
+
hellaswag_ta:  58%|█████████████████████████████████████████████████████████████████▏                                              | 153/263 [57:40<41:37, 22.70s/it]
+
hellaswag_ta:  59%|█████████████████████████████████████████████████████████████████▌                                              | 154/263 [58:05<42:04, 23.16s/it]
+
hellaswag_ta:  59%|██████████████████████████████████████████████████████████████████                                              | 155/263 [58:26<40:31, 22.51s/it]
+
hellaswag_ta:  59%|██████████████████████████████████████████████████████████████████▍                                             | 156/263 [58:47<39:32, 22.17s/it]
+
hellaswag_ta:  60%|██████████████████████████████████████████████████████████████████▊                                             | 157/263 [59:09<39:02, 22.10s/it]
+
hellaswag_ta:  60%|███████████████████████████████████████████████████████████████████▎                                            | 158/263 [59:33<39:40, 22.67s/it]
+
hellaswag_ta:  60%|███████████████████████████████████████████████████████████████████▋                                            | 159/263 [59:55<38:50, 22.41s/it]
+
hellaswag_ta:  61%|██████████████████████████████████████████████████████████████████▉                                           | 160/263 [1:00:17<38:12, 22.25s/it]
+
hellaswag_ta:  61%|███████████████████████████████████████████████████████████████████▎                                          | 161/263 [1:00:40<38:21, 22.56s/it]
+
hellaswag_ta:  62%|███████████████████████████████████████████████████████████████████▊                                          | 162/263 [1:01:01<37:22, 22.20s/it]
+
hellaswag_ta:  62%|████████████████████████████████████████████████████████████████████▏                                         | 163/263 [1:01:23<36:31, 21.91s/it]
+
hellaswag_ta:  62%|████████████████████████████████████████████████████████████████████▌                                         | 164/263 [1:01:45<36:35, 22.17s/it]
+
hellaswag_ta:  63%|█████████████████████████████████████████████████████████████████████                                         | 165/263 [1:02:08<36:36, 22.42s/it]
+
hellaswag_ta:  63%|█████████████████████████████████████████████████████████████████████▍                                        | 166/263 [1:02:31<36:13, 22.41s/it]
+
hellaswag_ta:  63%|█████████████████████████████████████████████████████████████████████▊                                        | 167/263 [1:02:54<36:04, 22.55s/it]
+
hellaswag_ta:  64%|██████████████████████████████████████████████████████████████████████▎                                       | 168/263 [1:03:15<34:55, 22.06s/it]
+
hellaswag_ta:  64%|██████████████████████████████████████████████████████████████████████▋                                       | 169/263 [1:03:37<34:48, 22.22s/it]
+
hellaswag_ta:  65%|███████████████████████████████████████████████████████████████████████                                       | 170/263 [1:04:01<35:01, 22.60s/it]
+
hellaswag_ta:  65%|███████████████████████████████████████████████████████████████████████▌                                      | 171/263 [1:04:25<35:16, 23.01s/it]
+
hellaswag_ta:  65%|███████████████████████████████████████████████████████████████████████▉                                      | 172/263 [1:04:47<34:39, 22.85s/it]
+
hellaswag_ta:  66%|████████████████████████████████████████████████████████████████████████▎                                     | 173/263 [1:05:12<35:19, 23.55s/it]
+
hellaswag_ta:  66%|████████████████████████████████████████████████████████████████████████▊                                     | 174/263 [1:05:34<34:04, 22.97s/it]
+
hellaswag_ta:  67%|█████████████████████████████████████████████████████████████████████████▏                                    | 175/263 [1:05:55<33:01, 22.51s/it]
+
hellaswag_ta:  67%|█████████████████████████████████████████████████████████████████████████▌                                    | 176/263 [1:06:17<32:18, 22.29s/it]
+
hellaswag_ta:  67%|██████████████████████████████████████████████████████████████████████████                                    | 177/263 [1:06:38<31:19, 21.85s/it]
+
hellaswag_ta:  68%|██████████████████████████████████████████████████████████████████████████▍                                   | 178/263 [1:07:01<31:28, 22.22s/it]
+
hellaswag_ta:  68%|██████████████████████████████████████████████████████████████████████████▊                                   | 179/263 [1:07:25<31:56, 22.81s/it]
+
hellaswag_ta:  68%|███████████████████████████████████████████████████████████████████████████▎                                  | 180/263 [1:07:51<32:36, 23.57s/it]
+
hellaswag_ta:  69%|███████████████████████████████████████████████████████████████████████████▋                                  | 181/263 [1:08:14<32:06, 23.49s/it]
+
hellaswag_ta:  69%|████████████████████████████████████████████████████████████████████████████                                  | 182/263 [1:08:36<31:04, 23.02s/it]
+
hellaswag_ta:  70%|████████████████████████████████████████████████████████████████████████████▌                                 | 183/263 [1:09:02<31:56, 23.95s/it]
+
hellaswag_ta:  70%|████████████████████████████████████████████████████████████████████████████▉                                 | 184/263 [1:09:23<30:30, 23.17s/it]
+
hellaswag_ta:  70%|█████████████████████████████████████████████████████████████████████████████▍                                | 185/263 [1:09:46<30:04, 23.13s/it]
+
hellaswag_ta:  71%|█████████████████████████████████████████████████████████████████████████████▊                                | 186/263 [1:10:08<29:03, 22.64s/it]
+
hellaswag_ta:  71%|██████████████████████████████████████████████████████████████████████████████▏                               | 187/263 [1:10:30<28:42, 22.66s/it]
+
hellaswag_ta:  71%|██████████████████████████████████████████████████████████████████████████████▋                               | 188/263 [1:10:53<28:11, 22.55s/it]
+
hellaswag_ta:  72%|███████████████████████████████████████████████████████████████████████████████                               | 189/263 [1:11:16<27:55, 22.64s/it]
+
hellaswag_ta:  72%|███████████████████████████████████████████████████████████████████████████████▍                              | 190/263 [1:11:40<28:11, 23.17s/it]
+
hellaswag_ta:  73%|███████████████████████████████████████████████████████████████████████████████▉                              | 191/263 [1:12:01<27:07, 22.60s/it]
+
hellaswag_ta:  73%|████████████████████████████████████████████████████████████████████████████████▎                             | 192/263 [1:12:24<26:44, 22.60s/it]
+
hellaswag_ta:  73%|████████████████████████████████████████████████████████████████████████████████▋                             | 193/263 [1:12:44<25:35, 21.93s/it]
+
hellaswag_ta:  74%|█████████████████████████████████████████████████████████████████████████████████▏                            | 194/263 [1:13:04<24:35, 21.39s/it]
+
hellaswag_ta:  74%|█████████████████████████████████████████████████████████████████████████████████▌                            | 195/263 [1:13:26<24:17, 21.43s/it]
+
hellaswag_ta:  75%|█████████████████████████████████████████████████████████████████████████████████▉                            | 196/263 [1:13:47<23:50, 21.36s/it]
+
hellaswag_ta:  75%|██████████████████████████████████████████████████████████████████████████████████▍                           | 197/263 [1:14:12<24:32, 22.30s/it]
+
hellaswag_ta:  75%|██████████████████████████████████████████████████████████████████████████████████▊                           | 198/263 [1:14:34<24:10, 22.31s/it]
+
hellaswag_ta:  76%|███████████████████████████████████████████████████████████████████████████████████▏                          | 199/263 [1:14:55<23:29, 22.02s/it]
+
hellaswag_ta:  76%|███████████████████████████████████████████████████████████████████████████████████▋                          | 200/263 [1:15:18<23:28, 22.36s/it]
+
hellaswag_ta:  76%|████████████████████████████████████████████████████████████████████████████████████                          | 201/263 [1:15:42<23:23, 22.64s/it]
+
hellaswag_ta:  77%|████████████████████████████████████████████████████████████████████████████████████▍                         | 202/263 [1:16:04<23:01, 22.64s/it]
+
hellaswag_ta:  77%|████████████████████████████████████████████████████████████████████████████████████▉                         | 203/263 [1:16:27<22:29, 22.49s/it]
+
hellaswag_ta:  78%|█████████████████████████████████████████████████████████████████████████████████████▎                        | 204/263 [1:16:49<22:14, 22.61s/it]
+
hellaswag_ta:  78%|█████████████████████████████████████████████████████████████████████████████████████▋                        | 205/263 [1:17:14<22:19, 23.10s/it]
+
hellaswag_ta:  78%|██████████████████████████████████████████████████████████████████████████████████████▏                       | 206/263 [1:17:36<21:47, 22.94s/it]
+
hellaswag_ta:  79%|██████████████████████████████████████████████████████████████████████████████████████▌                       | 207/263 [1:17:57<20:49, 22.31s/it]
+
hellaswag_ta:  79%|██████████████████████████████████████████████████████████████████████████████████████▉                       | 208/263 [1:18:21<21:01, 22.93s/it]
+
hellaswag_ta:  79%|███████████████████████████████████████████████████████████████████████████████████████▍                      | 209/263 [1:18:45<20:47, 23.10s/it]
+
hellaswag_ta:  80%|███████████████████████████████████████████████████████████████████████████████████████▊                      | 210/263 [1:19:06<19:44, 22.36s/it]
+
hellaswag_ta:  80%|████████████████████████████████████████████████████████████████████████████████████████▎                     | 211/263 [1:19:29<19:34, 22.59s/it]
+
hellaswag_ta:  81%|████████████████████████████████████████████████████████████████████████████████████████▋                     | 212/263 [1:19:52<19:21, 22.77s/it]
+
hellaswag_ta:  81%|█████████████████████████████████████████████████████████████████████████████████████████                     | 213/263 [1:20:16<19:15, 23.11s/it]
+
hellaswag_ta:  81%|█████████████████████████████████████████████████████████████████████████████████████████▌                    | 214/263 [1:20:36<18:06, 22.17s/it]
+
hellaswag_ta:  82%|█████████████████████████████████████████████████████████████████████████████████████████▉                    | 215/263 [1:20:58<17:51, 22.32s/it]
+
hellaswag_ta:  82%|██████████████████████████████████████████████████████████████████████████████████████████▎                   | 216/263 [1:21:21<17:32, 22.39s/it]
+
hellaswag_ta:  83%|██████████████████████████████████████████████████████████████████████████████████████████▊                   | 217/263 [1:21:45<17:25, 22.73s/it]
+
hellaswag_ta:  83%|███████████████████████████████████████████████████████████████████████████████████████████▏                  | 218/263 [1:22:06<16:45, 22.35s/it]
+
hellaswag_ta:  83%|███████████████████████████████████████████████████████████████████████████████████████████▌                  | 219/263 [1:22:26<15:57, 21.75s/it]
+
hellaswag_ta:  84%|████████████████████████████████████████████████████████████████████████████████████████████                  | 220/263 [1:22:49<15:44, 21.97s/it]
+
hellaswag_ta:  84%|████████████████████████████████████████████████████████████████████████████████████████████▍                 | 221/263 [1:23:11<15:30, 22.16s/it]
+
hellaswag_ta:  84%|████████████████████████████████████████████████████████████████████████████████████████████▊                 | 222/263 [1:23:31<14:36, 21.38s/it]
+
hellaswag_ta:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▎                | 223/263 [1:23:54<14:37, 21.94s/it]
+
hellaswag_ta:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▋                | 224/263 [1:24:17<14:26, 22.21s/it]
+
hellaswag_ta:  86%|██████████████████████████████████████████████████████████████████████████████████████████████                | 225/263 [1:24:44<14:53, 23.51s/it]
+
hellaswag_ta:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▌               | 226/263 [1:25:07<14:31, 23.55s/it]
+
hellaswag_ta:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▉               | 227/263 [1:25:31<14:09, 23.59s/it]
+
hellaswag_ta:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▎              | 228/263 [1:25:52<13:22, 22.92s/it]
+
hellaswag_ta:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▊              | 229/263 [1:26:16<13:04, 23.06s/it]
+
hellaswag_ta:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▏             | 230/263 [1:26:38<12:31, 22.76s/it]
+
hellaswag_ta:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▌             | 231/263 [1:27:00<12:07, 22.75s/it]
+
hellaswag_ta:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████             | 232/263 [1:27:23<11:42, 22.68s/it]
+
hellaswag_ta:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▍            | 233/263 [1:27:47<11:33, 23.12s/it]
+
hellaswag_ta:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▊            | 234/263 [1:28:11<11:16, 23.32s/it]
+
hellaswag_ta:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎           | 235/263 [1:28:36<11:06, 23.80s/it]
+
hellaswag_ta:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋           | 236/263 [1:29:00<10:45, 23.92s/it]
+
hellaswag_ta:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▏          | 237/263 [1:29:22<10:04, 23.26s/it]
+
hellaswag_ta:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▌          | 238/263 [1:29:44<09:33, 22.94s/it]
+
hellaswag_ta:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉          | 239/263 [1:30:09<09:27, 23.64s/it]
+
hellaswag_ta:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 240/263 [1:30:30<08:44, 22.81s/it]
+
hellaswag_ta:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 241/263 [1:30:52<08:17, 22.61s/it]
+
hellaswag_ta:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 242/263 [1:31:13<07:40, 21.91s/it]
+
hellaswag_ta:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 243/263 [1:31:35<07:20, 22.02s/it]
+
hellaswag_ta:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████        | 244/263 [1:31:58<07:02, 22.25s/it]
+
hellaswag_ta:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 245/263 [1:32:18<06:33, 21.84s/it]
+
hellaswag_ta:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 246/263 [1:32:41<06:12, 21.92s/it]
+
hellaswag_ta:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 247/263 [1:33:04<05:57, 22.36s/it]
+
hellaswag_ta:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 248/263 [1:33:27<05:36, 22.46s/it]
+
hellaswag_ta:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 249/263 [1:33:51<05:20, 22.90s/it]
+
hellaswag_ta:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 250/263 [1:34:15<05:05, 23.49s/it]
+
hellaswag_ta:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 251/263 [1:34:38<04:37, 23.15s/it]
+
hellaswag_ta:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 252/263 [1:34:58<04:06, 22.39s/it]
+
hellaswag_ta:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 253/263 [1:35:21<03:43, 22.38s/it]
+
hellaswag_ta:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 254/263 [1:35:43<03:21, 22.34s/it]
+
hellaswag_ta:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 255/263 [1:36:07<03:03, 22.89s/it]
+
hellaswag_ta:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████   | 256/263 [1:36:29<02:37, 22.55s/it]
+
hellaswag_ta:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 257/263 [1:36:53<02:17, 22.93s/it]
+
hellaswag_ta:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 258/263 [1:37:16<01:55, 23.04s/it]
+
hellaswag_ta:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 259/263 [1:37:39<01:31, 22.97s/it]
+
hellaswag_ta:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 260/263 [1:38:04<01:10, 23.47s/it]
+
hellaswag_ta:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 261/263 [1:38:24<00:45, 22.63s/it]
+
hellaswag_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 262/263 [1:38:48<00:22, 22.91s/it]
+
hellaswag_ta: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [1:39:09<00:00, 22.27s/it]
hellaswag_ta: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [1:39:09<00:00, 22.62s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ta_acc 0.2544871032925235
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_ta_acc_norm 0.2845596101271841
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 10:48:22,038 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 10:48:22,038 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:22,159 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 10:48:22,159 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:22,280 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 10:48:22,280 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:22,401 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 10:48:22,402 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 10:48:22,402 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 10:48:22,524 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 10:48:22,524 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_ta_acc'}
+2024-05-30 10:48:22,585 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 10:48:22,585 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1193, 'value': 0.2544871032925235}
+2024-05-30 10:48:22,647 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 10:48:23,270 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 10:48:23,270 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:23,393 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 10:48:23,393 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:23,516 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 10:48:23,516 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:23,639 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 10:48:23,640 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 10:48:23,640 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 10:48:23,763 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 10:48:23,763 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_ta_acc_norm'}
+2024-05-30 10:48:23,826 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 10:48:23,826 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1194, 'value': 0.2845596101271841}
+2024-05-30 10:48:23,888 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  47%|██████████████████████████████████████████████████▌                                                         | 58/124 [28:00:53<68:05:28, 3714.07s/it]['hellaswag_te']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 10:48:24,540 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 10:48:24,540 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:24,668 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 10:48:24,668 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:24,796 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 10:48:24,796 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 10:48:24,925 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 10:48:24,926 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 10:48:24,926 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'hellaswag_te'}
+2024-05-30 10:48:25,055 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_te task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  4.06 examples/s]
+
Generating validation split: 2000 examples [00:00, 6582.48 examples/s]
+
Generating validation split: 3716 examples [00:00, 9963.20 examples/s]
+
Generating validation split: 5185 examples [00:00, 11444.90 examples/s]
+
Generating validation split: 7000 examples [00:00, 12868.38 examples/s]
+
Generating validation split: 8724 examples [00:00, 13677.15 examples/s]
Generating validation split: 8724 examples [00:00, 10679.60 examples/s]
+Loaded 8724 examples
+Running loglikelihood requests
+
+
hellaswag_te:   0%|                                                                                                                          | 0/273 [00:00<?, ?it/s]
+
hellaswag_te:   0%|▍                                                                                                               | 1/273 [00:17<1:21:29, 17.98s/it]
+
hellaswag_te:   1%|▊                                                                                                               | 2/273 [00:34<1:18:02, 17.28s/it]
+
hellaswag_te:   1%|█▏                                                                                                              | 3/273 [00:52<1:18:58, 17.55s/it]
+
hellaswag_te:   1%|█▋                                                                                                              | 4/273 [01:10<1:19:26, 17.72s/it]
+
hellaswag_te:   2%|██                                                                                                              | 5/273 [01:28<1:20:10, 17.95s/it]
+
hellaswag_te:   2%|██▍                                                                                                             | 6/273 [01:45<1:17:32, 17.43s/it]
+
hellaswag_te:   3%|██▊                                                                                                             | 7/273 [02:04<1:19:11, 17.86s/it]
+
hellaswag_te:   3%|███▎                                                                                                            | 8/273 [02:22<1:20:04, 18.13s/it]
+
hellaswag_te:   3%|███▋                                                                                                            | 9/273 [02:41<1:20:45, 18.35s/it]
+
hellaswag_te:   4%|████                                                                                                           | 10/273 [03:00<1:20:28, 18.36s/it]
+
hellaswag_te:   4%|████▍                                                                                                          | 11/273 [03:18<1:19:48, 18.28s/it]
+
hellaswag_te:   4%|████▉                                                                                                          | 12/273 [03:35<1:18:15, 17.99s/it]
+
hellaswag_te:   5%|█████▎                                                                                                         | 13/273 [03:52<1:17:18, 17.84s/it]
+
hellaswag_te:   5%|█████▋                                                                                                         | 14/273 [04:08<1:13:59, 17.14s/it]
+
hellaswag_te:   5%|██████                                                                                                         | 15/273 [04:25<1:13:31, 17.10s/it]
+
hellaswag_te:   6%|██████▌                                                                                                        | 16/273 [04:44<1:15:20, 17.59s/it]
+
hellaswag_te:   6%|██████▉                                                                                                        | 17/273 [05:00<1:13:01, 17.12s/it]
+
hellaswag_te:   7%|███████▎                                                                                                       | 18/273 [05:17<1:12:17, 17.01s/it]
+
hellaswag_te:   7%|███████▋                                                                                                       | 19/273 [05:35<1:13:19, 17.32s/it]
+
hellaswag_te:   7%|████████▏                                                                                                      | 20/273 [05:52<1:13:04, 17.33s/it]
+
hellaswag_te:   8%|████████▌                                                                                                      | 21/273 [06:10<1:13:58, 17.61s/it]
+
hellaswag_te:   8%|████████▉                                                                                                      | 22/273 [06:29<1:14:35, 17.83s/it]
+
hellaswag_te:   8%|█████████▎                                                                                                     | 23/273 [06:46<1:13:27, 17.63s/it]
+
hellaswag_te:   9%|█████████▊                                                                                                     | 24/273 [07:03<1:13:19, 17.67s/it]
+
hellaswag_te:   9%|██████████▏                                                                                                    | 25/273 [07:22<1:13:33, 17.80s/it]
+
hellaswag_te:  10%|██████████▌                                                                                                    | 26/273 [07:40<1:13:40, 17.90s/it]
+
hellaswag_te:  10%|██████████▉                                                                                                    | 27/273 [07:58<1:13:18, 17.88s/it]
+
hellaswag_te:  10%|███████████▍                                                                                                   | 28/273 [08:16<1:13:14, 17.94s/it]
+
hellaswag_te:  11%|███████████▊                                                                                                   | 29/273 [08:34<1:13:52, 18.16s/it]
+
hellaswag_te:  11%|████████████▏                                                                                                  | 30/273 [08:52<1:13:24, 18.13s/it]
+
hellaswag_te:  11%|████████████▌                                                                                                  | 31/273 [09:10<1:12:20, 17.94s/it]
+
hellaswag_te:  12%|█████████████                                                                                                  | 32/273 [09:28<1:12:39, 18.09s/it]
+
hellaswag_te:  12%|█████████████▍                                                                                                 | 33/273 [09:47<1:12:39, 18.17s/it]
+
hellaswag_te:  12%|█████████████▊                                                                                                 | 34/273 [10:05<1:12:59, 18.32s/it]
+
hellaswag_te:  13%|██████████████▏                                                                                                | 35/273 [10:23<1:12:02, 18.16s/it]
+
hellaswag_te:  13%|██████████████▋                                                                                                | 36/273 [10:42<1:12:20, 18.31s/it]
+
hellaswag_te:  14%|███████████████                                                                                                | 37/273 [11:00<1:11:47, 18.25s/it]
+
hellaswag_te:  14%|███████████████▍                                                                                               | 38/273 [11:17<1:10:02, 17.88s/it]
+
hellaswag_te:  14%|███████████████▊                                                                                               | 39/273 [11:34<1:09:14, 17.75s/it]
+
hellaswag_te:  15%|████████████████▎                                                                                              | 40/273 [11:52<1:08:30, 17.64s/it]
+
hellaswag_te:  15%|████████████████▋                                                                                              | 41/273 [12:10<1:08:53, 17.82s/it]
+
hellaswag_te:  15%|█████████████████                                                                                              | 42/273 [12:28<1:09:12, 17.98s/it]
+
hellaswag_te:  16%|█████████████████▍                                                                                             | 43/273 [12:47<1:09:46, 18.20s/it]
+
hellaswag_te:  16%|█████████████████▉                                                                                             | 44/273 [13:05<1:08:55, 18.06s/it]
+
hellaswag_te:  16%|██████████████████▎                                                                                            | 45/273 [13:24<1:09:39, 18.33s/it]
+
hellaswag_te:  17%|██████████████████▋                                                                                            | 46/273 [13:40<1:07:02, 17.72s/it]
+
hellaswag_te:  17%|███████████████████                                                                                            | 47/273 [13:58<1:07:31, 17.93s/it]
+
hellaswag_te:  18%|███████████████████▌                                                                                           | 48/273 [14:17<1:07:37, 18.03s/it]
+
hellaswag_te:  18%|███████████████████▉                                                                                           | 49/273 [14:33<1:05:21, 17.51s/it]
+
hellaswag_te:  18%|████████████████████▎                                                                                          | 50/273 [14:49<1:02:56, 16.94s/it]
+
hellaswag_te:  19%|████████████████████▋                                                                                          | 51/273 [15:06<1:03:38, 17.20s/it]
+
hellaswag_te:  19%|█████████████████████▏                                                                                         | 52/273 [15:24<1:03:26, 17.22s/it]
+
hellaswag_te:  19%|█████████████████████▌                                                                                         | 53/273 [15:43<1:04:56, 17.71s/it]
+
hellaswag_te:  20%|█████████████████████▉                                                                                         | 54/273 [16:00<1:04:56, 17.79s/it]
+
hellaswag_te:  20%|██████████████████████▎                                                                                        | 55/273 [16:20<1:06:06, 18.19s/it]
+
hellaswag_te:  21%|██████████████████████▊                                                                                        | 56/273 [16:37<1:04:25, 17.81s/it]
+
hellaswag_te:  21%|███████████████████████▏                                                                                       | 57/273 [16:55<1:04:39, 17.96s/it]
+
hellaswag_te:  21%|███████████████████████▌                                                                                       | 58/273 [17:12<1:03:31, 17.73s/it]
+
hellaswag_te:  22%|███████████████████████▉                                                                                       | 59/273 [17:30<1:03:57, 17.93s/it]
+
hellaswag_te:  22%|████████████████████████▍                                                                                      | 60/273 [17:48<1:03:18, 17.83s/it]
+
hellaswag_te:  22%|████████████████████████▊                                                                                      | 61/273 [18:05<1:02:16, 17.63s/it]
+
hellaswag_te:  23%|█████████████████████████▏                                                                                     | 62/273 [18:23<1:01:56, 17.61s/it]
+
hellaswag_te:  23%|█████████████████████████▌                                                                                     | 63/273 [18:41<1:01:53, 17.68s/it]
+
hellaswag_te:  23%|██████████████████████████                                                                                     | 64/273 [18:58<1:00:48, 17.45s/it]
+
hellaswag_te:  24%|██████████████████████████▍                                                                                    | 65/273 [19:15<1:00:54, 17.57s/it]
+
hellaswag_te:  24%|██████████████████████████▊                                                                                    | 66/273 [19:34<1:01:32, 17.84s/it]
+
hellaswag_te:  25%|███████████████████████████▏                                                                                   | 67/273 [19:52<1:01:34, 17.93s/it]
+
hellaswag_te:  25%|████████████████████████████▏                                                                                    | 68/273 [20:08<59:39, 17.46s/it]
+
hellaswag_te:  25%|████████████████████████████▌                                                                                    | 69/273 [20:25<58:59, 17.35s/it]
+
hellaswag_te:  26%|████████████████████████████▍                                                                                  | 70/273 [20:46<1:02:13, 18.39s/it]
+
hellaswag_te:  26%|████████████████████████████▊                                                                                  | 71/273 [21:03<1:00:10, 17.87s/it]
+
hellaswag_te:  26%|█████████████████████████████▊                                                                                   | 72/273 [21:19<58:27, 17.45s/it]
+
hellaswag_te:  27%|██████████████████████████████▏                                                                                  | 73/273 [21:37<58:42, 17.61s/it]
+
hellaswag_te:  27%|██████████████████████████████▋                                                                                  | 74/273 [21:54<57:28, 17.33s/it]
+
hellaswag_te:  27%|███████████████████████████████                                                                                  | 75/273 [22:13<59:14, 17.95s/it]
+
hellaswag_te:  28%|███████████████████████████████▍                                                                                 | 76/273 [22:30<57:53, 17.63s/it]
+
hellaswag_te:  28%|███████████████████████████████▊                                                                                 | 77/273 [22:48<57:40, 17.66s/it]
+
hellaswag_te:  29%|████████████████████████████████▎                                                                                | 78/273 [23:06<57:54, 17.82s/it]
+
hellaswag_te:  29%|████████████████████████████████▋                                                                                | 79/273 [23:25<58:09, 17.99s/it]
+
hellaswag_te:  29%|█████████████████████████████████                                                                                | 80/273 [23:42<56:56, 17.70s/it]
+
hellaswag_te:  30%|█████████████████████████████████▌                                                                               | 81/273 [24:00<57:24, 17.94s/it]
+
hellaswag_te:  30%|█████████████████████████████████▉                                                                               | 82/273 [24:19<57:53, 18.19s/it]
+
hellaswag_te:  30%|██████████████████████████████████▎                                                                              | 83/273 [24:37<57:29, 18.16s/it]
+
hellaswag_te:  31%|██████████████████████████████████▊                                                                              | 84/273 [24:57<58:38, 18.62s/it]
+
hellaswag_te:  31%|███████████████████████████████████▏                                                                             | 85/273 [25:15<57:55, 18.48s/it]
+
hellaswag_te:  32%|███████████████████████████████████▌                                                                             | 86/273 [25:33<57:38, 18.49s/it]
+
hellaswag_te:  32%|████████████████████████████████████                                                                             | 87/273 [25:51<56:26, 18.21s/it]
+
hellaswag_te:  32%|████████████████████████████████████▍                                                                            | 88/273 [26:09<55:39, 18.05s/it]
+
hellaswag_te:  33%|████████████████████████████████████▊                                                                            | 89/273 [26:25<53:46, 17.54s/it]
+
hellaswag_te:  33%|█████████████████████████████████████▎                                                                           | 90/273 [26:44<54:50, 17.98s/it]
+
hellaswag_te:  33%|█████████████████████████████████████▋                                                                           | 91/273 [27:02<54:34, 17.99s/it]
+
hellaswag_te:  34%|██████████████████████████████████████                                                                           | 92/273 [27:21<54:51, 18.18s/it]
+
hellaswag_te:  34%|██████████████████████████████████████▍                                                                          | 93/273 [27:40<55:29, 18.50s/it]
+
hellaswag_te:  34%|██████████████████████████████████████▉                                                                          | 94/273 [27:57<54:19, 18.21s/it]
+
hellaswag_te:  35%|███████████████████████████████████████▎                                                                         | 95/273 [28:14<52:26, 17.68s/it]
+
hellaswag_te:  35%|███████████████████████████████████████▋                                                                         | 96/273 [28:31<52:01, 17.64s/it]
+
hellaswag_te:  36%|████████████████████████████████████████▏                                                                        | 97/273 [28:48<50:32, 17.23s/it]
+
hellaswag_te:  36%|████████████████████████████████████████▌                                                                        | 98/273 [29:07<51:53, 17.79s/it]
+
hellaswag_te:  36%|████████████████████████████████████████▉                                                                        | 99/273 [29:24<51:21, 17.71s/it]
+
hellaswag_te:  37%|█████████████████████████████████████████                                                                       | 100/273 [29:42<50:59, 17.69s/it]
+
hellaswag_te:  37%|█████████████████████████████████████████▍                                                                      | 101/273 [29:58<49:44, 17.35s/it]
+
hellaswag_te:  37%|█████████████████████████████████████████▊                                                                      | 102/273 [30:17<50:33, 17.74s/it]
+
hellaswag_te:  38%|██████████████████████████████████████████▎                                                                     | 103/273 [30:35<50:38, 17.87s/it]
+
hellaswag_te:  38%|██████████████████████████████████████████▋                                                                     | 104/273 [30:54<50:38, 17.98s/it]
+
hellaswag_te:  38%|███████████████████████████████████████████                                                                     | 105/273 [31:12<50:48, 18.14s/it]
+
hellaswag_te:  39%|███████████████████████████████████████████▍                                                                    | 106/273 [31:29<49:43, 17.86s/it]
+
hellaswag_te:  39%|███████████████████████████████████████████▉                                                                    | 107/273 [31:46<48:25, 17.50s/it]
+
hellaswag_te:  40%|████████████████████████████████████████████▎                                                                   | 108/273 [32:04<48:39, 17.70s/it]
+
hellaswag_te:  40%|████████████████████████████████████████████▋                                                                   | 109/273 [32:22<48:16, 17.66s/it]
+
hellaswag_te:  40%|█████████████████████████████████████████████▏                                                                  | 110/273 [32:40<48:30, 17.86s/it]
+
hellaswag_te:  41%|█████████████████████████████████████████████▌                                                                  | 111/273 [32:57<47:07, 17.45s/it]
+
hellaswag_te:  41%|█████████████████████████████████████████████▉                                                                  | 112/273 [33:14<47:13, 17.60s/it]
+
hellaswag_te:  41%|██████████████████████████████████████████████▎                                                                 | 113/273 [33:33<48:04, 18.03s/it]
+
hellaswag_te:  42%|██████████████████████████████████████████████▊                                                                 | 114/273 [33:52<47:54, 18.08s/it]
+
hellaswag_te:  42%|███████████████████████████████████████████████▏                                                                | 115/273 [34:12<49:35, 18.83s/it]
+
hellaswag_te:  42%|███████████████████████████████████████████████▌                                                                | 116/273 [34:31<49:22, 18.87s/it]
+
hellaswag_te:  43%|████████████████████████████████████████████████                                                                | 117/273 [34:48<47:37, 18.32s/it]
+
hellaswag_te:  43%|████████████████████████████████████████████████▍                                                               | 118/273 [35:06<47:05, 18.23s/it]
+
hellaswag_te:  44%|████████████████████████████████████████████████▊                                                               | 119/273 [35:25<46:48, 18.23s/it]
+
hellaswag_te:  44%|█████████████████████████████████████████████████▏                                                              | 120/273 [35:41<45:31, 17.85s/it]
+
hellaswag_te:  44%|█████████████████████████████████████████████████▋                                                              | 121/273 [35:58<44:25, 17.53s/it]
+
hellaswag_te:  45%|██████████████████████████████████████████████████                                                              | 122/273 [36:17<44:42, 17.76s/it]
+
hellaswag_te:  45%|██████████████████████████████████████████████████▍                                                             | 123/273 [36:34<43:50, 17.53s/it]
+
hellaswag_te:  45%|██████████████████████████████████████████████████▊                                                             | 124/273 [36:51<43:47, 17.64s/it]
+
hellaswag_te:  46%|███████████████████████████████████████████████████▎                                                            | 125/273 [37:08<42:53, 17.39s/it]
+
hellaswag_te:  46%|███████████████████████████████████████████████████▋                                                            | 126/273 [37:25<41:53, 17.10s/it]
+
hellaswag_te:  47%|████████████████████████████████████████████████████                                                            | 127/273 [37:41<41:05, 16.89s/it]
+
hellaswag_te:  47%|████████████████████████████████████████████████████▌                                                           | 128/273 [37:59<41:26, 17.15s/it]
+
hellaswag_te:  47%|████████████████████████████████████████████████████▉                                                           | 129/273 [38:17<41:52, 17.45s/it]
+
hellaswag_te:  48%|█████████████████████████████████████████████████████▎                                                          | 130/273 [38:35<41:54, 17.59s/it]
+
hellaswag_te:  48%|█████████████████████████████████████████████████████▋                                                          | 131/273 [38:52<41:25, 17.50s/it]
+
hellaswag_te:  48%|██████████████████████████████████████████████████████▏                                                         | 132/273 [39:09<40:51, 17.38s/it]
+
hellaswag_te:  49%|██████████████████████████████████████████████████████▌                                                         | 133/273 [39:28<41:38, 17.85s/it]
+
hellaswag_te:  49%|██████████████████████████████████████████████████████▉                                                         | 134/273 [39:45<40:46, 17.60s/it]
+
hellaswag_te:  49%|███████████████████████████████████████████████████████▍                                                        | 135/273 [40:03<40:45, 17.72s/it]
+
hellaswag_te:  50%|███████████████████████████████████████████████████████▊                                                        | 136/273 [40:22<41:17, 18.08s/it]
+
hellaswag_te:  50%|████████████████████████████████████████████████████████▏                                                       | 137/273 [40:40<40:33, 17.89s/it]
+
hellaswag_te:  51%|████████████████████████████████████████████████████████▌                                                       | 138/273 [40:59<41:04, 18.26s/it]
+
hellaswag_te:  51%|█████████████████████████████████████████████████████████                                                       | 139/273 [41:16<40:10, 17.99s/it]
+
hellaswag_te:  51%|█████████████████████████████████████████████████████████▍                                                      | 140/273 [41:33<39:18, 17.73s/it]
+
hellaswag_te:  52%|█████████████████████████████████████████████████████████▊                                                      | 141/273 [41:51<38:49, 17.65s/it]
+
hellaswag_te:  52%|██████████████████████████████████████████████████████████▎                                                     | 142/273 [42:10<39:19, 18.01s/it]
+
hellaswag_te:  52%|██████████████████████████████████████████████████████████▋                                                     | 143/273 [42:28<39:33, 18.26s/it]
+
hellaswag_te:  53%|███████████████████████████████████████████████████████████                                                     | 144/273 [42:46<38:32, 17.92s/it]
+
hellaswag_te:  53%|███████████████████████████████████████████████████████████▍                                                    | 145/273 [43:04<38:22, 17.99s/it]
+
hellaswag_te:  53%|███████████████████████████████████████████████████████████▉                                                    | 146/273 [43:20<36:56, 17.45s/it]
+
hellaswag_te:  54%|████████████████████████████████████████████████████████████▎                                                   | 147/273 [43:38<36:54, 17.58s/it]
+
hellaswag_te:  54%|████████████████████████████████████████████████████████████▋                                                   | 148/273 [43:54<35:53, 17.23s/it]
+
hellaswag_te:  55%|█████████████████████████████████████████████████████████████▏                                                  | 149/273 [44:11<35:39, 17.25s/it]
+
hellaswag_te:  55%|█████████████████████████████████████████████████████████████▌                                                  | 150/273 [44:30<35:51, 17.49s/it]
+
hellaswag_te:  55%|█████████████████████████████████████████████████████████████▉                                                  | 151/273 [44:46<35:12, 17.32s/it]
+
hellaswag_te:  56%|██████████████████████████████████████████████████████████████▎                                                 | 152/273 [45:04<35:05, 17.40s/it]
+
hellaswag_te:  56%|██████████████████████████████████████████████████████████████▊                                                 | 153/273 [45:21<34:35, 17.30s/it]
+
hellaswag_te:  56%|███████████████████████████████████████████████████████████████▏                                                | 154/273 [45:39<34:56, 17.62s/it]
+
hellaswag_te:  57%|███████████████████████████████████████████████████████████████▌                                                | 155/273 [45:55<33:19, 16.94s/it]
+
hellaswag_te:  57%|████████████████████████████████████████████████████████████████                                                | 156/273 [46:11<32:51, 16.85s/it]
+
hellaswag_te:  58%|████████████████████████████████████████████████████████████████▍                                               | 157/273 [46:30<33:23, 17.27s/it]
+
hellaswag_te:  58%|████████████████████████████████████████████████████████████████▊                                               | 158/273 [46:47<33:05, 17.27s/it]
+
hellaswag_te:  58%|█████████████████████████████████████████████████████████████████▏                                              | 159/273 [47:03<32:19, 17.01s/it]
+
hellaswag_te:  59%|█████████████████████████████████████████████████████████████████▋                                              | 160/273 [47:22<32:45, 17.39s/it]
+
hellaswag_te:  59%|██████████████████████████████████████████████████████████████████                                              | 161/273 [47:39<32:40, 17.50s/it]
+
hellaswag_te:  59%|██████████████████████████████████████████████████████████████████▍                                             | 162/273 [47:57<32:11, 17.40s/it]
+
hellaswag_te:  60%|██████████████████████████████████████████████████████████████████▊                                             | 163/273 [48:14<31:39, 17.27s/it]
+
hellaswag_te:  60%|███████████████████████████████████████████████████████████████████▎                                            | 164/273 [48:30<30:46, 16.94s/it]
+
hellaswag_te:  60%|███████████████████████████████████████████████████████████████████▋                                            | 165/273 [48:49<31:51, 17.70s/it]
+
hellaswag_te:  61%|████████████████████████████████████████████████████████████████████                                            | 166/273 [49:09<32:31, 18.24s/it]
+
hellaswag_te:  61%|████████████████████████████████████████████████████████████████████▌                                           | 167/273 [49:28<32:48, 18.57s/it]
+
hellaswag_te:  62%|████████████████████████████████████████████████████████████████████▉                                           | 168/273 [49:46<32:05, 18.34s/it]
+
hellaswag_te:  62%|█████████████████████████████████████████████████████████████████████▎                                          | 169/273 [50:04<31:49, 18.36s/it]
+
hellaswag_te:  62%|█████████████████████████████████████████████████████████████████████▋                                          | 170/273 [50:23<31:50, 18.54s/it]
+
hellaswag_te:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 171/273 [50:41<31:19, 18.42s/it]
+
hellaswag_te:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 172/273 [50:59<30:22, 18.05s/it]
+
hellaswag_te:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 173/273 [51:17<30:25, 18.26s/it]
+
hellaswag_te:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 174/273 [51:36<30:07, 18.26s/it]
+
hellaswag_te:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 175/273 [51:55<30:28, 18.66s/it]
+
hellaswag_te:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 176/273 [52:13<29:39, 18.35s/it]
+
hellaswag_te:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 177/273 [52:31<29:22, 18.36s/it]
+
hellaswag_te:  65%|█████████████████████████████████████████████████████████████████████████                                       | 178/273 [52:51<29:37, 18.71s/it]
+
hellaswag_te:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 179/273 [53:08<28:31, 18.20s/it]
+
hellaswag_te:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 180/273 [53:25<28:02, 18.09s/it]
+
hellaswag_te:  66%|██████████████████████████████████████████████████████████████████████████▎                                     | 181/273 [53:45<28:22, 18.51s/it]
+
hellaswag_te:  67%|██████████████████████████████████████████████████████████████████████████▋                                     | 182/273 [54:05<28:36, 18.86s/it]
+
hellaswag_te:  67%|███████████████████████████████████████████████████████████████████████████                                     | 183/273 [54:23<28:07, 18.75s/it]
+
hellaswag_te:  67%|███████████████████████████████████████████████████████████████████████████▍                                    | 184/273 [54:42<27:59, 18.88s/it]
+
hellaswag_te:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 185/273 [55:00<27:16, 18.60s/it]
+
hellaswag_te:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 186/273 [55:19<27:10, 18.74s/it]
+
hellaswag_te:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 187/273 [55:37<26:17, 18.34s/it]
+
hellaswag_te:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 188/273 [55:54<25:26, 17.96s/it]
+
hellaswag_te:  69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 189/273 [56:11<24:45, 17.69s/it]
+
hellaswag_te:  70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 190/273 [56:29<24:34, 17.77s/it]
+
hellaswag_te:  70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 191/273 [56:47<24:37, 18.02s/it]
+
hellaswag_te:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 192/273 [57:06<24:37, 18.24s/it]
+
hellaswag_te:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 193/273 [57:24<24:20, 18.25s/it]
+
hellaswag_te:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 194/273 [57:43<23:57, 18.20s/it]
+
hellaswag_te:  71%|████████████████████████████████████████████████████████████████████████████████                                | 195/273 [58:00<23:25, 18.02s/it]
+
hellaswag_te:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 196/273 [58:18<23:01, 17.95s/it]
+
hellaswag_te:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 197/273 [58:35<22:25, 17.71s/it]
+
hellaswag_te:  73%|█████████████████████████████████████████████████████████████████████████████████▏                              | 198/273 [58:53<22:20, 17.87s/it]
+
hellaswag_te:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 199/273 [59:12<22:20, 18.11s/it]
+
hellaswag_te:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 200/273 [59:30<22:10, 18.23s/it]
+
hellaswag_te:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 201/273 [59:48<21:34, 17.98s/it]
+
hellaswag_te:  74%|█████████████████████████████████████████████████████████████████████████████████▍                            | 202/273 [1:00:06<21:13, 17.94s/it]
+
hellaswag_te:  74%|█████████████████████████████████████████████████████████████████████████████████▊                            | 203/273 [1:00:23<20:32, 17.61s/it]
+
hellaswag_te:  75%|██████████████████████████████████████████████████████████████████████████████████▏                           | 204/273 [1:00:41<20:26, 17.78s/it]
+
hellaswag_te:  75%|██████████████████████████████████████████████████████████████████████████████████▌                           | 205/273 [1:00:58<19:49, 17.49s/it]
+
hellaswag_te:  75%|███████████████████████████████████████████████████████████████████████████████████                           | 206/273 [1:01:16<19:49, 17.75s/it]
+
hellaswag_te:  76%|███████████████████████████████████████████████████████████████████████████████████▍                          | 207/273 [1:01:35<19:52, 18.08s/it]
+
hellaswag_te:  76%|███████████████████████████████████████████████████████████████████████████████████▊                          | 208/273 [1:01:53<19:39, 18.15s/it]
+
hellaswag_te:  77%|████████████████████████████████████████████████████████████████████████████████████▏                         | 209/273 [1:02:11<19:21, 18.15s/it]
+
hellaswag_te:  77%|████████████████████████████████████████████████████████████████████████████████████▌                         | 210/273 [1:02:29<18:59, 18.08s/it]
+
hellaswag_te:  77%|█████████████████████████████████████████████████████████████████████████████████████                         | 211/273 [1:02:46<18:22, 17.78s/it]
+
hellaswag_te:  78%|█████████████████████████████████████████████████████████████████████████████████████▍                        | 212/273 [1:03:05<18:19, 18.02s/it]
+
hellaswag_te:  78%|█████████████████████████████████████████████████████████████████████████████████████▊                        | 213/273 [1:03:23<17:57, 17.95s/it]
+
hellaswag_te:  78%|██████████████████████████████████████████████████████████████████████████████████████▏                       | 214/273 [1:03:42<17:57, 18.27s/it]
+
hellaswag_te:  79%|██████████████████████████████████████████████████████████████████████████████████████▋                       | 215/273 [1:03:59<17:20, 17.94s/it]
+
hellaswag_te:  79%|███████████████████████████████████████████████████████████████████████████████████████                       | 216/273 [1:04:15<16:41, 17.56s/it]
+
hellaswag_te:  79%|███████████████████████████████████████████████████████████████████████████████████████▍                      | 217/273 [1:04:33<16:19, 17.50s/it]
+
hellaswag_te:  80%|███████████████████████████████████████████████████████████████████████████████████████▊                      | 218/273 [1:04:51<16:12, 17.68s/it]
+
hellaswag_te:  80%|████████████████████████████████████████████████████████████████████████████████████████▏                     | 219/273 [1:05:08<15:47, 17.55s/it]
+
hellaswag_te:  81%|████████████████████████████████████████████████████████████████████████████████████████▋                     | 220/273 [1:05:24<15:06, 17.11s/it]
+
hellaswag_te:  81%|█████████████████████████████████████████████████████████████████████████████████████████                     | 221/273 [1:05:41<14:42, 16.98s/it]
+
hellaswag_te:  81%|█████████████████████████████████████████████████████████████████████████████████████████▍                    | 222/273 [1:06:00<14:52, 17.49s/it]
+
hellaswag_te:  82%|█████████████████████████████████████████████████████████████████████████████████████████▊                    | 223/273 [1:06:17<14:27, 17.35s/it]
+
hellaswag_te:  82%|██████████████████████████████████████████████████████████████████████████████████████████▎                   | 224/273 [1:06:33<13:55, 17.06s/it]
+
hellaswag_te:  82%|██████████████████████████████████████████████████████████████████████████████████████████▋                   | 225/273 [1:06:51<13:45, 17.20s/it]
+
hellaswag_te:  83%|███████████████████████████████████████████████████████████████████████████████████████████                   | 226/273 [1:07:08<13:28, 17.21s/it]
+
hellaswag_te:  83%|███████████████████████████████████████████████████████████████████████████████████████████▍                  | 227/273 [1:07:26<13:28, 17.58s/it]
+
hellaswag_te:  84%|███████████████████████████████████████████████████████████████████████████████████████████▊                  | 228/273 [1:07:44<13:13, 17.63s/it]
+
hellaswag_te:  84%|████████████████████████████████████████████████████████████████████████████████████████████▎                 | 229/273 [1:08:02<13:01, 17.76s/it]
+
hellaswag_te:  84%|████████████████████████████████████████████████████████████████████████████████████████████▋                 | 230/273 [1:08:20<12:45, 17.79s/it]
+
hellaswag_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████                 | 231/273 [1:08:37<12:14, 17.49s/it]
+
hellaswag_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▍                | 232/273 [1:08:56<12:17, 18.00s/it]
+
hellaswag_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▉                | 233/273 [1:09:14<12:05, 18.15s/it]
+
hellaswag_te:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▎               | 234/273 [1:09:34<11:59, 18.46s/it]
+
hellaswag_te:  86%|██████████████████████████████████████████████████████████████████████████████████████████████▋               | 235/273 [1:09:52<11:38, 18.38s/it]
+
hellaswag_te:  86%|███████████████████████████████████████████████████████████████████████████████████████████████               | 236/273 [1:10:09<11:04, 17.97s/it]
+
hellaswag_te:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▍              | 237/273 [1:10:27<10:45, 17.93s/it]
+
hellaswag_te:  87%|███████████████████████████████████████████████████████████████████████████████████████████████▉              | 238/273 [1:10:44<10:24, 17.85s/it]
+
hellaswag_te:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▎             | 239/273 [1:11:01<10:00, 17.65s/it]
+
hellaswag_te:  88%|████████████████████████████████████████████████████████████████████████████████████████████████▋             | 240/273 [1:11:20<09:54, 18.01s/it]
+
hellaswag_te:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████             | 241/273 [1:11:38<09:35, 17.98s/it]
+
hellaswag_te:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▌            | 242/273 [1:11:56<09:15, 17.93s/it]
+
hellaswag_te:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▉            | 243/273 [1:12:15<09:07, 18.26s/it]
+
hellaswag_te:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████▎           | 244/273 [1:12:32<08:42, 18.01s/it]
+
hellaswag_te:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▋           | 245/273 [1:12:49<08:13, 17.63s/it]
+
hellaswag_te:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████           | 246/273 [1:13:08<08:03, 17.92s/it]
+
hellaswag_te:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████▌          | 247/273 [1:13:27<07:52, 18.16s/it]
+
hellaswag_te:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉          | 248/273 [1:13:44<07:31, 18.06s/it]
+
hellaswag_te:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 249/273 [1:14:02<07:07, 17.80s/it]
+
hellaswag_te:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 250/273 [1:14:19<06:46, 17.69s/it]
+
hellaswag_te:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 251/273 [1:14:36<06:24, 17.49s/it]
+
hellaswag_te:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 252/273 [1:14:55<06:14, 17.82s/it]
+
hellaswag_te:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 253/273 [1:15:12<05:51, 17.58s/it]
+
hellaswag_te:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 254/273 [1:15:29<05:33, 17.58s/it]
+
hellaswag_te:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 255/273 [1:15:47<05:18, 17.68s/it]
+
hellaswag_te:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 256/273 [1:16:05<05:02, 17.77s/it]
+
hellaswag_te:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 257/273 [1:16:22<04:40, 17.54s/it]
+
hellaswag_te:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 258/273 [1:16:38<04:15, 17.04s/it]
+
hellaswag_te:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 259/273 [1:16:56<04:03, 17.39s/it]
+
hellaswag_te:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 260/273 [1:17:13<03:44, 17.28s/it]
+
hellaswag_te:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 261/273 [1:17:31<03:29, 17.47s/it]
+
hellaswag_te:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 262/273 [1:17:50<03:15, 17.76s/it]
+
hellaswag_te:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 263/273 [1:18:07<02:58, 17.80s/it]
+
hellaswag_te:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 264/273 [1:18:26<02:43, 18.14s/it]
+
hellaswag_te:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 265/273 [1:18:45<02:26, 18.27s/it]
+
hellaswag_te:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 266/273 [1:19:03<02:07, 18.28s/it]
+
hellaswag_te:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 267/273 [1:19:23<01:52, 18.76s/it]
+
hellaswag_te:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 268/273 [1:19:41<01:32, 18.57s/it]
+
hellaswag_te:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 269/273 [1:19:58<01:12, 18.05s/it]
+
hellaswag_te:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 270/273 [1:20:17<00:54, 18.28s/it]
+
hellaswag_te:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 271/273 [1:20:35<00:36, 18.27s/it]
+
hellaswag_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 272/273 [1:20:52<00:17, 17.96s/it]
+
hellaswag_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 273/273 [1:21:05<00:00, 16.26s/it]
hellaswag_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 273/273 [1:21:05<00:00, 17.82s/it]
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_te_acc 0.25722145804676755
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_te_acc_norm 0.2961944062356717
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 12:09:33,177 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 12:09:33,177 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:33,306 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 12:09:33,307 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:33,436 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 12:09:33,436 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 12:09:33,566 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 12:09:33,697 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 12:09:33,697 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_te_acc'}
+2024-05-30 12:09:33,763 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 12:09:33,763 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1195, 'value': 0.25722145804676755}
+2024-05-30 12:09:33,829 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 12:09:34,461 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 12:09:34,461 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:34,585 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 12:09:34,585 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:34,709 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 12:09:34,709 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:34,832 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 12:09:34,833 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 12:09:34,833 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 12:09:34,958 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 12:09:34,958 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_te_acc_norm'}
+2024-05-30 12:09:35,021 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 12:09:35,021 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1196, 'value': 0.2961944062356717}
+2024-05-30 12:09:35,083 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  48%|███████████████████████████████████████████████████▍                                                        | 59/124 [29:22:04<73:19:38, 4061.21s/it]['hellaswag_uk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 12:09:35,731 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 12:09:35,731 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:35,859 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 12:09:35,859 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:35,986 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 12:09:35,987 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 12:09:36,114 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 12:09:36,115 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 12:09:36,115 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_uk'}
+2024-05-30 12:09:36,244 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_uk task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  7.92 examples/s]
+
Generating validation split: 2000 examples [00:00, 9200.67 examples/s]
+
Generating validation split: 3985 examples [00:00, 12787.50 examples/s]
+
Generating validation split: 5489 examples [00:00, 13574.69 examples/s]
+
Generating validation split: 7000 examples [00:00, 14052.02 examples/s]
+
Generating validation split: 9000 examples [00:00, 14786.25 examples/s]
Generating validation split: 9409 examples [00:00, 12840.11 examples/s]
+Loaded 9409 examples
+Running loglikelihood requests
+
+
hellaswag_uk:   0%|                                                                                                                          | 0/295 [00:00<?, ?it/s]
+
hellaswag_uk:   0%|▍                                                                                                                 | 1/295 [00:11<56:36, 11.55s/it]
+
hellaswag_uk:   1%|▊                                                                                                                 | 2/295 [00:22<56:02, 11.48s/it]
+
hellaswag_uk:   1%|█▏                                                                                                                | 3/295 [00:35<57:16, 11.77s/it]
+
hellaswag_uk:   1%|█▌                                                                                                                | 4/295 [00:47<58:00, 11.96s/it]
+
hellaswag_uk:   2%|█▉                                                                                                                | 5/295 [00:59<58:25, 12.09s/it]
+
hellaswag_uk:   2%|██▎                                                                                                               | 6/295 [01:12<59:16, 12.31s/it]
+
hellaswag_uk:   2%|██▋                                                                                                               | 7/295 [01:23<57:05, 11.90s/it]
+
hellaswag_uk:   3%|███                                                                                                               | 8/295 [01:35<56:23, 11.79s/it]
+
hellaswag_uk:   3%|███▍                                                                                                              | 9/295 [01:46<56:27, 11.85s/it]
+
hellaswag_uk:   3%|███▊                                                                                                             | 10/295 [01:59<57:23, 12.08s/it]
+
hellaswag_uk:   4%|████▏                                                                                                            | 11/295 [02:11<57:03, 12.06s/it]
+
hellaswag_uk:   4%|████▌                                                                                                            | 12/295 [02:23<56:48, 12.05s/it]
+
hellaswag_uk:   4%|████▉                                                                                                            | 13/295 [02:35<55:45, 11.87s/it]
+
hellaswag_uk:   5%|█████▎                                                                                                           | 14/295 [02:46<55:33, 11.86s/it]
+
hellaswag_uk:   5%|█████▋                                                                                                           | 15/295 [02:59<56:16, 12.06s/it]
+
hellaswag_uk:   5%|██████▏                                                                                                          | 16/295 [03:10<54:26, 11.71s/it]
+
hellaswag_uk:   6%|██████▌                                                                                                          | 17/295 [03:22<54:27, 11.75s/it]
+
hellaswag_uk:   6%|██████▉                                                                                                          | 18/295 [03:34<54:49, 11.88s/it]
+
hellaswag_uk:   6%|███████▎                                                                                                         | 19/295 [03:46<55:13, 12.00s/it]
+
hellaswag_uk:   7%|███████▋                                                                                                         | 20/295 [03:57<53:51, 11.75s/it]
+
hellaswag_uk:   7%|████████                                                                                                         | 21/295 [04:09<53:19, 11.68s/it]
+
hellaswag_uk:   7%|████████▍                                                                                                        | 22/295 [04:21<54:27, 11.97s/it]
+
hellaswag_uk:   8%|████████▊                                                                                                        | 23/295 [04:34<54:45, 12.08s/it]
+
hellaswag_uk:   8%|█████████▏                                                                                                       | 24/295 [04:45<53:20, 11.81s/it]
+
hellaswag_uk:   8%|█████████▌                                                                                                       | 25/295 [04:58<54:41, 12.15s/it]
+
hellaswag_uk:   9%|█████████▉                                                                                                       | 26/295 [05:10<54:47, 12.22s/it]
+
hellaswag_uk:   9%|██████████▎                                                                                                      | 27/295 [05:22<53:55, 12.07s/it]
+
hellaswag_uk:   9%|██████████▋                                                                                                      | 28/295 [05:35<54:25, 12.23s/it]
+
hellaswag_uk:  10%|███████████                                                                                                      | 29/295 [05:47<54:46, 12.36s/it]
+
hellaswag_uk:  10%|███████████▍                                                                                                     | 30/295 [06:00<54:55, 12.44s/it]
+
hellaswag_uk:  11%|███████████▊                                                                                                     | 31/295 [06:11<52:37, 11.96s/it]
+
hellaswag_uk:  11%|████████████▎                                                                                                    | 32/295 [06:22<52:04, 11.88s/it]
+
hellaswag_uk:  11%|████████████▋                                                                                                    | 33/295 [06:34<51:51, 11.88s/it]
+
hellaswag_uk:  12%|█████████████                                                                                                    | 34/295 [06:46<51:31, 11.84s/it]
+
hellaswag_uk:  12%|█████████████▍                                                                                                   | 35/295 [06:58<51:50, 11.96s/it]
+
hellaswag_uk:  12%|█████████████▊                                                                                                   | 36/295 [07:10<51:02, 11.82s/it]
+
hellaswag_uk:  13%|██████████████▏                                                                                                  | 37/295 [07:22<51:53, 12.07s/it]
+
hellaswag_uk:  13%|██████████████▌                                                                                                  | 38/295 [07:33<50:14, 11.73s/it]
+
hellaswag_uk:  13%|██████████████▉                                                                                                  | 39/295 [07:45<49:51, 11.69s/it]
+
hellaswag_uk:  14%|███████████████▎                                                                                                 | 40/295 [07:58<50:46, 11.95s/it]
+
hellaswag_uk:  14%|███████████████▋                                                                                                 | 41/295 [08:10<51:19, 12.13s/it]
+
hellaswag_uk:  14%|████████████████                                                                                                 | 42/295 [08:22<50:52, 12.07s/it]
+
hellaswag_uk:  15%|████████████████▍                                                                                                | 43/295 [08:33<49:54, 11.88s/it]
+
hellaswag_uk:  15%|████████████████▊                                                                                                | 44/295 [08:45<49:17, 11.78s/it]
+
hellaswag_uk:  15%|█████████████████▏                                                                                               | 45/295 [08:57<49:01, 11.77s/it]
+
hellaswag_uk:  16%|█████████████████▌                                                                                               | 46/295 [09:08<48:32, 11.70s/it]
+
hellaswag_uk:  16%|██████████████████                                                                                               | 47/295 [09:20<48:25, 11.72s/it]
+
hellaswag_uk:  16%|██████████████████▍                                                                                              | 48/295 [09:32<48:00, 11.66s/it]
+
hellaswag_uk:  17%|██████████████████▊                                                                                              | 49/295 [09:44<48:30, 11.83s/it]
+
hellaswag_uk:  17%|███████████████████▏                                                                                             | 50/295 [09:54<46:51, 11.48s/it]
+
hellaswag_uk:  17%|███████████████████▌                                                                                             | 51/295 [10:06<46:57, 11.55s/it]
+
hellaswag_uk:  18%|███████████████████▉                                                                                             | 52/295 [10:19<47:47, 11.80s/it]
+
hellaswag_uk:  18%|████████████████████▎                                                                                            | 53/295 [10:32<49:20, 12.23s/it]
+
hellaswag_uk:  18%|████████████████████▋                                                                                            | 54/295 [10:45<50:44, 12.63s/it]
+
hellaswag_uk:  19%|█████████████████████                                                                                            | 55/295 [10:58<50:26, 12.61s/it]
+
hellaswag_uk:  19%|█████████████████████▍                                                                                           | 56/295 [11:10<49:47, 12.50s/it]
+
hellaswag_uk:  19%|█████████████████████▊                                                                                           | 57/295 [11:22<48:25, 12.21s/it]
+
hellaswag_uk:  20%|██████████████████████▏                                                                                          | 58/295 [11:34<47:49, 12.11s/it]
+
hellaswag_uk:  20%|██████████████████████▌                                                                                          | 59/295 [11:45<47:05, 11.97s/it]
+
hellaswag_uk:  20%|██████████████████████▉                                                                                          | 60/295 [11:57<46:30, 11.88s/it]
+
hellaswag_uk:  21%|███████████████████████▎                                                                                         | 61/295 [12:08<45:35, 11.69s/it]
+
hellaswag_uk:  21%|███████████████████████▋                                                                                         | 62/295 [12:22<47:39, 12.27s/it]
+
hellaswag_uk:  21%|████████████████████████▏                                                                                        | 63/295 [12:34<47:15, 12.22s/it]
+
hellaswag_uk:  22%|████████████████████████▌                                                                                        | 64/295 [12:46<47:10, 12.25s/it]
+
hellaswag_uk:  22%|████████████████████████▉                                                                                        | 65/295 [12:58<47:01, 12.27s/it]
+
hellaswag_uk:  22%|█████████████████████████▎                                                                                       | 66/295 [13:10<45:32, 11.93s/it]
+
hellaswag_uk:  23%|█████████████████████████▋                                                                                       | 67/295 [13:22<45:34, 12.00s/it]
+
hellaswag_uk:  23%|██████████████████████████                                                                                       | 68/295 [13:33<44:10, 11.68s/it]
+
hellaswag_uk:  23%|██████████████████████████▍                                                                                      | 69/295 [13:44<44:06, 11.71s/it]
+
hellaswag_uk:  24%|██████████████████████████▊                                                                                      | 70/295 [13:57<45:11, 12.05s/it]
+
hellaswag_uk:  24%|███████████████████████████▏                                                                                     | 71/295 [14:09<44:06, 11.81s/it]
+
hellaswag_uk:  24%|███████████████████████████▌                                                                                     | 72/295 [14:21<44:13, 11.90s/it]
+
hellaswag_uk:  25%|███████████████████████████▉                                                                                     | 73/295 [14:33<44:54, 12.14s/it]
+
hellaswag_uk:  25%|████████████████████████████▎                                                                                    | 74/295 [14:45<43:55, 11.93s/it]
+
hellaswag_uk:  25%|████████████████████████████▋                                                                                    | 75/295 [14:57<43:30, 11.87s/it]
+
hellaswag_uk:  26%|█████████████████████████████                                                                                    | 76/295 [15:09<44:12, 12.11s/it]
+
hellaswag_uk:  26%|█████████████████████████████▍                                                                                   | 77/295 [15:21<44:03, 12.13s/it]
+
hellaswag_uk:  26%|█████████████████████████████▉                                                                                   | 78/295 [15:34<44:00, 12.17s/it]
+
hellaswag_uk:  27%|██████████████████████████████▎                                                                                  | 79/295 [15:46<43:44, 12.15s/it]
+
hellaswag_uk:  27%|██████████████████████████████▋                                                                                  | 80/295 [15:59<44:14, 12.35s/it]
+
hellaswag_uk:  27%|███████████████████████████████                                                                                  | 81/295 [16:11<43:54, 12.31s/it]
+
hellaswag_uk:  28%|███████████████████████████████▍                                                                                 | 82/295 [16:22<42:58, 12.10s/it]
+
hellaswag_uk:  28%|███████████████████████████████▊                                                                                 | 83/295 [16:35<43:20, 12.27s/it]
+
hellaswag_uk:  28%|████████████████████████████████▏                                                                                | 84/295 [16:48<43:31, 12.37s/it]
+
hellaswag_uk:  29%|████████████████████████████████▌                                                                                | 85/295 [16:59<42:21, 12.10s/it]
+
hellaswag_uk:  29%|████████████████████████████████▉                                                                                | 86/295 [17:12<42:43, 12.26s/it]
+
hellaswag_uk:  29%|█████████████████████████████████▎                                                                               | 87/295 [17:24<42:31, 12.27s/it]
+
hellaswag_uk:  30%|█████████████████████████████████▋                                                                               | 88/295 [17:35<41:20, 11.99s/it]
+
hellaswag_uk:  30%|██████████████████████████████████                                                                               | 89/295 [17:47<40:58, 11.93s/it]
+
hellaswag_uk:  31%|██████████████████████████████████▍                                                                              | 90/295 [17:59<40:48, 11.94s/it]
+
hellaswag_uk:  31%|██████████████████████████████████▊                                                                              | 91/295 [18:12<41:20, 12.16s/it]
+
hellaswag_uk:  31%|███████████████████████████████████▏                                                                             | 92/295 [18:23<40:31, 11.98s/it]
+
hellaswag_uk:  32%|███████████████████████████████████▌                                                                             | 93/295 [18:36<40:29, 12.03s/it]
+
hellaswag_uk:  32%|████████████████████████████████████                                                                             | 94/295 [18:48<40:18, 12.03s/it]
+
hellaswag_uk:  32%|████████████████████████████████████▍                                                                            | 95/295 [19:00<40:38, 12.19s/it]
+
hellaswag_uk:  33%|████████████████████████████████████▊                                                                            | 96/295 [19:12<39:41, 11.97s/it]
+
hellaswag_uk:  33%|█████████████████████████████████████▏                                                                           | 97/295 [19:24<39:48, 12.06s/it]
+
hellaswag_uk:  33%|█████████████████████████████████████▌                                                                           | 98/295 [19:36<39:17, 11.97s/it]
+
hellaswag_uk:  34%|█████████████████████████████████████▉                                                                           | 99/295 [19:48<39:33, 12.11s/it]
+
hellaswag_uk:  34%|█████████████████████████████████████▉                                                                          | 100/295 [20:00<39:36, 12.19s/it]
+
hellaswag_uk:  34%|██████████████████████████████████████▎                                                                         | 101/295 [20:13<39:21, 12.17s/it]
+
hellaswag_uk:  35%|██████████████████████████████████████▋                                                                         | 102/295 [20:25<38:59, 12.12s/it]
+
hellaswag_uk:  35%|███████████████████████████████████████                                                                         | 103/295 [20:37<38:59, 12.19s/it]
+
hellaswag_uk:  35%|███████████████████████████████████████▍                                                                        | 104/295 [20:47<37:02, 11.64s/it]
+
hellaswag_uk:  36%|███████████████████████████████████████▊                                                                        | 105/295 [21:00<37:37, 11.88s/it]
+
hellaswag_uk:  36%|████████████████████████████████████████▏                                                                       | 106/295 [21:12<37:55, 12.04s/it]
+
hellaswag_uk:  36%|████████████████████████████████████████▌                                                                       | 107/295 [21:24<37:58, 12.12s/it]
+
hellaswag_uk:  37%|█████████████████████████████████████████                                                                       | 108/295 [21:36<37:21, 11.98s/it]
+
hellaswag_uk:  37%|█████████████████████████████████████████▍                                                                      | 109/295 [21:48<37:08, 11.98s/it]
+
hellaswag_uk:  37%|█████████████████████████████████████████▊                                                                      | 110/295 [22:00<37:13, 12.08s/it]
+
hellaswag_uk:  38%|██████████████████████████████████████████▏                                                                     | 111/295 [22:13<37:17, 12.16s/it]
+
hellaswag_uk:  38%|██████████████████████████████████████████▌                                                                     | 112/295 [22:25<36:49, 12.07s/it]
+
hellaswag_uk:  38%|██████████████████████████████████████████▉                                                                     | 113/295 [22:37<36:32, 12.05s/it]
+
hellaswag_uk:  39%|███████████████████████████████████████████▎                                                                    | 114/295 [22:48<36:02, 11.95s/it]
+
hellaswag_uk:  39%|███████████████████████████████████████████▋                                                                    | 115/295 [23:00<35:27, 11.82s/it]
+
hellaswag_uk:  39%|████████████████████████████████████████████                                                                    | 116/295 [23:13<36:29, 12.23s/it]
+
hellaswag_uk:  40%|████████████████████████████████████████████▍                                                                   | 117/295 [23:25<35:46, 12.06s/it]
+
hellaswag_uk:  40%|████████████████████████████████████████████▊                                                                   | 118/295 [23:37<36:04, 12.23s/it]
+
hellaswag_uk:  40%|█████████████████████████████████████████████▏                                                                  | 119/295 [23:49<35:26, 12.08s/it]
+
hellaswag_uk:  41%|█████████████████████████████████████████████▌                                                                  | 120/295 [24:01<35:22, 12.13s/it]
+
hellaswag_uk:  41%|█████████████████████████████████████████████▉                                                                  | 121/295 [24:13<35:11, 12.13s/it]
+
hellaswag_uk:  41%|██████████████████████████████████████████████▎                                                                 | 122/295 [24:26<35:17, 12.24s/it]
+
hellaswag_uk:  42%|██████████████████████████████████████████████▋                                                                 | 123/295 [24:39<35:31, 12.39s/it]
+
hellaswag_uk:  42%|███████████████████████████████████████████████                                                                 | 124/295 [24:50<34:22, 12.06s/it]
+
hellaswag_uk:  42%|███████████████████████████████████████████████▍                                                                | 125/295 [25:02<34:24, 12.15s/it]
+
hellaswag_uk:  43%|███████████████████████████████████████████████▊                                                                | 126/295 [25:13<33:00, 11.72s/it]
+
hellaswag_uk:  43%|████████████████████████████████████████████████▏                                                               | 127/295 [25:26<33:29, 11.96s/it]
+
hellaswag_uk:  43%|████████████████████████████████████████████████▌                                                               | 128/295 [25:38<33:32, 12.05s/it]
+
hellaswag_uk:  44%|████████████████████████████████████████████████▉                                                               | 129/295 [25:50<33:06, 11.97s/it]
+
hellaswag_uk:  44%|█████████████████████████████████████████████████▎                                                              | 130/295 [26:01<32:36, 11.86s/it]
+
hellaswag_uk:  44%|█████████████████████████████████████████████████▋                                                              | 131/295 [26:13<32:22, 11.84s/it]
+
hellaswag_uk:  45%|██████████████████████████████████████████████████                                                              | 132/295 [26:25<32:09, 11.84s/it]
+
hellaswag_uk:  45%|██████████████████████████████████████████████████▍                                                             | 133/295 [26:37<32:13, 11.94s/it]
+
hellaswag_uk:  45%|██████████████████████████████████████████████████▊                                                             | 134/295 [26:49<32:04, 11.95s/it]
+
hellaswag_uk:  46%|███████████████████████████████████████████████████▎                                                            | 135/295 [27:00<31:16, 11.73s/it]
+
hellaswag_uk:  46%|███████████████████████████████████████████████████▋                                                            | 136/295 [27:12<31:10, 11.77s/it]
+
hellaswag_uk:  46%|████████████████████████████████████████████████████                                                            | 137/295 [27:25<31:59, 12.15s/it]
+
hellaswag_uk:  47%|████████████████████████████████████████████████████▍                                                           | 138/295 [27:37<31:51, 12.17s/it]
+
hellaswag_uk:  47%|████████████████████████████████████████████████████▊                                                           | 139/295 [27:49<31:17, 12.04s/it]
+
hellaswag_uk:  47%|█████████████████████████████████████████████████████▏                                                          | 140/295 [28:01<30:46, 11.92s/it]
+
hellaswag_uk:  48%|█████████████████████████████████████████████████████▌                                                          | 141/295 [28:13<30:46, 11.99s/it]
+
hellaswag_uk:  48%|█████████████████████████████████████████████████████▉                                                          | 142/295 [28:26<31:13, 12.24s/it]
+
hellaswag_uk:  48%|██████████████████████████████████████████████████████▎                                                         | 143/295 [28:38<31:00, 12.24s/it]
+
hellaswag_uk:  49%|██████████████████████████████████████████████████████▋                                                         | 144/295 [28:50<30:32, 12.14s/it]
+
hellaswag_uk:  49%|███████████████████████████████████████████████████████                                                         | 145/295 [29:02<30:21, 12.15s/it]
+
hellaswag_uk:  49%|███████████████████████████████████████████████████████▍                                                        | 146/295 [29:15<30:33, 12.31s/it]
+
hellaswag_uk:  50%|███████████████████████████████████████████████████████▊                                                        | 147/295 [29:26<29:46, 12.07s/it]
+
hellaswag_uk:  50%|████████████████████████████████████████████████████████▏                                                       | 148/295 [29:38<29:28, 12.03s/it]
+
hellaswag_uk:  51%|████████████████████████████████████████████████████████▌                                                       | 149/295 [29:49<28:36, 11.76s/it]
+
hellaswag_uk:  51%|████████████████████████████████████████████████████████▉                                                       | 150/295 [30:02<28:56, 11.98s/it]
+
hellaswag_uk:  51%|█████████████████████████████████████████████████████████▎                                                      | 151/295 [30:13<28:15, 11.77s/it]
+
hellaswag_uk:  52%|█████████████████████████████████████████████████████████▋                                                      | 152/295 [30:25<27:52, 11.70s/it]
+
hellaswag_uk:  52%|██████████████████████████████████████████████████████████                                                      | 153/295 [30:37<28:34, 12.08s/it]
+
hellaswag_uk:  52%|██████████████████████████████████████████████████████████▍                                                     | 154/295 [30:49<27:46, 11.82s/it]
+
hellaswag_uk:  53%|██████████████████████████████████████████████████████████▊                                                     | 155/295 [31:02<28:24, 12.18s/it]
+
hellaswag_uk:  53%|███████████████████████████████████████████████████████████▏                                                    | 156/295 [31:13<27:47, 11.99s/it]
+
hellaswag_uk:  53%|███████████████████████████████████████████████████████████▌                                                    | 157/295 [31:25<27:21, 11.89s/it]
+
hellaswag_uk:  54%|███████████████████████████████████████████████████████████▉                                                    | 158/295 [31:37<27:12, 11.91s/it]
+
hellaswag_uk:  54%|████████████████████████████████████████████████████████████▎                                                   | 159/295 [31:50<27:53, 12.31s/it]
+
hellaswag_uk:  54%|████████████████████████████████████████████████████████████▋                                                   | 160/295 [32:02<27:35, 12.27s/it]
+
hellaswag_uk:  55%|█████████████████████████████████████████████████████████████▏                                                  | 161/295 [32:15<27:23, 12.26s/it]
+
hellaswag_uk:  55%|█████████████████████████████████████████████████████████████▌                                                  | 162/295 [32:26<26:40, 12.03s/it]
+
hellaswag_uk:  55%|█████████████████████████████████████████████████████████████▉                                                  | 163/295 [32:38<26:21, 11.98s/it]
+
hellaswag_uk:  56%|██████████████████████████████████████████████████████████████▎                                                 | 164/295 [32:50<26:26, 12.11s/it]
+
hellaswag_uk:  56%|██████████████████████████████████████████████████████████████▋                                                 | 165/295 [33:02<25:54, 11.96s/it]
+
hellaswag_uk:  56%|███████████████████████████████████████████████████████████████                                                 | 166/295 [33:14<25:40, 11.94s/it]
+
hellaswag_uk:  57%|███████████████████████████████████████████████████████████████▍                                                | 167/295 [33:25<24:48, 11.63s/it]
+
hellaswag_uk:  57%|███████████████████████████████████████████████████████████████▊                                                | 168/295 [33:37<24:42, 11.67s/it]
+
hellaswag_uk:  57%|████████████████████████████████████████████████████████████████▏                                               | 169/295 [33:48<24:39, 11.74s/it]
+
hellaswag_uk:  58%|████████████████████████████████████████████████████████████████▌                                               | 170/295 [34:00<24:27, 11.74s/it]
+
hellaswag_uk:  58%|████████████████████████████████████████████████████████████████▉                                               | 171/295 [34:12<24:03, 11.64s/it]
+
hellaswag_uk:  58%|█████████████████████████████████████████████████████████████████▎                                              | 172/295 [34:22<23:19, 11.38s/it]
+
hellaswag_uk:  59%|█████████████████████████████████████████████████████████████████▋                                              | 173/295 [34:34<23:08, 11.38s/it]
+
hellaswag_uk:  59%|██████████████████████████████████████████████████████████████████                                              | 174/295 [34:46<23:42, 11.75s/it]
+
hellaswag_uk:  59%|██████████████████████████████████████████████████████████████████▍                                             | 175/295 [34:59<23:46, 11.89s/it]
+
hellaswag_uk:  60%|██████████████████████████████████████████████████████████████████▊                                             | 176/295 [35:10<23:24, 11.80s/it]
+
hellaswag_uk:  60%|███████████████████████████████████████████████████████████████████▏                                            | 177/295 [35:23<23:56, 12.17s/it]
+
hellaswag_uk:  60%|███████████████████████████████████████████████████████████████████▌                                            | 178/295 [35:35<23:21, 11.98s/it]
+
hellaswag_uk:  61%|███████████████████████████████████████████████████████████████████▉                                            | 179/295 [35:47<23:08, 11.97s/it]
+
hellaswag_uk:  61%|████████████████████████████████████████████████████████████████████▎                                           | 180/295 [36:00<23:27, 12.24s/it]
+
hellaswag_uk:  61%|████████████████████████████████████████████████████████████████████▋                                           | 181/295 [36:12<23:17, 12.26s/it]
+
hellaswag_uk:  62%|█████████████████████████████████████████████████████████████████████                                           | 182/295 [36:23<22:40, 12.04s/it]
+
hellaswag_uk:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 183/295 [36:35<22:11, 11.88s/it]
+
hellaswag_uk:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 184/295 [36:47<22:14, 12.02s/it]
+
hellaswag_uk:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 185/295 [36:59<22:08, 12.07s/it]
+
hellaswag_uk:  63%|██████████████████████████████████████████████████████████████████████▌                                         | 186/295 [37:11<21:42, 11.95s/it]
+
hellaswag_uk:  63%|██████████████████████████████████████████████████████████████████████▉                                         | 187/295 [37:24<21:50, 12.14s/it]
+
hellaswag_uk:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 188/295 [37:35<21:19, 11.96s/it]
+
hellaswag_uk:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 189/295 [37:47<20:55, 11.84s/it]
+
hellaswag_uk:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 190/295 [37:59<20:48, 11.89s/it]
+
hellaswag_uk:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 191/295 [38:10<20:15, 11.69s/it]
+
hellaswag_uk:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 192/295 [38:23<20:54, 12.18s/it]
+
hellaswag_uk:  65%|█████████████████████████████████████████████████████████████████████████▎                                      | 193/295 [38:37<21:17, 12.53s/it]
+
hellaswag_uk:  66%|█████████████████████████████████████████████████████████████████████████▋                                      | 194/295 [38:49<20:48, 12.36s/it]
+
hellaswag_uk:  66%|██████████████████████████████████████████████████████████████████████████                                      | 195/295 [39:01<20:37, 12.38s/it]
+
hellaswag_uk:  66%|██████████████████████████████████████████████████████████████████████████▍                                     | 196/295 [39:13<20:07, 12.20s/it]
+
hellaswag_uk:  67%|██████████████████████████████████████████████████████████████████████████▊                                     | 197/295 [39:25<19:46, 12.10s/it]
+
hellaswag_uk:  67%|███████████████████████████████████████████████████████████████████████████▏                                    | 198/295 [39:38<19:59, 12.37s/it]
+
hellaswag_uk:  67%|███████████████████████████████████████████████████████████████████████████▌                                    | 199/295 [39:50<19:50, 12.41s/it]
+
hellaswag_uk:  68%|███████████████████████████████████████████████████████████████████████████▉                                    | 200/295 [40:03<19:53, 12.56s/it]
+
hellaswag_uk:  68%|████████████████████████████████████████████████████████████████████████████▎                                   | 201/295 [40:15<19:16, 12.30s/it]
+
hellaswag_uk:  68%|████████████████████████████████████████████████████████████████████████████▋                                   | 202/295 [40:26<18:33, 11.98s/it]
+
hellaswag_uk:  69%|█████████████████████████████████████████████████████████████████████████████                                   | 203/295 [40:38<18:32, 12.09s/it]
+
hellaswag_uk:  69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 204/295 [40:50<18:01, 11.89s/it]
+
hellaswag_uk:  69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 205/295 [41:01<17:39, 11.77s/it]
+
hellaswag_uk:  70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 206/295 [41:14<17:58, 12.11s/it]
+
hellaswag_uk:  70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 207/295 [41:27<18:12, 12.41s/it]
+
hellaswag_uk:  71%|██████████████████████████████████████████████████████████████████████████████▉                                 | 208/295 [41:39<17:33, 12.11s/it]
+
hellaswag_uk:  71%|███████████████████████████████████████████████████████████████████████████████▎                                | 209/295 [41:50<16:56, 11.82s/it]
+
hellaswag_uk:  71%|███████████████████████████████████████████████████████████████████████████████▋                                | 210/295 [42:02<16:42, 11.79s/it]
+
hellaswag_uk:  72%|████████████████████████████████████████████████████████████████████████████████                                | 211/295 [42:13<16:16, 11.62s/it]
+
hellaswag_uk:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 212/295 [42:23<15:40, 11.33s/it]
+
hellaswag_uk:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 213/295 [42:35<15:35, 11.41s/it]
+
hellaswag_uk:  73%|█████████████████████████████████████████████████████████████████████████████████▏                              | 214/295 [42:47<15:26, 11.44s/it]
+
hellaswag_uk:  73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 215/295 [42:58<15:15, 11.44s/it]
+
hellaswag_uk:  73%|██████████████████████████████████████████████████████████████████████████████████                              | 216/295 [43:10<15:26, 11.72s/it]
+
hellaswag_uk:  74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 217/295 [43:23<15:30, 11.93s/it]
+
hellaswag_uk:  74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 218/295 [43:35<15:17, 11.91s/it]
+
hellaswag_uk:  74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 219/295 [43:48<15:30, 12.24s/it]
+
hellaswag_uk:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 220/295 [44:00<15:26, 12.36s/it]
+
hellaswag_uk:  75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 221/295 [44:13<15:26, 12.52s/it]
+
hellaswag_uk:  75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 222/295 [44:26<15:09, 12.46s/it]
+
hellaswag_uk:  76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 223/295 [44:38<14:53, 12.41s/it]
+
hellaswag_uk:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 224/295 [44:50<14:33, 12.30s/it]
+
hellaswag_uk:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 225/295 [45:02<14:16, 12.24s/it]
+
hellaswag_uk:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 226/295 [45:14<13:53, 12.08s/it]
+
hellaswag_uk:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 227/295 [45:25<13:30, 11.92s/it]
+
hellaswag_uk:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 228/295 [45:38<13:42, 12.27s/it]
+
hellaswag_uk:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 229/295 [45:50<13:27, 12.24s/it]
+
hellaswag_uk:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 230/295 [46:02<13:08, 12.14s/it]
+
hellaswag_uk:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 231/295 [46:14<12:51, 12.05s/it]
+
hellaswag_uk:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 232/295 [46:27<12:56, 12.32s/it]
+
hellaswag_uk:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 233/295 [46:39<12:44, 12.33s/it]
+
hellaswag_uk:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 234/295 [46:52<12:29, 12.28s/it]
+
hellaswag_uk:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 235/295 [47:03<12:08, 12.14s/it]
+
hellaswag_uk:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 236/295 [47:15<11:45, 11.96s/it]
+
hellaswag_uk:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 237/295 [47:27<11:25, 11.82s/it]
+
hellaswag_uk:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 238/295 [47:38<11:14, 11.84s/it]
+
hellaswag_uk:  81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 239/295 [47:50<10:56, 11.72s/it]
+
hellaswag_uk:  81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 240/295 [48:02<10:47, 11.78s/it]
+
hellaswag_uk:  82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 241/295 [48:14<10:45, 11.95s/it]
+
hellaswag_uk:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 242/295 [48:27<10:52, 12.30s/it]
+
hellaswag_uk:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 243/295 [48:40<10:41, 12.33s/it]
+
hellaswag_uk:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 244/295 [48:52<10:30, 12.36s/it]
+
hellaswag_uk:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 245/295 [49:03<09:58, 11.98s/it]
+
hellaswag_uk:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 246/295 [49:15<09:42, 11.88s/it]
+
hellaswag_uk:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 247/295 [49:27<09:33, 11.95s/it]
+
hellaswag_uk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 248/295 [49:39<09:24, 12.00s/it]
+
hellaswag_uk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 249/295 [49:52<09:20, 12.19s/it]
+
hellaswag_uk:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 250/295 [50:05<09:17, 12.39s/it]
+
hellaswag_uk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 251/295 [50:17<09:11, 12.54s/it]
+
hellaswag_uk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 252/295 [50:29<08:46, 12.25s/it]
+
hellaswag_uk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 253/295 [50:42<08:41, 12.43s/it]
+
hellaswag_uk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 254/295 [50:55<08:33, 12.51s/it]
+
hellaswag_uk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 255/295 [51:07<08:19, 12.49s/it]
+
hellaswag_uk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 256/295 [51:20<08:09, 12.56s/it]
+
hellaswag_uk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 257/295 [51:32<07:51, 12.41s/it]
+
hellaswag_uk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉              | 258/295 [51:44<07:32, 12.22s/it]
+
hellaswag_uk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎             | 259/295 [51:56<07:20, 12.23s/it]
+
hellaswag_uk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋             | 260/295 [52:07<06:59, 11.98s/it]
+
hellaswag_uk:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 261/295 [52:20<06:57, 12.27s/it]
+
hellaswag_uk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▍            | 262/295 [52:32<06:41, 12.18s/it]
+
hellaswag_uk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▊            | 263/295 [52:45<06:32, 12.26s/it]
+
hellaswag_uk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 264/295 [52:56<06:12, 12.03s/it]
+
hellaswag_uk:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 265/295 [53:07<05:55, 11.85s/it]
+
hellaswag_uk:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 266/295 [53:20<05:46, 11.95s/it]
+
hellaswag_uk:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 267/295 [53:32<05:39, 12.13s/it]
+
hellaswag_uk:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 268/295 [53:45<05:32, 12.30s/it]
+
hellaswag_uk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 269/295 [53:56<05:12, 12.03s/it]
+
hellaswag_uk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 270/295 [54:09<05:02, 12.11s/it]
+
hellaswag_uk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 271/295 [54:20<04:47, 11.99s/it]
+
hellaswag_uk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 272/295 [54:33<04:37, 12.09s/it]
+
hellaswag_uk:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 273/295 [54:45<04:30, 12.29s/it]
+
hellaswag_uk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████        | 274/295 [54:57<04:12, 12.04s/it]
+
hellaswag_uk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 275/295 [55:09<04:01, 12.08s/it]
+
hellaswag_uk:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 276/295 [55:21<03:47, 11.95s/it]
+
hellaswag_uk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 277/295 [55:32<03:30, 11.67s/it]
+
hellaswag_uk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 278/295 [55:45<03:25, 12.09s/it]
+
hellaswag_uk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 279/295 [55:57<03:14, 12.13s/it]
+
hellaswag_uk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 280/295 [56:10<03:07, 12.50s/it]
+
hellaswag_uk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 281/295 [56:22<02:51, 12.28s/it]
+
hellaswag_uk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████     | 282/295 [56:35<02:42, 12.47s/it]
+
hellaswag_uk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 283/295 [56:48<02:30, 12.52s/it]
+
hellaswag_uk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 284/295 [57:01<02:20, 12.73s/it]
+
hellaswag_uk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 285/295 [57:13<02:06, 12.65s/it]
+
hellaswag_uk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 286/295 [57:26<01:53, 12.57s/it]
+
hellaswag_uk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 287/295 [57:38<01:38, 12.33s/it]
+
hellaswag_uk:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 288/295 [57:50<01:26, 12.31s/it]
+
hellaswag_uk:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 289/295 [58:01<01:12, 12.09s/it]
+
hellaswag_uk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 290/295 [58:15<01:02, 12.46s/it]
+
hellaswag_uk:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 291/295 [58:27<00:49, 12.46s/it]
+
hellaswag_uk:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 292/295 [58:40<00:37, 12.51s/it]
+
hellaswag_uk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 293/295 [58:52<00:24, 12.43s/it]
+
hellaswag_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 294/295 [59:04<00:12, 12.23s/it]
+
hellaswag_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [59:08<00:00,  9.86s/it]
hellaswag_uk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 295/295 [59:08<00:00, 12.03s/it]
+There is an error!!
+There is an error!!
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_uk_acc 0.3292592198958444
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_uk_acc_norm 0.4114146030396429
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:08:47,429 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:08:47,429 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:47,554 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:08:47,554 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:47,677 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:08:47,678 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:47,801 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:08:47,802 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 13:08:47,802 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 13:08:47,928 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 13:08:47,928 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_uk_acc'}
+2024-05-30 13:08:47,991 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 13:08:47,991 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1197, 'value': 0.3292592198958444}
+2024-05-30 13:08:48,054 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:08:48,676 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:08:48,676 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:48,798 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:08:48,798 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:48,920 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:08:48,920 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:49,042 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:08:49,043 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 13:08:49,043 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 13:08:49,166 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 13:08:49,166 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_uk_acc_norm'}
+2024-05-30 13:08:49,228 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 13:08:49,228 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1198, 'value': 0.4114146030396429}
+2024-05-30 13:08:49,290 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  48%|████████████████████████████████████████████████████▎                                                       | 60/124 [30:21:18<69:29:42, 3909.11s/it]['hellaswag_vi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:08:49,952 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:08:49,952 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:50,084 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:08:50,084 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:50,215 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:08:50,215 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:08:50,346 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:08:50,347 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 13:08:50,347 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'hellaswag_vi'}
+2024-05-30 13:08:50,479 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_vi task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1 examples [00:00,  8.00 examples/s]
+
Generating validation split: 1690 examples [00:00, 9008.56 examples/s]
+
Generating validation split: 3191 examples [00:00, 11599.57 examples/s]
+
Generating validation split: 4994 examples [00:00, 13873.26 examples/s]
+
Generating validation split: 6492 examples [00:00, 14259.11 examples/s]
+
Generating validation split: 8007 examples [00:00, 14555.39 examples/s]
Generating validation split: 9162 examples [00:00, 12880.45 examples/s]
+Loaded 9162 examples
+Running loglikelihood requests
+
+
hellaswag_vi:   0%|                                                                                                                          | 0/287 [00:00<?, ?it/s]
+
hellaswag_vi:   0%|▍                                                                                                                 | 1/287 [00:10<52:10, 10.94s/it]
+
hellaswag_vi:   1%|▊                                                                                                                 | 2/287 [00:21<50:58, 10.73s/it]
+
hellaswag_vi:   1%|█▏                                                                                                                | 3/287 [00:32<50:14, 10.61s/it]
+
hellaswag_vi:   1%|█▌                                                                                                                | 4/287 [00:42<49:45, 10.55s/it]
+
hellaswag_vi:   2%|█▉                                                                                                                | 5/287 [00:53<49:58, 10.63s/it]
+
hellaswag_vi:   2%|██▍                                                                                                               | 6/287 [01:03<49:46, 10.63s/it]
+
hellaswag_vi:   2%|██▊                                                                                                               | 7/287 [01:15<51:07, 10.96s/it]
+
hellaswag_vi:   3%|███▏                                                                                                              | 8/287 [01:26<50:25, 10.84s/it]
+
hellaswag_vi:   3%|███▌                                                                                                              | 9/287 [01:36<49:48, 10.75s/it]
+
hellaswag_vi:   3%|███▉                                                                                                             | 10/287 [01:47<50:22, 10.91s/it]
+
hellaswag_vi:   4%|████▎                                                                                                            | 11/287 [01:58<49:47, 10.82s/it]
+
hellaswag_vi:   4%|████▋                                                                                                            | 12/287 [02:09<50:09, 10.94s/it]
+
hellaswag_vi:   5%|█████                                                                                                            | 13/287 [02:20<49:37, 10.87s/it]
+
hellaswag_vi:   5%|█████▌                                                                                                           | 14/287 [02:31<49:12, 10.81s/it]
+
hellaswag_vi:   5%|█████▉                                                                                                           | 15/287 [02:40<47:35, 10.50s/it]
+
hellaswag_vi:   6%|██████▎                                                                                                          | 16/287 [02:51<47:40, 10.55s/it]
+
hellaswag_vi:   6%|██████▋                                                                                                          | 17/287 [03:02<47:45, 10.61s/it]
+
hellaswag_vi:   6%|███████                                                                                                          | 18/287 [03:12<47:28, 10.59s/it]
+
hellaswag_vi:   7%|███████▍                                                                                                         | 19/287 [03:23<47:08, 10.55s/it]
+
hellaswag_vi:   7%|███████▊                                                                                                         | 20/287 [03:34<47:15, 10.62s/it]
+
hellaswag_vi:   7%|████████▎                                                                                                        | 21/287 [03:44<47:07, 10.63s/it]
+
hellaswag_vi:   8%|████████▋                                                                                                        | 22/287 [03:55<47:45, 10.81s/it]
+
hellaswag_vi:   8%|█████████                                                                                                        | 23/287 [04:06<47:38, 10.83s/it]
+
hellaswag_vi:   8%|█████████▍                                                                                                       | 24/287 [04:17<47:08, 10.75s/it]
+
hellaswag_vi:   9%|█████████▊                                                                                                       | 25/287 [04:27<46:13, 10.59s/it]
+
hellaswag_vi:   9%|██████████▏                                                                                                      | 26/287 [04:37<45:06, 10.37s/it]
+
hellaswag_vi:   9%|██████████▋                                                                                                      | 27/287 [04:47<45:06, 10.41s/it]
+
hellaswag_vi:  10%|███████████                                                                                                      | 28/287 [04:57<43:56, 10.18s/it]
+
hellaswag_vi:  10%|███████████▍                                                                                                     | 29/287 [05:09<45:24, 10.56s/it]
+
hellaswag_vi:  10%|███████████▊                                                                                                     | 30/287 [05:19<44:27, 10.38s/it]
+
hellaswag_vi:  11%|████████████▏                                                                                                    | 31/287 [05:29<44:31, 10.44s/it]
+
hellaswag_vi:  11%|████████████▌                                                                                                    | 32/287 [05:40<44:46, 10.53s/it]
+
hellaswag_vi:  11%|████████████▉                                                                                                    | 33/287 [05:50<44:41, 10.56s/it]
+
hellaswag_vi:  12%|█████████████▍                                                                                                   | 34/287 [06:02<45:24, 10.77s/it]
+
hellaswag_vi:  12%|█████████████▊                                                                                                   | 35/287 [06:12<45:03, 10.73s/it]
+
hellaswag_vi:  13%|██████████████▏                                                                                                  | 36/287 [06:24<45:28, 10.87s/it]
+
hellaswag_vi:  13%|██████████████▌                                                                                                  | 37/287 [06:35<45:33, 10.93s/it]
+
hellaswag_vi:  13%|██████████████▉                                                                                                  | 38/287 [06:46<46:13, 11.14s/it]
+
hellaswag_vi:  14%|███████████████▎                                                                                                 | 39/287 [06:57<45:50, 11.09s/it]
+
hellaswag_vi:  14%|███████████████▋                                                                                                 | 40/287 [07:08<44:45, 10.87s/it]
+
hellaswag_vi:  14%|████████████████▏                                                                                                | 41/287 [07:18<44:03, 10.74s/it]
+
hellaswag_vi:  15%|████████████████▌                                                                                                | 42/287 [07:29<44:14, 10.84s/it]
+
hellaswag_vi:  15%|████████████████▉                                                                                                | 43/287 [07:40<43:38, 10.73s/it]
+
hellaswag_vi:  15%|█████████████████▎                                                                                               | 44/287 [07:51<44:13, 10.92s/it]
+
hellaswag_vi:  16%|█████████████████▋                                                                                               | 45/287 [08:02<43:53, 10.88s/it]
+
hellaswag_vi:  16%|██████████████████                                                                                               | 46/287 [08:12<42:39, 10.62s/it]
+
hellaswag_vi:  16%|██████████████████▌                                                                                              | 47/287 [08:23<43:04, 10.77s/it]
+
hellaswag_vi:  17%|██████████████████▉                                                                                              | 48/287 [08:34<43:45, 10.99s/it]
+
hellaswag_vi:  17%|███████████████████▎                                                                                             | 49/287 [08:45<43:03, 10.86s/it]
+
hellaswag_vi:  17%|███████████████████▋                                                                                             | 50/287 [08:55<42:29, 10.76s/it]
+
hellaswag_vi:  18%|████████████████████                                                                                             | 51/287 [09:06<42:15, 10.75s/it]
+
hellaswag_vi:  18%|████████████████████▍                                                                                            | 52/287 [09:16<41:24, 10.57s/it]
+
hellaswag_vi:  18%|████████████████████▊                                                                                            | 53/287 [09:27<40:54, 10.49s/it]
+
hellaswag_vi:  19%|█████████████████████▎                                                                                           | 54/287 [09:37<41:07, 10.59s/it]
+
hellaswag_vi:  19%|█████████████████████▋                                                                                           | 55/287 [09:48<41:08, 10.64s/it]
+
hellaswag_vi:  20%|██████████████████████                                                                                           | 56/287 [09:59<40:48, 10.60s/it]
+
hellaswag_vi:  20%|██████████████████████▍                                                                                          | 57/287 [10:09<40:27, 10.55s/it]
+
hellaswag_vi:  20%|██████████████████████▊                                                                                          | 58/287 [10:19<39:42, 10.40s/it]
+
hellaswag_vi:  21%|███████████████████████▏                                                                                         | 59/287 [10:30<39:39, 10.44s/it]
+
hellaswag_vi:  21%|███████████████████████▌                                                                                         | 60/287 [10:40<39:27, 10.43s/it]
+
hellaswag_vi:  21%|████████████████████████                                                                                         | 61/287 [10:51<39:17, 10.43s/it]
+
hellaswag_vi:  22%|████████████████████████▍                                                                                        | 62/287 [11:01<39:31, 10.54s/it]
+
hellaswag_vi:  22%|████████████████████████▊                                                                                        | 63/287 [11:12<39:22, 10.55s/it]
+
hellaswag_vi:  22%|█████████████████████████▏                                                                                       | 64/287 [11:23<39:55, 10.74s/it]
+
hellaswag_vi:  23%|█████████████████████████▌                                                                                       | 65/287 [11:33<38:59, 10.54s/it]
+
hellaswag_vi:  23%|█████████████████████████▉                                                                                       | 66/287 [11:45<39:47, 10.81s/it]
+
hellaswag_vi:  23%|██████████████████████████▍                                                                                      | 67/287 [11:56<39:43, 10.83s/it]
+
hellaswag_vi:  24%|██████████████████████████▊                                                                                      | 68/287 [12:06<39:33, 10.84s/it]
+
hellaswag_vi:  24%|███████████████████████████▏                                                                                     | 69/287 [12:17<38:45, 10.67s/it]
+
hellaswag_vi:  24%|███████████████████████████▌                                                                                     | 70/287 [12:27<38:09, 10.55s/it]
+
hellaswag_vi:  25%|███████████████████████████▉                                                                                     | 71/287 [12:38<38:40, 10.74s/it]
+
hellaswag_vi:  25%|████████████████████████████▎                                                                                    | 72/287 [12:49<38:15, 10.68s/it]
+
hellaswag_vi:  25%|████████████████████████████▋                                                                                    | 73/287 [13:00<38:37, 10.83s/it]
+
hellaswag_vi:  26%|█████████████████████████████▏                                                                                   | 74/287 [13:11<38:42, 10.91s/it]
+
hellaswag_vi:  26%|█████████████████████████████▌                                                                                   | 75/287 [13:21<38:03, 10.77s/it]
+
hellaswag_vi:  26%|█████████████████████████████▉                                                                                   | 76/287 [13:32<37:33, 10.68s/it]
+
hellaswag_vi:  27%|██████████████████████████████▎                                                                                  | 77/287 [13:42<36:30, 10.43s/it]
+
hellaswag_vi:  27%|██████████████████████████████▋                                                                                  | 78/287 [13:53<37:24, 10.74s/it]
+
hellaswag_vi:  28%|███████████████████████████████                                                                                  | 79/287 [14:03<36:35, 10.55s/it]
+
hellaswag_vi:  28%|███████████████████████████████▍                                                                                 | 80/287 [14:15<37:09, 10.77s/it]
+
hellaswag_vi:  28%|███████████████████████████████▉                                                                                 | 81/287 [14:25<36:08, 10.53s/it]
+
hellaswag_vi:  29%|████████████████████████████████▎                                                                                | 82/287 [14:35<36:02, 10.55s/it]
+
hellaswag_vi:  29%|████████████████████████████████▋                                                                                | 83/287 [14:46<35:54, 10.56s/it]
+
hellaswag_vi:  29%|█████████████████████████████████                                                                                | 84/287 [14:56<35:35, 10.52s/it]
+
hellaswag_vi:  30%|█████████████████████████████████▍                                                                               | 85/287 [15:06<35:15, 10.48s/it]
+
hellaswag_vi:  30%|█████████████████████████████████▊                                                                               | 86/287 [15:18<35:49, 10.69s/it]
+
hellaswag_vi:  30%|██████████████████████████████████▎                                                                              | 87/287 [15:28<35:13, 10.57s/it]
+
hellaswag_vi:  31%|██████████████████████████████████▋                                                                              | 88/287 [15:38<34:49, 10.50s/it]
+
hellaswag_vi:  31%|███████████████████████████████████                                                                              | 89/287 [15:49<34:46, 10.54s/it]
+
hellaswag_vi:  31%|███████████████████████████████████▍                                                                             | 90/287 [15:59<34:14, 10.43s/it]
+
hellaswag_vi:  32%|███████████████████████████████████▊                                                                             | 91/287 [16:10<34:15, 10.49s/it]
+
hellaswag_vi:  32%|████████████████████████████████████▏                                                                            | 92/287 [16:21<34:39, 10.66s/it]
+
hellaswag_vi:  32%|████████████████████████████████████▌                                                                            | 93/287 [16:31<33:37, 10.40s/it]
+
hellaswag_vi:  33%|█████████████████████████████████████                                                                            | 94/287 [16:40<32:46, 10.19s/it]
+
hellaswag_vi:  33%|█████████████████████████████████████▍                                                                           | 95/287 [16:52<33:43, 10.54s/it]
+
hellaswag_vi:  33%|█████████████████████████████████████▊                                                                           | 96/287 [17:02<33:28, 10.52s/it]
+
hellaswag_vi:  34%|██████████████████████████████████████▏                                                                          | 97/287 [17:13<33:14, 10.50s/it]
+
hellaswag_vi:  34%|██████████████████████████████████████▌                                                                          | 98/287 [17:23<33:00, 10.48s/it]
+
hellaswag_vi:  34%|██████████████████████████████████████▉                                                                          | 99/287 [17:34<33:05, 10.56s/it]
+
hellaswag_vi:  35%|███████████████████████████████████████                                                                         | 100/287 [17:45<33:10, 10.65s/it]
+
hellaswag_vi:  35%|███████████████████████████████████████▍                                                                        | 101/287 [17:55<32:59, 10.64s/it]
+
hellaswag_vi:  36%|███████████████████████████████████████▊                                                                        | 102/287 [18:06<33:15, 10.78s/it]
+
hellaswag_vi:  36%|████████████████████████████████████████▏                                                                       | 103/287 [18:17<32:59, 10.76s/it]
+
hellaswag_vi:  36%|████████████████████████████████████████▌                                                                       | 104/287 [18:28<32:57, 10.81s/it]
+
hellaswag_vi:  37%|████████████████████████████████████████▉                                                                       | 105/287 [18:38<31:58, 10.54s/it]
+
hellaswag_vi:  37%|█████████████████████████████████████████▎                                                                      | 106/287 [18:49<32:37, 10.82s/it]
+
hellaswag_vi:  37%|█████████████████████████████████████████▊                                                                      | 107/287 [19:00<32:24, 10.80s/it]
+
hellaswag_vi:  38%|██████████████████████████████████████████▏                                                                     | 108/287 [19:11<32:38, 10.94s/it]
+
hellaswag_vi:  38%|██████████████████████████████████████████▌                                                                     | 109/287 [19:22<31:52, 10.74s/it]
+
hellaswag_vi:  38%|██████████████████████████████████████████▉                                                                     | 110/287 [19:32<31:44, 10.76s/it]
+
hellaswag_vi:  39%|███████████████████████████████████████████▎                                                                    | 111/287 [19:43<31:26, 10.72s/it]
+
hellaswag_vi:  39%|███████████████████████████████████████████▋                                                                    | 112/287 [19:53<30:37, 10.50s/it]
+
hellaswag_vi:  39%|████████████████████████████████████████████                                                                    | 113/287 [20:04<30:30, 10.52s/it]
+
hellaswag_vi:  40%|████████████████████████████████████████████▍                                                                   | 114/287 [20:14<30:18, 10.51s/it]
+
hellaswag_vi:  40%|████████████████████████████████████████████▉                                                                   | 115/287 [20:25<30:00, 10.47s/it]
+
hellaswag_vi:  40%|█████████████████████████████████████████████▎                                                                  | 116/287 [20:35<29:59, 10.53s/it]
+
hellaswag_vi:  41%|█████████████████████████████████████████████▋                                                                  | 117/287 [20:46<30:24, 10.73s/it]
+
hellaswag_vi:  41%|██████████████████████████████████████████████                                                                  | 118/287 [20:56<29:26, 10.45s/it]
+
hellaswag_vi:  41%|██████████████████████████████████████████████▍                                                                 | 119/287 [21:07<29:09, 10.42s/it]
+
hellaswag_vi:  42%|██████████████████████████████████████████████▊                                                                 | 120/287 [21:17<29:21, 10.55s/it]
+
hellaswag_vi:  42%|███████████████████████████████████████████████▏                                                                | 121/287 [21:28<29:07, 10.53s/it]
+
hellaswag_vi:  43%|███████████████████████████████████████████████▌                                                                | 122/287 [21:39<29:14, 10.64s/it]
+
hellaswag_vi:  43%|████████████████████████████████████████████████                                                                | 123/287 [21:49<28:50, 10.55s/it]
+
hellaswag_vi:  43%|████████████████████████████████████████████████▍                                                               | 124/287 [22:00<29:02, 10.69s/it]
+
hellaswag_vi:  44%|████████████████████████████████████████████████▊                                                               | 125/287 [22:11<28:56, 10.72s/it]
+
hellaswag_vi:  44%|█████████████████████████████████████████████████▏                                                              | 126/287 [22:22<28:48, 10.74s/it]
+
hellaswag_vi:  44%|█████████████████████████████████████████████████▌                                                              | 127/287 [22:32<28:36, 10.73s/it]
+
hellaswag_vi:  45%|█████████████████████████████████████████████████▉                                                              | 128/287 [22:43<28:25, 10.73s/it]
+
hellaswag_vi:  45%|██████████████████████████████████████████████████▎                                                             | 129/287 [22:54<28:15, 10.73s/it]
+
hellaswag_vi:  45%|██████████████████████████████████████████████████▋                                                             | 130/287 [23:04<27:54, 10.67s/it]
+
hellaswag_vi:  46%|███████████████████████████████████████████████████                                                             | 131/287 [23:15<27:48, 10.69s/it]
+
hellaswag_vi:  46%|███████████████████████████████████████████████████▌                                                            | 132/287 [23:26<27:27, 10.63s/it]
+
hellaswag_vi:  46%|███████████████████████████████████████████████████▉                                                            | 133/287 [23:36<27:13, 10.60s/it]
+
hellaswag_vi:  47%|████████████████████████████████████████████████████▎                                                           | 134/287 [23:46<26:18, 10.31s/it]
+
hellaswag_vi:  47%|████████████████████████████████████████████████████▋                                                           | 135/287 [23:57<26:38, 10.51s/it]
+
hellaswag_vi:  47%|█████████████████████████████████████████████████████                                                           | 136/287 [24:07<26:33, 10.55s/it]
+
hellaswag_vi:  48%|█████████████████████████████████████████████████████▍                                                          | 137/287 [24:19<26:57, 10.79s/it]
+
hellaswag_vi:  48%|█████████████████████████████████████████████████████▊                                                          | 138/287 [24:29<26:35, 10.71s/it]
+
hellaswag_vi:  48%|██████████████████████████████████████████████████████▏                                                         | 139/287 [24:40<26:27, 10.72s/it]
+
hellaswag_vi:  49%|██████████████████████████████████████████████████████▋                                                         | 140/287 [24:50<25:58, 10.60s/it]
+
hellaswag_vi:  49%|███████████████████████████████████████████████████████                                                         | 141/287 [25:01<25:56, 10.66s/it]
+
hellaswag_vi:  49%|███████████████████████████████████████████████████████▍                                                        | 142/287 [25:12<25:38, 10.61s/it]
+
hellaswag_vi:  50%|███████████████████████████████████████████████████████▊                                                        | 143/287 [25:22<25:37, 10.68s/it]
+
hellaswag_vi:  50%|████████████████████████████████████████████████████████▏                                                       | 144/287 [25:32<24:47, 10.41s/it]
+
hellaswag_vi:  51%|████████████████████████████████████████████████████████▌                                                       | 145/287 [25:43<24:54, 10.52s/it]
+
hellaswag_vi:  51%|████████████████████████████████████████████████████████▉                                                       | 146/287 [25:55<25:28, 10.84s/it]
+
hellaswag_vi:  51%|█████████████████████████████████████████████████████████▎                                                      | 147/287 [26:05<25:11, 10.79s/it]
+
hellaswag_vi:  52%|█████████████████████████████████████████████████████████▊                                                      | 148/287 [26:16<25:12, 10.88s/it]
+
hellaswag_vi:  52%|██████████████████████████████████████████████████████████▏                                                     | 149/287 [26:27<25:02, 10.89s/it]
+
hellaswag_vi:  52%|██████████████████████████████████████████████████████████▌                                                     | 150/287 [26:37<24:20, 10.66s/it]
+
hellaswag_vi:  53%|██████████████████████████████████████████████████████████▉                                                     | 151/287 [26:49<24:30, 10.81s/it]
+
hellaswag_vi:  53%|███████████████████████████████████████████████████████████▎                                                    | 152/287 [26:59<24:23, 10.84s/it]
+
hellaswag_vi:  53%|███████████████████████████████████████████████████████████▋                                                    | 153/287 [27:10<24:10, 10.82s/it]
+
hellaswag_vi:  54%|████████████████████████████████████████████████████████████                                                    | 154/287 [27:21<23:52, 10.77s/it]
+
hellaswag_vi:  54%|████████████████████████████████████████████████████████████▍                                                   | 155/287 [27:32<23:48, 10.83s/it]
+
hellaswag_vi:  54%|████████████████████████████████████████████████████████████▉                                                   | 156/287 [27:42<23:25, 10.73s/it]
+
hellaswag_vi:  55%|█████████████████████████████████████████████████████████████▎                                                  | 157/287 [27:53<23:29, 10.84s/it]
+
hellaswag_vi:  55%|█████████████████████████████████████████████████████████████▋                                                  | 158/287 [28:04<23:12, 10.79s/it]
+
hellaswag_vi:  55%|██████████████████████████████████████████████████████████████                                                  | 159/287 [28:15<23:12, 10.88s/it]
+
hellaswag_vi:  56%|██████████████████████████████████████████████████████████████▍                                                 | 160/287 [28:26<22:44, 10.74s/it]
+
hellaswag_vi:  56%|██████████████████████████████████████████████████████████████▊                                                 | 161/287 [28:36<22:31, 10.72s/it]
+
hellaswag_vi:  56%|███████████████████████████████████████████████████████████████▏                                                | 162/287 [28:47<22:30, 10.80s/it]
+
hellaswag_vi:  57%|███████████████████████████████████████████████████████████████▌                                                | 163/287 [28:58<22:21, 10.82s/it]
+
hellaswag_vi:  57%|████████████████████████████████████████████████████████████████                                                | 164/287 [29:09<22:00, 10.74s/it]
+
hellaswag_vi:  57%|████████████████████████████████████████████████████████████████▍                                               | 165/287 [29:19<21:42, 10.68s/it]
+
hellaswag_vi:  58%|████████████████████████████████████████████████████████████████▊                                               | 166/287 [29:30<21:32, 10.68s/it]
+
hellaswag_vi:  58%|█████████████████████████████████████████████████████████████████▏                                              | 167/287 [29:40<21:11, 10.59s/it]
+
hellaswag_vi:  59%|█████████████████████████████████████████████████████████████████▌                                              | 168/287 [29:51<20:56, 10.56s/it]
+
hellaswag_vi:  59%|█████████████████████████████████████████████████████████████████▉                                              | 169/287 [30:02<21:11, 10.77s/it]
+
hellaswag_vi:  59%|██████████████████████████████████████████████████████████████████▎                                             | 170/287 [30:12<20:37, 10.58s/it]
+
hellaswag_vi:  60%|██████████████████████████████████████████████████████████████████▋                                             | 171/287 [30:22<20:09, 10.43s/it]
+
hellaswag_vi:  60%|███████████████████████████████████████████████████████████████████                                             | 172/287 [30:33<20:05, 10.48s/it]
+
hellaswag_vi:  60%|███████████████████████████████████████████████████████████████████▌                                            | 173/287 [30:44<20:25, 10.75s/it]
+
hellaswag_vi:  61%|███████████████████████████████████████████████████████████████████▉                                            | 174/287 [30:54<19:37, 10.42s/it]
+
hellaswag_vi:  61%|████████████████████████████████████████████████████████████████████▎                                           | 175/287 [31:05<19:40, 10.54s/it]
+
hellaswag_vi:  61%|████████████████████████████████████████████████████████████████████▋                                           | 176/287 [31:15<19:26, 10.51s/it]
+
hellaswag_vi:  62%|█████████████████████████████████████████████████████████████████████                                           | 177/287 [31:26<19:28, 10.62s/it]
+
hellaswag_vi:  62%|█████████████████████████████████████████████████████████████████████▍                                          | 178/287 [31:37<19:18, 10.63s/it]
+
hellaswag_vi:  62%|█████████████████████████████████████████████████████████████████████▊                                          | 179/287 [31:47<18:56, 10.53s/it]
+
hellaswag_vi:  63%|██████████████████████████████████████████████████████████████████████▏                                         | 180/287 [31:58<18:46, 10.53s/it]
+
hellaswag_vi:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 181/287 [32:08<18:39, 10.56s/it]
+
hellaswag_vi:  63%|███████████████████████████████████████████████████████████████████████                                         | 182/287 [32:18<18:07, 10.36s/it]
+
hellaswag_vi:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 183/287 [32:28<17:36, 10.16s/it]
+
hellaswag_vi:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 184/287 [32:39<17:56, 10.45s/it]
+
hellaswag_vi:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 185/287 [32:49<17:31, 10.31s/it]
+
hellaswag_vi:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 186/287 [33:00<17:32, 10.42s/it]
+
hellaswag_vi:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 187/287 [33:10<17:27, 10.48s/it]
+
hellaswag_vi:  66%|█████████████████████████████████████████████████████████████████████████▎                                      | 188/287 [33:21<17:20, 10.51s/it]
+
hellaswag_vi:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 189/287 [33:32<17:20, 10.62s/it]
+
hellaswag_vi:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 190/287 [33:42<17:09, 10.61s/it]
+
hellaswag_vi:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 191/287 [33:53<17:04, 10.67s/it]
+
hellaswag_vi:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 192/287 [34:04<16:58, 10.72s/it]
+
hellaswag_vi:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 193/287 [34:15<16:54, 10.79s/it]
+
hellaswag_vi:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 194/287 [34:26<17:00, 10.98s/it]
+
hellaswag_vi:  68%|████████████████████████████████████████████████████████████████████████████                                    | 195/287 [34:36<16:29, 10.76s/it]
+
hellaswag_vi:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 196/287 [34:47<16:16, 10.73s/it]
+
hellaswag_vi:  69%|████████████████████████████████████████████████████████████████████████████▉                                   | 197/287 [34:58<16:01, 10.68s/it]
+
hellaswag_vi:  69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 198/287 [35:09<16:06, 10.86s/it]
+
hellaswag_vi:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 199/287 [35:20<16:02, 10.93s/it]
+
hellaswag_vi:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 200/287 [35:31<15:39, 10.80s/it]
+
hellaswag_vi:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 201/287 [35:41<15:21, 10.71s/it]
+
hellaswag_vi:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 202/287 [35:51<14:57, 10.56s/it]
+
hellaswag_vi:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 203/287 [36:02<14:49, 10.59s/it]
+
hellaswag_vi:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 204/287 [36:13<14:56, 10.81s/it]
+
hellaswag_vi:  71%|████████████████████████████████████████████████████████████████████████████████                                | 205/287 [36:25<15:03, 11.02s/it]
+
hellaswag_vi:  72%|████████████████████████████████████████████████████████████████████████████████▍                               | 206/287 [36:35<14:44, 10.92s/it]
+
hellaswag_vi:  72%|████████████████████████████████████████████████████████████████████████████████▊                               | 207/287 [36:46<14:21, 10.77s/it]
+
hellaswag_vi:  72%|█████████████████████████████████████████████████████████████████████████████████▏                              | 208/287 [36:57<14:10, 10.77s/it]
+
hellaswag_vi:  73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 209/287 [37:08<14:09, 10.89s/it]
+
hellaswag_vi:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 210/287 [37:18<13:52, 10.82s/it]
+
hellaswag_vi:  74%|██████████████████████████████████████████████████████████████████████████████████▎                             | 211/287 [37:28<13:15, 10.46s/it]
+
hellaswag_vi:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 212/287 [37:39<13:20, 10.67s/it]
+
hellaswag_vi:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 213/287 [37:51<13:24, 10.87s/it]
+
hellaswag_vi:  75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 214/287 [38:02<13:18, 10.94s/it]
+
hellaswag_vi:  75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 215/287 [38:12<12:58, 10.81s/it]
+
hellaswag_vi:  75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 216/287 [38:23<12:56, 10.93s/it]
+
hellaswag_vi:  76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 217/287 [38:34<12:37, 10.82s/it]
+
hellaswag_vi:  76%|█████████████████████████████████████████████████████████████████████████████████████                           | 218/287 [38:45<12:35, 10.95s/it]
+
hellaswag_vi:  76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 219/287 [38:56<12:18, 10.86s/it]
+
hellaswag_vi:  77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 220/287 [39:06<11:48, 10.58s/it]
+
hellaswag_vi:  77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 221/287 [39:16<11:41, 10.62s/it]
+
hellaswag_vi:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 222/287 [39:28<11:44, 10.84s/it]
+
hellaswag_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████                         | 223/287 [39:39<11:34, 10.85s/it]
+
hellaswag_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 224/287 [39:49<11:18, 10.78s/it]
+
hellaswag_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 225/287 [40:00<11:02, 10.69s/it]
+
hellaswag_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 226/287 [40:11<10:55, 10.74s/it]
+
hellaswag_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 227/287 [40:20<10:26, 10.44s/it]
+
hellaswag_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 228/287 [40:30<09:56, 10.11s/it]
+
hellaswag_vi:  80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 229/287 [40:41<10:06, 10.45s/it]
+
hellaswag_vi:  80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 230/287 [40:52<10:02, 10.56s/it]
+
hellaswag_vi:  80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 231/287 [41:03<10:02, 10.76s/it]
+
hellaswag_vi:  81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 232/287 [41:13<09:45, 10.64s/it]
+
hellaswag_vi:  81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 233/287 [41:25<09:42, 10.78s/it]
+
hellaswag_vi:  82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 234/287 [41:35<09:28, 10.72s/it]
+
hellaswag_vi:  82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 235/287 [41:46<09:24, 10.86s/it]
+
hellaswag_vi:  82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 236/287 [41:57<09:08, 10.76s/it]
+
hellaswag_vi:  83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 237/287 [42:08<09:09, 10.99s/it]
+
hellaswag_vi:  83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 238/287 [42:19<08:52, 10.88s/it]
+
hellaswag_vi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 239/287 [42:29<08:34, 10.72s/it]
+
hellaswag_vi:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 240/287 [42:40<08:22, 10.69s/it]
+
hellaswag_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 241/287 [42:50<08:10, 10.65s/it]
+
hellaswag_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 242/287 [43:01<07:57, 10.62s/it]
+
hellaswag_vi:  85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 243/287 [43:12<07:58, 10.87s/it]
+
hellaswag_vi:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 244/287 [43:24<07:50, 10.95s/it]
+
hellaswag_vi:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 245/287 [43:34<07:33, 10.80s/it]
+
hellaswag_vi:  86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 246/287 [43:45<07:29, 10.97s/it]
+
hellaswag_vi:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▍               | 247/287 [43:56<07:12, 10.81s/it]
+
hellaswag_vi:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊               | 248/287 [44:07<07:01, 10.80s/it]
+
hellaswag_vi:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▏              | 249/287 [44:17<06:46, 10.70s/it]
+
hellaswag_vi:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▌              | 250/287 [44:28<06:38, 10.78s/it]
+
hellaswag_vi:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉              | 251/287 [44:39<06:33, 10.92s/it]
+
hellaswag_vi:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▎             | 252/287 [44:50<06:19, 10.84s/it]
+
hellaswag_vi:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▋             | 253/287 [45:00<05:57, 10.52s/it]
+
hellaswag_vi:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████             | 254/287 [45:11<05:49, 10.60s/it]
+
hellaswag_vi:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▌            | 255/287 [45:21<05:35, 10.49s/it]
+
hellaswag_vi:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▉            | 256/287 [45:33<05:37, 10.89s/it]
+
hellaswag_vi:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 257/287 [45:43<05:26, 10.87s/it]
+
hellaswag_vi:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 258/287 [45:54<05:14, 10.85s/it]
+
hellaswag_vi:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████           | 259/287 [46:05<05:06, 10.94s/it]
+
hellaswag_vi:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 260/287 [46:16<04:51, 10.78s/it]
+
hellaswag_vi:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 261/287 [46:27<04:41, 10.81s/it]
+
hellaswag_vi:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 262/287 [46:37<04:28, 10.73s/it]
+
hellaswag_vi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 263/287 [46:48<04:15, 10.65s/it]
+
hellaswag_vi:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 264/287 [46:59<04:07, 10.76s/it]
+
hellaswag_vi:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 265/287 [47:10<03:59, 10.87s/it]
+
hellaswag_vi:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 266/287 [47:21<03:47, 10.83s/it]
+
hellaswag_vi:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 267/287 [47:31<03:34, 10.72s/it]
+
hellaswag_vi:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 268/287 [47:42<03:24, 10.78s/it]
+
hellaswag_vi:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 269/287 [47:53<03:13, 10.77s/it]
+
hellaswag_vi:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 270/287 [48:03<03:01, 10.69s/it]
+
hellaswag_vi:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 271/287 [48:14<02:52, 10.81s/it]
+
hellaswag_vi:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 272/287 [48:25<02:43, 10.91s/it]
+
hellaswag_vi:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 273/287 [48:36<02:31, 10.82s/it]
+
hellaswag_vi:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 274/287 [48:47<02:19, 10.75s/it]
+
hellaswag_vi:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 275/287 [48:57<02:09, 10.76s/it]
+
hellaswag_vi:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 276/287 [49:07<01:55, 10.52s/it]
+
hellaswag_vi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 277/287 [49:18<01:45, 10.51s/it]
+
hellaswag_vi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 278/287 [49:29<01:36, 10.74s/it]
+
hellaswag_vi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 279/287 [49:39<01:23, 10.47s/it]
+
hellaswag_vi:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 280/287 [49:49<01:11, 10.24s/it]
+
hellaswag_vi:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 281/287 [49:59<01:02, 10.35s/it]
+
hellaswag_vi:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 282/287 [50:09<00:50, 10.17s/it]
+
hellaswag_vi:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 283/287 [50:20<00:42, 10.52s/it]
+
hellaswag_vi:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 284/287 [50:31<00:31, 10.61s/it]
+
hellaswag_vi:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 285/287 [50:42<00:21, 10.72s/it]
+
hellaswag_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 286/287 [50:53<00:10, 10.90s/it]
+
hellaswag_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [51:00<00:00,  9.52s/it]
hellaswag_vi: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 287/287 [51:00<00:00, 10.66s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_vi_acc 0.3195808775376555
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_vi_acc_norm 0.38626937349923596
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:59:53,607 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:59:53,607 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:53,739 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:59:53,739 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:53,870 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:59:53,870 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:54,001 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:59:54,002 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 13:59:54,002 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 13:59:54,135 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 13:59:54,135 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'hellaswag_vi_acc'}
+2024-05-30 13:59:54,202 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 13:59:54,202 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1199, 'value': 0.3195808775376555}
+2024-05-30 13:59:54,269 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:59:54,915 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:59:54,915 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:55,041 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:59:55,041 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:55,168 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:59:55,168 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:55,294 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:59:55,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 13:59:55,295 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 13:59:55,422 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 13:59:55,422 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_vi_acc_norm'}
+2024-05-30 13:59:55,487 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 13:59:55,487 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1200, 'value': 0.38626937349923596}
+2024-05-30 13:59:55,550 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  49%|█████████████████████████████████████████████████████▏                                                      | 61/124 [31:12:24<63:59:04, 3656.25s/it]['hellaswag_zh']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 13:59:56,195 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 13:59:56,195 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:56,322 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 13:59:56,322 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:56,449 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 13:59:56,449 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 13:59:56,575 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 13:59:56,576 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 13:59:56,576 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'hellaswag_zh'}
+2024-05-30 13:59:56,704 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=hellaswag_zh task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 1000 examples [00:00, 6844.33 examples/s]
+
Generating validation split: 3000 examples [00:00, 12388.51 examples/s]
+
Generating validation split: 5000 examples [00:00, 14496.73 examples/s]
+
Generating validation split: 7000 examples [00:00, 15553.34 examples/s]
+
Generating validation split: 9000 examples [00:00, 16156.72 examples/s]
Generating validation split: 9266 examples [00:00, 14655.47 examples/s]
+Loaded 9266 examples
+Running loglikelihood requests
+
+
hellaswag_zh:   0%|                                                                                                                          | 0/290 [00:00<?, ?it/s]
+
hellaswag_zh:   0%|▍                                                                                                                 | 1/290 [00:09<44:52,  9.32s/it]
+
hellaswag_zh:   1%|▊                                                                                                                 | 2/290 [00:17<42:23,  8.83s/it]
+
hellaswag_zh:   1%|█▏                                                                                                                | 3/290 [00:27<43:32,  9.10s/it]
+
hellaswag_zh:   1%|█▌                                                                                                                | 4/290 [00:35<42:09,  8.85s/it]
+
hellaswag_zh:   2%|█▉                                                                                                                | 5/290 [00:44<41:24,  8.72s/it]
+
hellaswag_zh:   2%|██▎                                                                                                               | 6/290 [00:53<42:03,  8.89s/it]
+
hellaswag_zh:   2%|██▊                                                                                                               | 7/290 [01:02<41:45,  8.85s/it]
+
hellaswag_zh:   3%|███▏                                                                                                              | 8/290 [01:10<41:06,  8.75s/it]
+
hellaswag_zh:   3%|███▌                                                                                                              | 9/290 [01:19<40:46,  8.71s/it]
+
hellaswag_zh:   3%|███▉                                                                                                             | 10/290 [01:27<40:36,  8.70s/it]
+
hellaswag_zh:   4%|████▎                                                                                                            | 11/290 [01:36<40:26,  8.70s/it]
+
hellaswag_zh:   4%|████▋                                                                                                            | 12/290 [01:45<40:13,  8.68s/it]
+
hellaswag_zh:   4%|█████                                                                                                            | 13/290 [01:54<40:11,  8.71s/it]
+
hellaswag_zh:   5%|█████▍                                                                                                           | 14/290 [02:03<40:48,  8.87s/it]
+
hellaswag_zh:   5%|█████▊                                                                                                           | 15/290 [02:11<40:01,  8.73s/it]
+
hellaswag_zh:   6%|██████▏                                                                                                          | 16/290 [02:20<40:00,  8.76s/it]
+
hellaswag_zh:   6%|██████▌                                                                                                          | 17/290 [02:29<39:27,  8.67s/it]
+
hellaswag_zh:   6%|███████                                                                                                          | 18/290 [02:37<39:18,  8.67s/it]
+
hellaswag_zh:   7%|███████▍                                                                                                         | 19/290 [02:46<39:02,  8.64s/it]
+
hellaswag_zh:   7%|███████▊                                                                                                         | 20/290 [02:55<39:18,  8.74s/it]
+
hellaswag_zh:   7%|████████▏                                                                                                        | 21/290 [03:04<40:25,  9.02s/it]
+
hellaswag_zh:   8%|████████▌                                                                                                        | 22/290 [03:13<39:10,  8.77s/it]
+
hellaswag_zh:   8%|████████▉                                                                                                        | 23/290 [03:22<39:32,  8.88s/it]
+
hellaswag_zh:   8%|█████████▎                                                                                                       | 24/290 [03:31<39:55,  9.01s/it]
+
hellaswag_zh:   9%|█████████▋                                                                                                       | 25/290 [03:40<39:01,  8.84s/it]
+
hellaswag_zh:   9%|██████████▏                                                                                                      | 26/290 [03:48<39:04,  8.88s/it]
+
hellaswag_zh:   9%|██████████▌                                                                                                      | 27/290 [03:57<38:15,  8.73s/it]
+
hellaswag_zh:  10%|██████████▉                                                                                                      | 28/290 [04:06<38:54,  8.91s/it]
+
hellaswag_zh:  10%|███████████▎                                                                                                     | 29/290 [04:15<38:44,  8.90s/it]
+
hellaswag_zh:  10%|███████████▋                                                                                                     | 30/290 [04:23<37:56,  8.76s/it]
+
hellaswag_zh:  11%|████████████                                                                                                     | 31/290 [04:32<37:01,  8.58s/it]
+
hellaswag_zh:  11%|████████████▍                                                                                                    | 32/290 [04:40<36:23,  8.46s/it]
+
hellaswag_zh:  11%|████████████▊                                                                                                    | 33/290 [04:49<36:30,  8.52s/it]
+
hellaswag_zh:  12%|█████████████▏                                                                                                   | 34/290 [04:56<35:32,  8.33s/it]
+
hellaswag_zh:  12%|█████████████▋                                                                                                   | 35/290 [05:05<36:18,  8.54s/it]
+
hellaswag_zh:  12%|██████████████                                                                                                   | 36/290 [05:14<36:49,  8.70s/it]
+
hellaswag_zh:  13%|██████████████▍                                                                                                  | 37/290 [05:23<36:26,  8.64s/it]
+
hellaswag_zh:  13%|██████████████▊                                                                                                  | 38/290 [05:32<36:07,  8.60s/it]
+
hellaswag_zh:  13%|███████████████▏                                                                                                 | 39/290 [05:41<36:34,  8.74s/it]
+
hellaswag_zh:  14%|███████████████▌                                                                                                 | 40/290 [05:50<36:42,  8.81s/it]
+
hellaswag_zh:  14%|███████████████▉                                                                                                 | 41/290 [05:58<36:32,  8.81s/it]
+
hellaswag_zh:  14%|████████████████▎                                                                                                | 42/290 [06:07<36:06,  8.74s/it]
+
hellaswag_zh:  15%|████████████████▊                                                                                                | 43/290 [06:16<36:05,  8.77s/it]
+
hellaswag_zh:  15%|█████████████████▏                                                                                               | 44/290 [06:24<35:37,  8.69s/it]
+
hellaswag_zh:  16%|█████████████████▌                                                                                               | 45/290 [06:32<34:30,  8.45s/it]
+
hellaswag_zh:  16%|█████████████████▉                                                                                               | 46/290 [06:41<34:25,  8.47s/it]
+
hellaswag_zh:  16%|██████████████████▎                                                                                              | 47/290 [06:49<33:53,  8.37s/it]
+
hellaswag_zh:  17%|██████████████████▋                                                                                              | 48/290 [06:58<34:12,  8.48s/it]
+
hellaswag_zh:  17%|███████████████████                                                                                              | 49/290 [07:06<34:15,  8.53s/it]
+
hellaswag_zh:  17%|███████████████████▍                                                                                             | 50/290 [07:15<34:18,  8.58s/it]
+
hellaswag_zh:  18%|███████████████████▊                                                                                             | 51/290 [07:24<34:15,  8.60s/it]
+
hellaswag_zh:  18%|████████████████████▎                                                                                            | 52/290 [07:32<33:56,  8.56s/it]
+
hellaswag_zh:  18%|████████████████████▋                                                                                            | 53/290 [07:40<33:39,  8.52s/it]
+
hellaswag_zh:  19%|█████████████████████                                                                                            | 54/290 [07:49<33:45,  8.58s/it]
+
hellaswag_zh:  19%|█████████████████████▍                                                                                           | 55/290 [07:58<34:00,  8.68s/it]
+
hellaswag_zh:  19%|█████████████████████▊                                                                                           | 56/290 [08:07<34:25,  8.83s/it]
+
hellaswag_zh:  20%|██████████████████████▏                                                                                          | 57/290 [08:17<35:07,  9.04s/it]
+
hellaswag_zh:  20%|██████████████████████▌                                                                                          | 58/290 [08:25<34:34,  8.94s/it]
+
hellaswag_zh:  20%|██████████████████████▉                                                                                          | 59/290 [08:34<33:46,  8.77s/it]
+
hellaswag_zh:  21%|███████████████████████▍                                                                                         | 60/290 [08:42<33:18,  8.69s/it]
+
hellaswag_zh:  21%|███████████████████████▊                                                                                         | 61/290 [08:51<32:53,  8.62s/it]
+
hellaswag_zh:  21%|████████████████████████▏                                                                                        | 62/290 [08:59<32:47,  8.63s/it]
+
hellaswag_zh:  22%|████████████████████████▌                                                                                        | 63/290 [09:08<32:25,  8.57s/it]
+
hellaswag_zh:  22%|████████████████████████▉                                                                                        | 64/290 [09:17<32:27,  8.62s/it]
+
hellaswag_zh:  22%|█████████████████████████▎                                                                                       | 65/290 [09:25<32:05,  8.56s/it]
+
hellaswag_zh:  23%|█████████████████████████▋                                                                                       | 66/290 [09:33<31:47,  8.51s/it]
+
hellaswag_zh:  23%|██████████████████████████                                                                                       | 67/290 [09:42<31:42,  8.53s/it]
+
hellaswag_zh:  23%|██████████████████████████▍                                                                                      | 68/290 [09:50<31:26,  8.50s/it]
+
hellaswag_zh:  24%|██████████████████████████▉                                                                                      | 69/290 [09:59<31:51,  8.65s/it]
+
hellaswag_zh:  24%|███████████████████████████▎                                                                                     | 70/290 [10:08<31:31,  8.60s/it]
+
hellaswag_zh:  24%|███████████████████████████▋                                                                                     | 71/290 [10:16<31:12,  8.55s/it]
+
hellaswag_zh:  25%|████████████████████████████                                                                                     | 72/290 [10:25<30:47,  8.48s/it]
+
hellaswag_zh:  25%|████████████████████████████▍                                                                                    | 73/290 [10:33<30:48,  8.52s/it]
+
hellaswag_zh:  26%|████████████████████████████▊                                                                                    | 74/290 [10:42<31:13,  8.67s/it]
+
hellaswag_zh:  26%|█████████████████████████████▏                                                                                   | 75/290 [10:51<31:06,  8.68s/it]
+
hellaswag_zh:  26%|█████████████████████████████▌                                                                                   | 76/290 [11:00<31:00,  8.69s/it]
+
hellaswag_zh:  27%|██████████████████████████████                                                                                   | 77/290 [11:09<31:23,  8.84s/it]
+
hellaswag_zh:  27%|██████████████████████████████▍                                                                                  | 78/290 [11:17<30:46,  8.71s/it]
+
hellaswag_zh:  27%|██████████████████████████████▊                                                                                  | 79/290 [11:26<30:34,  8.69s/it]
+
hellaswag_zh:  28%|███████████████████████████████▏                                                                                 | 80/290 [11:35<30:35,  8.74s/it]
+
hellaswag_zh:  28%|███████████████████████████████▌                                                                                 | 81/290 [11:43<30:03,  8.63s/it]
+
hellaswag_zh:  28%|███████████████████████████████▉                                                                                 | 82/290 [11:52<30:08,  8.69s/it]
+
hellaswag_zh:  29%|████████████████████████████████▎                                                                                | 83/290 [12:00<29:31,  8.56s/it]
+
hellaswag_zh:  29%|████████████████████████████████▋                                                                                | 84/290 [12:09<29:21,  8.55s/it]
+
hellaswag_zh:  29%|█████████████████████████████████                                                                                | 85/290 [12:17<29:13,  8.55s/it]
+
hellaswag_zh:  30%|█████████████████████████████████▌                                                                               | 86/290 [12:26<29:10,  8.58s/it]
+
hellaswag_zh:  30%|█████████████████████████████████▉                                                                               | 87/290 [12:35<29:01,  8.58s/it]
+
hellaswag_zh:  30%|██████████████████████████████████▎                                                                              | 88/290 [12:43<28:19,  8.41s/it]
+
hellaswag_zh:  31%|██████████████████████████████████▋                                                                              | 89/290 [12:51<28:13,  8.43s/it]
+
hellaswag_zh:  31%|███████████████████████████████████                                                                              | 90/290 [13:00<28:06,  8.43s/it]
+
hellaswag_zh:  31%|███████████████████████████████████▍                                                                             | 91/290 [13:08<27:53,  8.41s/it]
+
hellaswag_zh:  32%|███████████████████████████████████▊                                                                             | 92/290 [13:16<27:48,  8.43s/it]
+
hellaswag_zh:  32%|████████████████████████████████████▏                                                                            | 93/290 [13:25<27:47,  8.46s/it]
+
hellaswag_zh:  32%|████████████████████████████████████▋                                                                            | 94/290 [13:34<28:23,  8.69s/it]
+
hellaswag_zh:  33%|█████████████████████████████████████                                                                            | 95/290 [13:43<28:11,  8.67s/it]
+
hellaswag_zh:  33%|█████████████████████████████████████▍                                                                           | 96/290 [13:51<27:52,  8.62s/it]
+
hellaswag_zh:  33%|█████████████████████████████████████▊                                                                           | 97/290 [14:01<28:31,  8.87s/it]
+
hellaswag_zh:  34%|██████████████████████████████████████▏                                                                          | 98/290 [14:09<27:58,  8.74s/it]
+
hellaswag_zh:  34%|██████████████████████████████████████▌                                                                          | 99/290 [14:18<27:38,  8.68s/it]
+
hellaswag_zh:  34%|██████████████████████████████████████▌                                                                         | 100/290 [14:26<27:29,  8.68s/it]
+
hellaswag_zh:  35%|███████████████████████████████████████                                                                         | 101/290 [14:34<26:40,  8.47s/it]
+
hellaswag_zh:  35%|███████████████████████████████████████▍                                                                        | 102/290 [14:42<26:13,  8.37s/it]
+
hellaswag_zh:  36%|███████████████████████████████████████▊                                                                        | 103/290 [14:52<26:52,  8.62s/it]
+
hellaswag_zh:  36%|████████████████████████████████████████▏                                                                       | 104/290 [15:01<27:19,  8.82s/it]
+
hellaswag_zh:  36%|████████████████████████████████████████▌                                                                       | 105/290 [15:09<26:53,  8.72s/it]
+
hellaswag_zh:  37%|████████████████████████████████████████▉                                                                       | 106/290 [15:18<26:28,  8.63s/it]
+
hellaswag_zh:  37%|█████████████████████████████████████████▎                                                                      | 107/290 [15:26<26:14,  8.61s/it]
+
hellaswag_zh:  37%|█████████████████████████████████████████▋                                                                      | 108/290 [15:35<26:05,  8.60s/it]
+
hellaswag_zh:  38%|██████████████████████████████████████████                                                                      | 109/290 [15:44<25:59,  8.61s/it]
+
hellaswag_zh:  38%|██████████████████████████████████████████▍                                                                     | 110/290 [15:52<25:41,  8.56s/it]
+
hellaswag_zh:  38%|██████████████████████████████████████████▊                                                                     | 111/290 [16:01<25:56,  8.69s/it]
+
hellaswag_zh:  39%|███████████████████████████████████████████▎                                                                    | 112/290 [16:10<25:43,  8.67s/it]
+
hellaswag_zh:  39%|███████████████████████████████████████████▋                                                                    | 113/290 [16:18<24:57,  8.46s/it]
+
hellaswag_zh:  39%|████████████████████████████████████████████                                                                    | 114/290 [16:26<24:56,  8.50s/it]
+
hellaswag_zh:  40%|████████████████████████████████████████████▍                                                                   | 115/290 [16:35<24:56,  8.55s/it]
+
hellaswag_zh:  40%|████████████████████████████████████████████▊                                                                   | 116/290 [16:44<25:11,  8.68s/it]
+
hellaswag_zh:  40%|█████████████████████████████████████████████▏                                                                  | 117/290 [16:53<25:27,  8.83s/it]
+
hellaswag_zh:  41%|█████████████████████████████████████████████▌                                                                  | 118/290 [17:02<25:40,  8.95s/it]
+
hellaswag_zh:  41%|█████████████████████████████████████████████▉                                                                  | 119/290 [17:11<25:35,  8.98s/it]
+
hellaswag_zh:  41%|██████████████████████████████████████████████▎                                                                 | 120/290 [17:20<25:02,  8.84s/it]
+
hellaswag_zh:  42%|██████████████████████████████████████████████▋                                                                 | 121/290 [17:29<25:15,  8.97s/it]
+
hellaswag_zh:  42%|███████████████████████████████████████████████                                                                 | 122/290 [17:38<24:52,  8.88s/it]
+
hellaswag_zh:  42%|███████████████████████████████████████████████▌                                                                | 123/290 [17:46<24:01,  8.63s/it]
+
hellaswag_zh:  43%|███████████████████████████████████████████████▉                                                                | 124/290 [17:55<24:31,  8.86s/it]
+
hellaswag_zh:  43%|████████████████████████████████████████████████▎                                                               | 125/290 [18:04<24:04,  8.76s/it]
+
hellaswag_zh:  43%|████████████████████████████████████████████████▋                                                               | 126/290 [18:13<23:53,  8.74s/it]
+
hellaswag_zh:  44%|█████████████████████████████████████████████████                                                               | 127/290 [18:21<23:31,  8.66s/it]
+
hellaswag_zh:  44%|█████████████████████████████████████████████████▍                                                              | 128/290 [18:29<23:13,  8.60s/it]
+
hellaswag_zh:  44%|█████████████████████████████████████████████████▊                                                              | 129/290 [18:38<23:01,  8.58s/it]
+
hellaswag_zh:  45%|██████████████████████████████████████████████████▏                                                             | 130/290 [18:47<22:59,  8.62s/it]
+
hellaswag_zh:  45%|██████████████████████████████████████████████████▌                                                             | 131/290 [18:55<22:18,  8.42s/it]
+
hellaswag_zh:  46%|██████████████████████████████████████████████████▉                                                             | 132/290 [19:03<22:20,  8.48s/it]
+
hellaswag_zh:  46%|███████████████████████████████████████████████████▎                                                            | 133/290 [19:12<22:24,  8.57s/it]
+
hellaswag_zh:  46%|███████████████████████████████████████████████████▊                                                            | 134/290 [19:21<22:27,  8.64s/it]
+
hellaswag_zh:  47%|████████████████████████████████████████████████████▏                                                           | 135/290 [19:30<22:44,  8.80s/it]
+
hellaswag_zh:  47%|████████████████████████████████████████████████████▌                                                           | 136/290 [19:39<22:29,  8.76s/it]
+
hellaswag_zh:  47%|████████████████████████████████████████████████████▉                                                           | 137/290 [19:47<22:09,  8.69s/it]
+
hellaswag_zh:  48%|█████████████████████████████████████████████████████▎                                                          | 138/290 [19:55<21:36,  8.53s/it]
+
hellaswag_zh:  48%|█████████████████████████████████████████████████████▋                                                          | 139/290 [20:04<21:17,  8.46s/it]
+
hellaswag_zh:  48%|██████████████████████████████████████████████████████                                                          | 140/290 [20:12<20:47,  8.32s/it]
+
hellaswag_zh:  49%|██████████████████████████████████████████████████████▍                                                         | 141/290 [20:21<21:08,  8.51s/it]
+
hellaswag_zh:  49%|██████████████████████████████████████████████████████▊                                                         | 142/290 [20:30<21:32,  8.73s/it]
+
hellaswag_zh:  49%|███████████████████████████████████████████████████████▏                                                        | 143/290 [20:38<21:10,  8.64s/it]
+
hellaswag_zh:  50%|███████████████████████████████████████████████████████▌                                                        | 144/290 [20:47<20:56,  8.61s/it]
+
hellaswag_zh:  50%|████████████████████████████████████████████████████████                                                        | 145/290 [20:56<20:58,  8.68s/it]
+
hellaswag_zh:  50%|████████████████████████████████████████████████████████▍                                                       | 146/290 [21:04<20:45,  8.65s/it]
+
hellaswag_zh:  51%|████████████████████████████████████████████████████████▊                                                       | 147/290 [21:13<20:29,  8.60s/it]
+
hellaswag_zh:  51%|█████████████████████████████████████████████████████████▏                                                      | 148/290 [21:22<20:39,  8.73s/it]
+
hellaswag_zh:  51%|█████████████████████████████████████████████████████████▌                                                      | 149/290 [21:30<20:26,  8.70s/it]
+
hellaswag_zh:  52%|█████████████████████████████████████████████████████████▉                                                      | 150/290 [21:40<20:35,  8.82s/it]
+
hellaswag_zh:  52%|██████████████████████████████████████████████████████████▎                                                     | 151/290 [21:48<20:11,  8.71s/it]
+
hellaswag_zh:  52%|██████████████████████████████████████████████████████████▋                                                     | 152/290 [21:57<20:10,  8.77s/it]
+
hellaswag_zh:  53%|███████████████████████████████████████████████████████████                                                     | 153/290 [22:05<19:46,  8.66s/it]
+
hellaswag_zh:  53%|███████████████████████████████████████████████████████████▍                                                    | 154/290 [22:14<19:38,  8.66s/it]
+
hellaswag_zh:  53%|███████████████████████████████████████████████████████████▊                                                    | 155/290 [22:22<19:16,  8.57s/it]
+
hellaswag_zh:  54%|████████████████████████████████████████████████████████████▏                                                   | 156/290 [22:32<19:36,  8.78s/it]
+
hellaswag_zh:  54%|████████████████████████████████████████████████████████████▋                                                   | 157/290 [22:40<19:17,  8.70s/it]
+
hellaswag_zh:  54%|█████████████████████████████████████████████████████████████                                                   | 158/290 [22:48<18:38,  8.47s/it]
+
hellaswag_zh:  55%|█████████████████████████████████████████████████████████████▍                                                  | 159/290 [22:57<18:29,  8.47s/it]
+
hellaswag_zh:  55%|█████████████████████████████████████████████████████████████▊                                                  | 160/290 [23:05<18:28,  8.53s/it]
+
hellaswag_zh:  56%|██████████████████████████████████████████████████████████████▏                                                 | 161/290 [23:14<18:51,  8.77s/it]
+
hellaswag_zh:  56%|██████████████████████████████████████████████████████████████▌                                                 | 162/290 [23:23<18:35,  8.71s/it]
+
hellaswag_zh:  56%|██████████████████████████████████████████████████████████████▉                                                 | 163/290 [23:31<18:14,  8.62s/it]
+
hellaswag_zh:  57%|███████████████████████████████████████████████████████████████▎                                                | 164/290 [23:40<18:13,  8.68s/it]
+
hellaswag_zh:  57%|███████████████████████████████████████████████████████████████▋                                                | 165/290 [23:49<18:03,  8.67s/it]
+
hellaswag_zh:  57%|████████████████████████████████████████████████████████████████                                                | 166/290 [23:57<17:49,  8.63s/it]
+
hellaswag_zh:  58%|████████████████████████████████████████████████████████████████▍                                               | 167/290 [24:06<17:39,  8.61s/it]
+
hellaswag_zh:  58%|████████████████████████████████████████████████████████████████▉                                               | 168/290 [24:15<17:51,  8.79s/it]
+
hellaswag_zh:  58%|█████████████████████████████████████████████████████████████████▎                                              | 169/290 [24:24<17:36,  8.73s/it]
+
hellaswag_zh:  59%|█████████████████████████████████████████████████████████████████▋                                              | 170/290 [24:33<17:49,  8.91s/it]
+
hellaswag_zh:  59%|██████████████████████████████████████████████████████████████████                                              | 171/290 [24:41<17:06,  8.63s/it]
+
hellaswag_zh:  59%|██████████████████████████████████████████████████████████████████▍                                             | 172/290 [24:51<17:24,  8.85s/it]
+
hellaswag_zh:  60%|██████████████████████████████████████████████████████████████████▊                                             | 173/290 [24:59<17:05,  8.76s/it]
+
hellaswag_zh:  60%|███████████████████████████████████████████████████████████████████▏                                            | 174/290 [25:08<16:54,  8.74s/it]
+
hellaswag_zh:  60%|███████████████████████████████████████████████████████████████████▌                                            | 175/290 [25:16<16:34,  8.64s/it]
+
hellaswag_zh:  61%|███████████████████████████████████████████████████████████████████▉                                            | 176/290 [25:24<16:02,  8.45s/it]
+
hellaswag_zh:  61%|████████████████████████████████████████████████████████████████████▎                                           | 177/290 [25:33<16:00,  8.50s/it]
+
hellaswag_zh:  61%|████████████████████████████████████████████████████████████████████▋                                           | 178/290 [25:41<15:51,  8.49s/it]
+
hellaswag_zh:  62%|█████████████████████████████████████████████████████████████████████▏                                          | 179/290 [25:50<15:55,  8.61s/it]
+
hellaswag_zh:  62%|█████████████████████████████████████████████████████████████████████▌                                          | 180/290 [25:59<15:45,  8.60s/it]
+
hellaswag_zh:  62%|█████████████████████████████████████████████████████████████████████▉                                          | 181/290 [26:07<15:33,  8.57s/it]
+
hellaswag_zh:  63%|██████████████████████████████████████████████████████████████████████▎                                         | 182/290 [26:15<15:14,  8.47s/it]
+
hellaswag_zh:  63%|██████████████████████████████████████████████████████████████████████▋                                         | 183/290 [26:24<15:15,  8.56s/it]
+
hellaswag_zh:  63%|███████████████████████████████████████████████████████████████████████                                         | 184/290 [26:33<15:06,  8.55s/it]
+
hellaswag_zh:  64%|███████████████████████████████████████████████████████████████████████▍                                        | 185/290 [26:42<15:13,  8.70s/it]
+
hellaswag_zh:  64%|███████████████████████████████████████████████████████████████████████▊                                        | 186/290 [26:50<15:02,  8.68s/it]
+
hellaswag_zh:  64%|████████████████████████████████████████████████████████████████████████▏                                       | 187/290 [26:59<14:55,  8.70s/it]
+
hellaswag_zh:  65%|████████████████████████████████████████████████████████████████████████▌                                       | 188/290 [27:08<14:43,  8.66s/it]
+
hellaswag_zh:  65%|████████████████████████████████████████████████████████████████████████▉                                       | 189/290 [27:16<14:28,  8.59s/it]
+
hellaswag_zh:  66%|█████████████████████████████████████████████████████████████████████████▍                                      | 190/290 [27:24<14:06,  8.47s/it]
+
hellaswag_zh:  66%|█████████████████████████████████████████████████████████████████████████▊                                      | 191/290 [27:33<14:15,  8.64s/it]
+
hellaswag_zh:  66%|██████████████████████████████████████████████████████████████████████████▏                                     | 192/290 [27:42<14:01,  8.59s/it]
+
hellaswag_zh:  67%|██████████████████████████████████████████████████████████████████████████▌                                     | 193/290 [27:51<14:08,  8.75s/it]
+
hellaswag_zh:  67%|██████████████████████████████████████████████████████████████████████████▉                                     | 194/290 [28:00<13:55,  8.70s/it]
+
hellaswag_zh:  67%|███████████████████████████████████████████████████████████████████████████▎                                    | 195/290 [28:08<13:42,  8.66s/it]
+
hellaswag_zh:  68%|███████████████████████████████████████████████████████████████████████████▋                                    | 196/290 [28:17<13:51,  8.85s/it]
+
hellaswag_zh:  68%|████████████████████████████████████████████████████████████████████████████                                    | 197/290 [28:26<13:34,  8.76s/it]
+
hellaswag_zh:  68%|████████████████████████████████████████████████████████████████████████████▍                                   | 198/290 [28:35<13:34,  8.85s/it]
+
hellaswag_zh:  69%|████████████████████████████████████████████████████████████████████████████▊                                   | 199/290 [28:44<13:25,  8.85s/it]
+
hellaswag_zh:  69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 200/290 [28:52<12:54,  8.60s/it]
+
hellaswag_zh:  69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 201/290 [29:01<12:46,  8.61s/it]
+
hellaswag_zh:  70%|██████████████████████████████████████████████████████████████████████████████                                  | 202/290 [29:09<12:41,  8.66s/it]
+
hellaswag_zh:  70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 203/290 [29:18<12:33,  8.66s/it]
+
hellaswag_zh:  70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 204/290 [29:27<12:37,  8.81s/it]
+
hellaswag_zh:  71%|███████████████████████████████████████████████████████████████████████████████▏                                | 205/290 [29:35<12:13,  8.63s/it]
+
hellaswag_zh:  71%|███████████████████████████████████████████████████████████████████████████████▌                                | 206/290 [29:44<12:06,  8.65s/it]
+
hellaswag_zh:  71%|███████████████████████████████████████████████████████████████████████████████▉                                | 207/290 [29:53<11:58,  8.66s/it]
+
hellaswag_zh:  72%|████████████████████████████████████████████████████████████████████████████████▎                               | 208/290 [30:01<11:44,  8.59s/it]
+
hellaswag_zh:  72%|████████████████████████████████████████████████████████████████████████████████▋                               | 209/290 [30:10<11:49,  8.76s/it]
+
hellaswag_zh:  72%|█████████████████████████████████████████████████████████████████████████████████                               | 210/290 [30:19<11:39,  8.75s/it]
+
hellaswag_zh:  73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 211/290 [30:28<11:26,  8.69s/it]
+
hellaswag_zh:  73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 212/290 [30:36<11:16,  8.67s/it]
+
hellaswag_zh:  73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 213/290 [30:44<10:52,  8.47s/it]
+
hellaswag_zh:  74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 214/290 [30:53<10:40,  8.43s/it]
+
hellaswag_zh:  74%|███████████████████████████████████████████████████████████████████████████████████                             | 215/290 [31:01<10:34,  8.46s/it]
+
hellaswag_zh:  74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 216/290 [31:10<10:32,  8.55s/it]
+
hellaswag_zh:  75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 217/290 [31:18<10:08,  8.33s/it]
+
hellaswag_zh:  75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 218/290 [31:27<10:17,  8.57s/it]
+
hellaswag_zh:  76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 219/290 [31:36<10:12,  8.63s/it]
+
hellaswag_zh:  76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 220/290 [31:44<09:56,  8.53s/it]
+
hellaswag_zh:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 221/290 [31:52<09:45,  8.49s/it]
+
hellaswag_zh:  77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 222/290 [32:00<09:30,  8.39s/it]
+
hellaswag_zh:  77%|██████████████████████████████████████████████████████████████████████████████████████                          | 223/290 [32:09<09:20,  8.37s/it]
+
hellaswag_zh:  77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 224/290 [32:17<09:13,  8.39s/it]
+
hellaswag_zh:  78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 225/290 [32:26<09:12,  8.50s/it]
+
hellaswag_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 226/290 [32:35<09:07,  8.56s/it]
+
hellaswag_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 227/290 [32:44<09:07,  8.69s/it]
+
hellaswag_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████                        | 228/290 [32:52<08:55,  8.63s/it]
+
hellaswag_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 229/290 [33:01<08:52,  8.73s/it]
+
hellaswag_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 230/290 [33:10<08:43,  8.73s/it]
+
hellaswag_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 231/290 [33:19<08:41,  8.83s/it]
+
hellaswag_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 232/290 [33:27<08:23,  8.68s/it]
+
hellaswag_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 233/290 [33:36<08:10,  8.60s/it]
+
hellaswag_zh:  81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 234/290 [33:44<07:59,  8.56s/it]
+
hellaswag_zh:  81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 235/290 [33:53<07:49,  8.54s/it]
+
hellaswag_zh:  81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 236/290 [34:01<07:39,  8.51s/it]
+
hellaswag_zh:  82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 237/290 [34:10<07:35,  8.60s/it]
+
hellaswag_zh:  82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 238/290 [34:18<07:25,  8.57s/it]
+
hellaswag_zh:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 239/290 [34:27<07:17,  8.57s/it]
+
hellaswag_zh:  83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 240/290 [34:35<07:05,  8.50s/it]
+
hellaswag_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 241/290 [34:45<07:11,  8.81s/it]
+
hellaswag_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 242/290 [34:53<06:59,  8.75s/it]
+
hellaswag_zh:  84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 243/290 [35:02<06:54,  8.83s/it]
+
hellaswag_zh:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 244/290 [35:11<06:41,  8.73s/it]
+
hellaswag_zh:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 245/290 [35:20<06:32,  8.71s/it]
+
hellaswag_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 246/290 [35:28<06:24,  8.73s/it]
+
hellaswag_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 247/290 [35:37<06:20,  8.85s/it]
+
hellaswag_zh:  86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 248/290 [35:46<06:08,  8.78s/it]
+
hellaswag_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▏               | 249/290 [35:55<05:58,  8.74s/it]
+
hellaswag_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌               | 250/290 [36:03<05:47,  8.68s/it]
+
hellaswag_zh:  87%|████████████████████████████████████████████████████████████████████████████████████████████████▉               | 251/290 [36:12<05:42,  8.78s/it]
+
hellaswag_zh:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▎              | 252/290 [36:22<05:39,  8.93s/it]
+
hellaswag_zh:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▋              | 253/290 [36:30<05:24,  8.77s/it]
+
hellaswag_zh:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████              | 254/290 [36:39<05:14,  8.74s/it]
+
hellaswag_zh:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▍             | 255/290 [36:47<05:03,  8.69s/it]
+
hellaswag_zh:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████▊             | 256/290 [36:56<04:59,  8.81s/it]
+
hellaswag_zh:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▎            | 257/290 [37:05<04:52,  8.86s/it]
+
hellaswag_zh:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████▋            | 258/290 [37:14<04:39,  8.75s/it]
+
hellaswag_zh:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████            | 259/290 [37:22<04:28,  8.65s/it]
+
hellaswag_zh:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 260/290 [37:31<04:21,  8.73s/it]
+
hellaswag_zh:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 261/290 [37:40<04:10,  8.65s/it]
+
hellaswag_zh:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 262/290 [37:48<03:59,  8.55s/it]
+
hellaswag_zh:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 263/290 [37:56<03:48,  8.45s/it]
+
hellaswag_zh:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 264/290 [38:05<03:44,  8.64s/it]
+
hellaswag_zh:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 265/290 [38:14<03:35,  8.63s/it]
+
hellaswag_zh:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 266/290 [38:23<03:30,  8.78s/it]
+
hellaswag_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████         | 267/290 [38:31<03:19,  8.69s/it]
+
hellaswag_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 268/290 [38:41<03:16,  8.92s/it]
+
hellaswag_zh:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 269/290 [38:49<03:04,  8.79s/it]
+
hellaswag_zh:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 270/290 [38:59<02:58,  8.91s/it]
+
hellaswag_zh:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 271/290 [39:07<02:47,  8.81s/it]
+
hellaswag_zh:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████       | 272/290 [39:16<02:39,  8.87s/it]
+
hellaswag_zh:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 273/290 [39:25<02:29,  8.76s/it]
+
hellaswag_zh:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 274/290 [39:34<02:20,  8.81s/it]
+
hellaswag_zh:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 275/290 [39:42<02:10,  8.73s/it]
+
hellaswag_zh:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 276/290 [39:51<02:02,  8.78s/it]
+
hellaswag_zh:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 277/290 [39:59<01:51,  8.59s/it]
+
hellaswag_zh:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 278/290 [40:08<01:44,  8.74s/it]
+
hellaswag_zh:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 279/290 [40:17<01:35,  8.67s/it]
+
hellaswag_zh:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 280/290 [40:25<01:26,  8.65s/it]
+
hellaswag_zh:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 281/290 [40:34<01:16,  8.53s/it]
+
hellaswag_zh:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 282/290 [40:42<01:08,  8.55s/it]
+
hellaswag_zh:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 283/290 [40:51<01:00,  8.64s/it]
+
hellaswag_zh:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 284/290 [41:00<00:53,  8.86s/it]
+
hellaswag_zh:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 285/290 [41:08<00:42,  8.56s/it]
+
hellaswag_zh:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 286/290 [41:17<00:34,  8.75s/it]
+
hellaswag_zh:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 287/290 [41:26<00:25,  8.55s/it]
+
hellaswag_zh:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 288/290 [41:35<00:17,  8.74s/it]
+
hellaswag_zh: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 289/290 [41:43<00:08,  8.68s/it]
+
hellaswag_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [41:50<00:00,  8.20s/it]
hellaswag_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 290/290 [41:50<00:00,  8.66s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_zh_acc 0.43254910425210447
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ hellaswag_zh_acc_norm 0.5909777681847614
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 14:41:49,929 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 14:41:49,929 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:50,056 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 14:41:50,056 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:50,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 14:41:50,183 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:50,310 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 14:41:50,311 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 14:41:50,311 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 14:41:50,439 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 14:41:50,439 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'hellaswag_zh_acc'}
+2024-05-30 14:41:50,503 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 14:41:50,503 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1201, 'value': 0.43254910425210447}
+2024-05-30 14:41:50,568 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 14:41:51,218 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 14:41:51,218 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:51,346 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 14:41:51,346 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:51,473 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 14:41:51,473 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:51,601 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 14:41:51,602 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 14:41:51,602 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 14:41:51,731 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 14:41:51,731 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'hellaswag_zh_acc_norm'}
+2024-05-30 14:41:51,796 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 14:41:51,796 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1202, 'value': 0.5909777681847614}
+2024-05-30 14:41:51,860 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  50%|██████████████████████████████████████████████████████                                                      | 62/124 [31:54:21<57:04:44, 3314.27s/it]['mmlu_ar']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 14:41:52,513 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 14:41:52,513 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:52,642 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 14:41:52,642 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:52,770 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 14:41:52,770 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 14:41:52,899 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 14:41:52,899 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 14:41:52,900 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ar'}
+2024-05-30 14:41:53,029 INFO sqlalchemy.engine.Engine ROLLBACK
+/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_mmlu contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_mmlu/m_mmlu.py
+You can avoid this message in future by passing the argument `trust_remote_code=True`.
+Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
+  warnings.warn(
+[Task(name=mmlu_ar task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1719 examples [00:00, 15782.38 examples/s]
+
Generating test split: 5000 examples [00:00, 25047.49 examples/s]
+
Generating test split: 8421 examples [00:00, 29110.76 examples/s]
+
Generating test split: 11830 examples [00:00, 31041.55 examples/s]
Generating test split: 12928 examples [00:00, 28436.32 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 274 examples [00:00, 26754.49 examples/s]
+Running loglikelihood requests
+
+
mmlu_ar:   0%|                                                                                                                               | 0/404 [00:00<?, ?it/s]
+
mmlu_ar:   0%|▎                                                                                                                    | 1/404 [00:11<1:18:16, 11.65s/it]
+
mmlu_ar:   0%|▌                                                                                                                    | 2/404 [00:23<1:17:55, 11.63s/it]
+
mmlu_ar:   1%|▊                                                                                                                    | 3/404 [00:35<1:20:05, 11.98s/it]
+
mmlu_ar:   1%|█▏                                                                                                                   | 4/404 [00:48<1:22:07, 12.32s/it]
+
mmlu_ar:   1%|█▍                                                                                                                   | 5/404 [01:02<1:26:30, 13.01s/it]
+
mmlu_ar:   1%|█▋                                                                                                                   | 6/404 [01:14<1:23:22, 12.57s/it]
+
mmlu_ar:   2%|██                                                                                                                   | 7/404 [01:26<1:21:54, 12.38s/it]
+
mmlu_ar:   2%|██▎                                                                                                                  | 8/404 [01:37<1:19:22, 12.03s/it]
+
mmlu_ar:   2%|██▌                                                                                                                  | 9/404 [01:48<1:17:36, 11.79s/it]
+
mmlu_ar:   2%|██▊                                                                                                                 | 10/404 [02:00<1:15:56, 11.56s/it]
+
mmlu_ar:   3%|███▏                                                                                                                | 11/404 [02:11<1:16:21, 11.66s/it]
+
mmlu_ar:   3%|███▍                                                                                                                | 12/404 [02:23<1:16:10, 11.66s/it]
+
mmlu_ar:   3%|███▋                                                                                                                | 13/404 [02:33<1:13:08, 11.22s/it]
+
mmlu_ar:   3%|████                                                                                                                | 14/404 [02:44<1:12:22, 11.13s/it]
+
mmlu_ar:   4%|████▎                                                                                                               | 15/404 [02:57<1:14:56, 11.56s/it]
+
mmlu_ar:   4%|████▌                                                                                                               | 16/404 [03:10<1:17:29, 11.98s/it]
+
mmlu_ar:   4%|████▉                                                                                                               | 17/404 [03:20<1:13:26, 11.39s/it]
+
mmlu_ar:   4%|█████▏                                                                                                              | 18/404 [03:30<1:11:55, 11.18s/it]
+
mmlu_ar:   5%|█████▍                                                                                                              | 19/404 [03:40<1:08:23, 10.66s/it]
+
mmlu_ar:   5%|█████▋                                                                                                              | 20/404 [03:51<1:08:55, 10.77s/it]
+
mmlu_ar:   5%|██████                                                                                                              | 21/404 [04:03<1:12:11, 11.31s/it]
+
mmlu_ar:   5%|██████▎                                                                                                             | 22/404 [04:15<1:12:09, 11.33s/it]
+
mmlu_ar:   6%|██████▌                                                                                                             | 23/404 [04:25<1:10:16, 11.07s/it]
+
mmlu_ar:   6%|██████▉                                                                                                             | 24/404 [04:37<1:11:34, 11.30s/it]
+
mmlu_ar:   6%|███████▏                                                                                                            | 25/404 [04:49<1:12:26, 11.47s/it]
+
mmlu_ar:   6%|███████▍                                                                                                            | 26/404 [04:59<1:08:48, 10.92s/it]
+
mmlu_ar:   7%|███████▊                                                                                                            | 27/404 [05:08<1:05:50, 10.48s/it]
+
mmlu_ar:   7%|████████                                                                                                            | 28/404 [05:19<1:07:17, 10.74s/it]
+
mmlu_ar:   7%|████████▎                                                                                                           | 29/404 [05:30<1:07:34, 10.81s/it]
+
mmlu_ar:   7%|████████▌                                                                                                           | 30/404 [05:43<1:09:50, 11.21s/it]
+
mmlu_ar:   8%|████████▉                                                                                                           | 31/404 [05:55<1:12:38, 11.68s/it]
+
mmlu_ar:   8%|█████████▏                                                                                                          | 32/404 [06:06<1:10:57, 11.44s/it]
+
mmlu_ar:   8%|█████████▍                                                                                                          | 33/404 [06:19<1:13:13, 11.84s/it]
+
mmlu_ar:   8%|█████████▊                                                                                                          | 34/404 [06:32<1:14:16, 12.04s/it]
+
mmlu_ar:   9%|██████████                                                                                                          | 35/404 [06:42<1:11:23, 11.61s/it]
+
mmlu_ar:   9%|██████████▎                                                                                                         | 36/404 [06:52<1:07:56, 11.08s/it]
+
mmlu_ar:   9%|██████████▌                                                                                                         | 37/404 [07:03<1:08:35, 11.21s/it]
+
mmlu_ar:   9%|██████████▉                                                                                                         | 38/404 [07:15<1:09:39, 11.42s/it]
+
mmlu_ar:  10%|███████████▏                                                                                                        | 39/404 [07:28<1:12:11, 11.87s/it]
+
mmlu_ar:  10%|███████████▍                                                                                                        | 40/404 [07:38<1:08:03, 11.22s/it]
+
mmlu_ar:  10%|███████████▊                                                                                                        | 41/404 [07:50<1:08:44, 11.36s/it]
+
mmlu_ar:  10%|████████████                                                                                                        | 42/404 [08:00<1:06:34, 11.03s/it]
+
mmlu_ar:  11%|████████████▎                                                                                                       | 43/404 [08:12<1:08:00, 11.30s/it]
+
mmlu_ar:  11%|████████████▋                                                                                                       | 44/404 [08:24<1:09:37, 11.60s/it]
+
mmlu_ar:  11%|████████████▉                                                                                                       | 45/404 [08:35<1:07:05, 11.21s/it]
+
mmlu_ar:  11%|█████████████▏                                                                                                      | 46/404 [08:46<1:07:48, 11.36s/it]
+
mmlu_ar:  12%|█████████████▍                                                                                                      | 47/404 [08:57<1:05:42, 11.04s/it]
+
mmlu_ar:  12%|█████████████▊                                                                                                      | 48/404 [09:09<1:07:37, 11.40s/it]
+
mmlu_ar:  12%|██████████████                                                                                                      | 49/404 [09:22<1:10:04, 11.84s/it]
+
mmlu_ar:  12%|██████████████▎                                                                                                     | 50/404 [09:32<1:07:57, 11.52s/it]
+
mmlu_ar:  13%|██████████████▋                                                                                                     | 51/404 [09:44<1:07:27, 11.47s/it]
+
mmlu_ar:  13%|██████████████▉                                                                                                     | 52/404 [09:55<1:06:30, 11.34s/it]
+
mmlu_ar:  13%|███████████████▏                                                                                                    | 53/404 [10:07<1:07:02, 11.46s/it]
+
mmlu_ar:  13%|███████████████▌                                                                                                    | 54/404 [10:20<1:10:40, 12.12s/it]
+
mmlu_ar:  14%|███████████████▊                                                                                                    | 55/404 [10:32<1:09:38, 11.97s/it]
+
mmlu_ar:  14%|████████████████                                                                                                    | 56/404 [10:43<1:08:26, 11.80s/it]
+
mmlu_ar:  14%|████████████████▎                                                                                                   | 57/404 [10:54<1:06:32, 11.50s/it]
+
mmlu_ar:  14%|████████████████▋                                                                                                   | 58/404 [11:04<1:03:56, 11.09s/it]
+
mmlu_ar:  15%|████████████████▉                                                                                                   | 59/404 [11:14<1:02:09, 10.81s/it]
+
mmlu_ar:  15%|█████████████████▏                                                                                                  | 60/404 [11:25<1:01:34, 10.74s/it]
+
mmlu_ar:  15%|█████████████████▌                                                                                                  | 61/404 [11:38<1:04:57, 11.36s/it]
+
mmlu_ar:  15%|█████████████████▊                                                                                                  | 62/404 [11:49<1:04:26, 11.31s/it]
+
mmlu_ar:  16%|██████████████████                                                                                                  | 63/404 [12:01<1:05:14, 11.48s/it]
+
mmlu_ar:  16%|██████████████████▍                                                                                                 | 64/404 [12:11<1:02:47, 11.08s/it]
+
mmlu_ar:  16%|██████████████████▋                                                                                                 | 65/404 [12:21<1:01:43, 10.92s/it]
+
mmlu_ar:  16%|██████████████████▉                                                                                                 | 66/404 [12:32<1:00:31, 10.74s/it]
+
mmlu_ar:  17%|███████████████████▏                                                                                                | 67/404 [12:43<1:00:38, 10.80s/it]
+
mmlu_ar:  17%|███████████████████▌                                                                                                | 68/404 [12:55<1:03:20, 11.31s/it]
+
mmlu_ar:  17%|███████████████████▊                                                                                                | 69/404 [13:07<1:04:21, 11.53s/it]
+
mmlu_ar:  17%|████████████████████                                                                                                | 70/404 [13:18<1:03:43, 11.45s/it]
+
mmlu_ar:  18%|████████████████████▍                                                                                               | 71/404 [13:30<1:04:06, 11.55s/it]
+
mmlu_ar:  18%|████████████████████▋                                                                                               | 72/404 [13:41<1:03:19, 11.44s/it]
+
mmlu_ar:  18%|████████████████████▉                                                                                               | 73/404 [13:53<1:03:11, 11.46s/it]
+
mmlu_ar:  18%|█████████████████████▏                                                                                              | 74/404 [14:04<1:02:26, 11.35s/it]
+
mmlu_ar:  19%|█████████████████████▌                                                                                              | 75/404 [14:16<1:03:41, 11.61s/it]
+
mmlu_ar:  19%|█████████████████████▊                                                                                              | 76/404 [14:27<1:01:40, 11.28s/it]
+
mmlu_ar:  19%|██████████████████████                                                                                              | 77/404 [14:39<1:02:51, 11.53s/it]
+
mmlu_ar:  19%|██████████████████████▍                                                                                             | 78/404 [14:50<1:02:27, 11.49s/it]
+
mmlu_ar:  20%|██████████████████████▋                                                                                             | 79/404 [15:02<1:03:04, 11.65s/it]
+
mmlu_ar:  20%|██████████████████████▉                                                                                             | 80/404 [15:14<1:02:24, 11.56s/it]
+
mmlu_ar:  20%|███████████████████████▎                                                                                            | 81/404 [15:25<1:02:01, 11.52s/it]
+
mmlu_ar:  20%|███████████████████████▌                                                                                            | 82/404 [15:38<1:03:22, 11.81s/it]
+
mmlu_ar:  21%|███████████████████████▊                                                                                            | 83/404 [15:48<1:00:43, 11.35s/it]
+
mmlu_ar:  21%|████████████████████████                                                                                            | 84/404 [16:02<1:04:11, 12.04s/it]
+
mmlu_ar:  21%|████████████████████████▊                                                                                             | 85/404 [16:11<59:19, 11.16s/it]
+
mmlu_ar:  21%|████████████████████████▋                                                                                           | 86/404 [16:23<1:01:42, 11.64s/it]
+
mmlu_ar:  22%|████████████████████████▉                                                                                           | 87/404 [16:36<1:03:20, 11.99s/it]
+
mmlu_ar:  22%|█████████████████████████▎                                                                                          | 88/404 [16:47<1:01:16, 11.64s/it]
+
mmlu_ar:  22%|█████████████████████████▌                                                                                          | 89/404 [16:58<1:00:06, 11.45s/it]
+
mmlu_ar:  22%|█████████████████████████▊                                                                                          | 90/404 [17:11<1:02:01, 11.85s/it]
+
mmlu_ar:  23%|██████████████████████████▏                                                                                         | 91/404 [17:23<1:01:44, 11.84s/it]
+
mmlu_ar:  23%|██████████████████████████▍                                                                                         | 92/404 [17:34<1:00:37, 11.66s/it]
+
mmlu_ar:  23%|███████████████████████████▏                                                                                          | 93/404 [17:44<58:49, 11.35s/it]
+
mmlu_ar:  23%|██████████████████████████▉                                                                                         | 94/404 [17:57<1:00:14, 11.66s/it]
+
mmlu_ar:  24%|███████████████████████████▎                                                                                        | 95/404 [18:09<1:00:19, 11.71s/it]
+
mmlu_ar:  24%|███████████████████████████▌                                                                                        | 96/404 [18:21<1:00:43, 11.83s/it]
+
mmlu_ar:  24%|███████████████████████████▊                                                                                        | 97/404 [18:36<1:05:10, 12.74s/it]
+
mmlu_ar:  24%|████████████████████████████▏                                                                                       | 98/404 [18:46<1:02:02, 12.17s/it]
+
mmlu_ar:  25%|████████████████████████████▍                                                                                       | 99/404 [18:59<1:01:36, 12.12s/it]
+
mmlu_ar:  25%|████████████████████████████▍                                                                                      | 100/404 [19:10<1:00:01, 11.85s/it]
+
mmlu_ar:  25%|████████████████████████████▊                                                                                      | 101/404 [19:22<1:00:14, 11.93s/it]
+
mmlu_ar:  25%|█████████████████████████████                                                                                      | 102/404 [19:36<1:02:58, 12.51s/it]
+
mmlu_ar:  25%|█████████████████████████████▊                                                                                       | 103/404 [19:46<59:33, 11.87s/it]
+
mmlu_ar:  26%|█████████████████████████████▌                                                                                     | 104/404 [19:59<1:00:27, 12.09s/it]
+
mmlu_ar:  26%|██████████████████████████████▍                                                                                      | 105/404 [20:10<59:30, 11.94s/it]
+
mmlu_ar:  26%|██████████████████████████████▋                                                                                      | 106/404 [20:21<56:58, 11.47s/it]
+
mmlu_ar:  26%|██████████████████████████████▉                                                                                      | 107/404 [20:33<58:44, 11.87s/it]
+
mmlu_ar:  27%|███████████████████████████████▎                                                                                     | 108/404 [20:44<56:12, 11.39s/it]
+
mmlu_ar:  27%|███████████████████████████████▌                                                                                     | 109/404 [20:53<53:30, 10.88s/it]
+
mmlu_ar:  27%|███████████████████████████████▊                                                                                     | 110/404 [21:07<57:00, 11.63s/it]
+
mmlu_ar:  27%|████████████████████████████████▏                                                                                    | 111/404 [21:17<54:37, 11.19s/it]
+
mmlu_ar:  28%|████████████████████████████████▍                                                                                    | 112/404 [21:30<56:28, 11.60s/it]
+
mmlu_ar:  28%|████████████████████████████████▋                                                                                    | 113/404 [21:41<55:45, 11.50s/it]
+
mmlu_ar:  28%|█████████████████████████████████                                                                                    | 114/404 [21:51<53:36, 11.09s/it]
+
mmlu_ar:  28%|█████████████████████████████████▎                                                                                   | 115/404 [22:03<55:09, 11.45s/it]
+
mmlu_ar:  29%|█████████████████████████████████▌                                                                                   | 116/404 [22:14<53:32, 11.15s/it]
+
mmlu_ar:  29%|█████████████████████████████████▉                                                                                   | 117/404 [22:26<54:58, 11.49s/it]
+
mmlu_ar:  29%|██████████████████████████████████▏                                                                                  | 118/404 [22:37<54:42, 11.48s/it]
+
mmlu_ar:  29%|██████████████████████████████████▍                                                                                  | 119/404 [22:48<53:39, 11.30s/it]
+
mmlu_ar:  30%|██████████████████████████████████▊                                                                                  | 120/404 [23:00<53:23, 11.28s/it]
+
mmlu_ar:  30%|███████████████████████████████████                                                                                  | 121/404 [23:11<53:11, 11.28s/it]
+
mmlu_ar:  30%|███████████████████████████████████▎                                                                                 | 122/404 [23:23<54:09, 11.52s/it]
+
mmlu_ar:  30%|███████████████████████████████████▌                                                                                 | 123/404 [23:35<54:23, 11.62s/it]
+
mmlu_ar:  31%|███████████████████████████████████▉                                                                                 | 124/404 [23:47<54:48, 11.74s/it]
+
mmlu_ar:  31%|████████████████████████████████████▏                                                                                | 125/404 [23:58<54:03, 11.63s/it]
+
mmlu_ar:  31%|████████████████████████████████████▍                                                                                | 126/404 [24:08<51:18, 11.07s/it]
+
mmlu_ar:  31%|████████████████████████████████████▊                                                                                | 127/404 [24:21<53:43, 11.64s/it]
+
mmlu_ar:  32%|█████████████████████████████████████                                                                                | 128/404 [24:34<55:40, 12.10s/it]
+
mmlu_ar:  32%|█████████████████████████████████████▎                                                                               | 129/404 [24:46<55:33, 12.12s/it]
+
mmlu_ar:  32%|█████████████████████████████████████▋                                                                               | 130/404 [24:56<52:03, 11.40s/it]
+
mmlu_ar:  32%|█████████████████████████████████████▉                                                                               | 131/404 [25:08<52:26, 11.53s/it]
+
mmlu_ar:  33%|██████████████████████████████████████▏                                                                              | 132/404 [25:19<51:13, 11.30s/it]
+
mmlu_ar:  33%|██████████████████████████████████████▌                                                                              | 133/404 [25:30<51:30, 11.40s/it]
+
mmlu_ar:  33%|██████████████████████████████████████▊                                                                              | 134/404 [25:42<51:43, 11.50s/it]
+
mmlu_ar:  33%|███████████████████████████████████████                                                                              | 135/404 [25:53<51:36, 11.51s/it]
+
mmlu_ar:  34%|███████████████████████████████████████▍                                                                             | 136/404 [26:04<50:31, 11.31s/it]
+
mmlu_ar:  34%|███████████████████████████████████████▋                                                                             | 137/404 [26:16<50:36, 11.37s/it]
+
mmlu_ar:  34%|███████████████████████████████████████▉                                                                             | 138/404 [26:26<49:20, 11.13s/it]
+
mmlu_ar:  34%|████████████████████████████████████████▎                                                                            | 139/404 [26:39<51:48, 11.73s/it]
+
mmlu_ar:  35%|████████████████████████████████████████▌                                                                            | 140/404 [26:51<50:54, 11.57s/it]
+
mmlu_ar:  35%|████████████████████████████████████████▊                                                                            | 141/404 [27:00<48:21, 11.03s/it]
+
mmlu_ar:  35%|█████████████████████████████████████████                                                                            | 142/404 [27:12<48:36, 11.13s/it]
+
mmlu_ar:  35%|█████████████████████████████████████████▍                                                                           | 143/404 [27:24<49:53, 11.47s/it]
+
mmlu_ar:  36%|█████████████████████████████████████████▋                                                                           | 144/404 [27:35<49:38, 11.45s/it]
+
mmlu_ar:  36%|█████████████████████████████████████████▉                                                                           | 145/404 [27:47<49:52, 11.56s/it]
+
mmlu_ar:  36%|██████████████████████████████████████████▎                                                                          | 146/404 [27:57<47:00, 10.93s/it]
+
mmlu_ar:  36%|██████████████████████████████████████████▌                                                                          | 147/404 [28:07<46:01, 10.75s/it]
+
mmlu_ar:  37%|██████████████████████████████████████████▊                                                                          | 148/404 [28:17<45:25, 10.65s/it]
+
mmlu_ar:  37%|███████████████████████████████████████████▏                                                                         | 149/404 [28:27<43:37, 10.26s/it]
+
mmlu_ar:  37%|███████████████████████████████████████████▍                                                                         | 150/404 [28:38<44:22, 10.48s/it]
+
mmlu_ar:  37%|███████████████████████████████████████████▋                                                                         | 151/404 [28:48<44:12, 10.48s/it]
+
mmlu_ar:  38%|████████████████████████████████████████████                                                                         | 152/404 [29:00<45:49, 10.91s/it]
+
mmlu_ar:  38%|████████████████████████████████████████████▎                                                                        | 153/404 [29:11<45:42, 10.93s/it]
+
mmlu_ar:  38%|████████████████████████████████████████████▌                                                                        | 154/404 [29:23<46:36, 11.19s/it]
+
mmlu_ar:  38%|████████████████████████████████████████████▉                                                                        | 155/404 [29:36<48:41, 11.73s/it]
+
mmlu_ar:  39%|█████████████████████████████████████████████▏                                                                       | 156/404 [29:46<46:47, 11.32s/it]
+
mmlu_ar:  39%|█████████████████████████████████████████████▍                                                                       | 157/404 [29:58<46:30, 11.30s/it]
+
mmlu_ar:  39%|█████████████████████████████████████████████▊                                                                       | 158/404 [30:11<48:20, 11.79s/it]
+
mmlu_ar:  39%|██████████████████████████████████████████████                                                                       | 159/404 [30:23<49:19, 12.08s/it]
+
mmlu_ar:  40%|██████████████████████████████████████████████▎                                                                      | 160/404 [30:33<46:04, 11.33s/it]
+
mmlu_ar:  40%|██████████████████████████████████████████████▋                                                                      | 161/404 [30:45<47:19, 11.69s/it]
+
mmlu_ar:  40%|██████████████████████████████████████████████▉                                                                      | 162/404 [30:57<47:04, 11.67s/it]
+
mmlu_ar:  40%|███████████████████████████████████████████████▏                                                                     | 163/404 [31:08<46:17, 11.53s/it]
+
mmlu_ar:  41%|███████████████████████████████████████████████▍                                                                     | 164/404 [31:21<47:54, 11.98s/it]
+
mmlu_ar:  41%|███████████████████████████████████████████████▊                                                                     | 165/404 [31:34<48:18, 12.13s/it]
+
mmlu_ar:  41%|████████████████████████████████████████████████                                                                     | 166/404 [31:45<47:40, 12.02s/it]
+
mmlu_ar:  41%|████████████████████████████████████████████████▎                                                                    | 167/404 [31:57<47:00, 11.90s/it]
+
mmlu_ar:  42%|████████████████████████████████████████████████▋                                                                    | 168/404 [32:09<47:03, 11.97s/it]
+
mmlu_ar:  42%|████████████████████████████████████████████████▉                                                                    | 169/404 [32:20<45:21, 11.58s/it]
+
mmlu_ar:  42%|█████████████████████████████████████████████████▏                                                                   | 170/404 [32:32<45:59, 11.79s/it]
+
mmlu_ar:  42%|█████████████████████████████████████████████████▌                                                                   | 171/404 [32:44<45:14, 11.65s/it]
+
mmlu_ar:  43%|█████████████████████████████████████████████████▊                                                                   | 172/404 [32:54<44:11, 11.43s/it]
+
mmlu_ar:  43%|██████████████████████████████████████████████████                                                                   | 173/404 [33:08<46:05, 11.97s/it]
+
mmlu_ar:  43%|██████████████████████████████████████████████████▍                                                                  | 174/404 [33:19<45:42, 11.92s/it]
+
mmlu_ar:  43%|██████████████████████████████████████████████████▋                                                                  | 175/404 [33:31<44:37, 11.69s/it]
+
mmlu_ar:  44%|██████████████████████████████████████████████████▉                                                                  | 176/404 [33:46<48:24, 12.74s/it]
+
mmlu_ar:  44%|███████████████████████████████████████████████████▎                                                                 | 177/404 [33:58<47:20, 12.52s/it]
+
mmlu_ar:  44%|███████████████████████████████████████████████████▌                                                                 | 178/404 [34:09<45:39, 12.12s/it]
+
mmlu_ar:  44%|███████████████████████████████████████████████████▊                                                                 | 179/404 [34:19<43:31, 11.60s/it]
+
mmlu_ar:  45%|████████████████████████████████████████████████████▏                                                                | 180/404 [34:30<41:49, 11.20s/it]
+
mmlu_ar:  45%|████████████████████████████████████████████████████▍                                                                | 181/404 [34:42<42:45, 11.51s/it]
+
mmlu_ar:  45%|████████████████████████████████████████████████████▋                                                                | 182/404 [34:54<42:51, 11.58s/it]
+
mmlu_ar:  45%|████████████████████████████████████████████████████▉                                                                | 183/404 [35:05<42:51, 11.64s/it]
+
mmlu_ar:  46%|█████████████████████████████████████████████████████▎                                                               | 184/404 [35:16<41:47, 11.40s/it]
+
mmlu_ar:  46%|█████████████████████████████████████████████████████▌                                                               | 185/404 [35:29<43:21, 11.88s/it]
+
mmlu_ar:  46%|█████████████████████████████████████████████████████▊                                                               | 186/404 [35:41<43:25, 11.95s/it]
+
mmlu_ar:  46%|██████████████████████████████████████████████████████▏                                                              | 187/404 [35:52<41:53, 11.58s/it]
+
mmlu_ar:  47%|██████████████████████████████████████████████████████▍                                                              | 188/404 [36:04<42:07, 11.70s/it]
+
mmlu_ar:  47%|██████████████████████████████████████████████████████▋                                                              | 189/404 [36:15<41:24, 11.56s/it]
+
mmlu_ar:  47%|███████████████████████████████████████████████████████                                                              | 190/404 [36:26<40:18, 11.30s/it]
+
mmlu_ar:  47%|███████████████████████████████████████████████████████▎                                                             | 191/404 [36:39<41:53, 11.80s/it]
+
mmlu_ar:  48%|███████████████████████████████████████████████████████▌                                                             | 192/404 [36:50<41:18, 11.69s/it]
+
mmlu_ar:  48%|███████████████████████████████████████████████████████▉                                                             | 193/404 [37:04<43:04, 12.25s/it]
+
mmlu_ar:  48%|████████████████████████████████████████████████████████▏                                                            | 194/404 [37:14<41:03, 11.73s/it]
+
mmlu_ar:  48%|████████████████████████████████████████████████████████▍                                                            | 195/404 [37:26<40:25, 11.60s/it]
+
mmlu_ar:  49%|████████████████████████████████████████████████████████▊                                                            | 196/404 [37:37<40:02, 11.55s/it]
+
mmlu_ar:  49%|█████████████████████████████████████████████████████████                                                            | 197/404 [37:49<40:09, 11.64s/it]
+
mmlu_ar:  49%|█████████████████████████████████████████████████████████▎                                                           | 198/404 [37:58<37:18, 10.86s/it]
+
mmlu_ar:  49%|█████████████████████████████████████████████████████████▋                                                           | 199/404 [38:09<36:51, 10.79s/it]
+
mmlu_ar:  50%|█████████████████████████████████████████████████████████▉                                                           | 200/404 [38:19<36:27, 10.72s/it]
+
mmlu_ar:  50%|██████████████████████████████████████████████████████████▏                                                          | 201/404 [38:32<38:12, 11.29s/it]
+
mmlu_ar:  50%|██████████████████████████████████████████████████████████▌                                                          | 202/404 [38:43<37:52, 11.25s/it]
+
mmlu_ar:  50%|██████████████████████████████████████████████████████████▊                                                          | 203/404 [38:54<37:31, 11.20s/it]
+
mmlu_ar:  50%|███████████████████████████████████████████████████████████                                                          | 204/404 [39:06<38:14, 11.47s/it]
+
mmlu_ar:  51%|███████████████████████████████████████████████████████████▎                                                         | 205/404 [39:18<38:45, 11.68s/it]
+
mmlu_ar:  51%|███████████████████████████████████████████████████████████▋                                                         | 206/404 [39:30<38:25, 11.64s/it]
+
mmlu_ar:  51%|███████████████████████████████████████████████████████████▉                                                         | 207/404 [39:42<38:50, 11.83s/it]
+
mmlu_ar:  51%|████████████████████████████████████████████████████████████▏                                                        | 208/404 [39:53<37:43, 11.55s/it]
+
mmlu_ar:  52%|████████████████████████████████████████████████████████████▌                                                        | 209/404 [40:04<37:01, 11.39s/it]
+
mmlu_ar:  52%|████████████████████████████████████████████████████████████▊                                                        | 210/404 [40:15<36:34, 11.31s/it]
+
mmlu_ar:  52%|█████████████████████████████████████████████████████████████                                                        | 211/404 [40:29<38:57, 12.11s/it]
+
mmlu_ar:  52%|█████████████████████████████████████████████████████████████▍                                                       | 212/404 [40:41<38:05, 11.91s/it]
+
mmlu_ar:  53%|█████████████████████████████████████████████████████████████▋                                                       | 213/404 [40:52<37:17, 11.72s/it]
+
mmlu_ar:  53%|█████████████████████████████████████████████████████████████▉                                                       | 214/404 [41:05<38:48, 12.26s/it]
+
mmlu_ar:  53%|██████████████████████████████████████████████████████████████▎                                                      | 215/404 [41:17<38:21, 12.18s/it]
+
mmlu_ar:  53%|██████████████████████████████████████████████████████████████▌                                                      | 216/404 [41:28<36:22, 11.61s/it]
+
mmlu_ar:  54%|██████████████████████████████████████████████████████████████▊                                                      | 217/404 [41:39<35:53, 11.51s/it]
+
mmlu_ar:  54%|███████████████████████████████████████████████████████████████▏                                                     | 218/404 [41:50<34:56, 11.27s/it]
+
mmlu_ar:  54%|███████████████████████████████████████████████████████████████▍                                                     | 219/404 [42:01<34:25, 11.17s/it]
+
mmlu_ar:  54%|███████████████████████████████████████████████████████████████▋                                                     | 220/404 [42:14<36:11, 11.80s/it]
+
mmlu_ar:  55%|████████████████████████████████████████████████████████████████                                                     | 221/404 [42:24<34:39, 11.36s/it]
+
mmlu_ar:  55%|████████████████████████████████████████████████████████████████▎                                                    | 222/404 [42:35<33:48, 11.15s/it]
+
mmlu_ar:  55%|████████████████████████████████████████████████████████████████▌                                                    | 223/404 [42:45<32:13, 10.68s/it]
+
mmlu_ar:  55%|████████████████████████████████████████████████████████████████▊                                                    | 224/404 [42:57<33:14, 11.08s/it]
+
mmlu_ar:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 225/404 [43:07<32:17, 10.82s/it]
+
mmlu_ar:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 226/404 [43:19<33:19, 11.23s/it]
+
mmlu_ar:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 227/404 [43:30<32:43, 11.09s/it]
+
mmlu_ar:  56%|██████████████████████████████████████████████████████████████████                                                   | 228/404 [43:40<31:41, 10.80s/it]
+
mmlu_ar:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 229/404 [43:54<34:02, 11.67s/it]
+
mmlu_ar:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 230/404 [44:05<33:31, 11.56s/it]
+
mmlu_ar:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 231/404 [44:16<32:47, 11.37s/it]
+
mmlu_ar:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 232/404 [44:25<31:06, 10.85s/it]
+
mmlu_ar:  58%|███████████████████████████████████████████████████████████████████▍                                                 | 233/404 [44:36<30:21, 10.65s/it]
+
mmlu_ar:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 234/404 [44:47<31:11, 11.01s/it]
+
mmlu_ar:  58%|████████████████████████████████████████████████████████████████████                                                 | 235/404 [44:59<31:07, 11.05s/it]
+
mmlu_ar:  58%|████████████████████████████████████████████████████████████████████▎                                                | 236/404 [45:10<30:52, 11.02s/it]
+
mmlu_ar:  59%|████████████████████████████████████████████████████████████████████▋                                                | 237/404 [45:22<31:59, 11.49s/it]
+
mmlu_ar:  59%|████████████████████████████████████████████████████████████████████▉                                                | 238/404 [45:33<30:55, 11.18s/it]
+
mmlu_ar:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 239/404 [45:45<31:36, 11.49s/it]
+
mmlu_ar:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 240/404 [45:58<32:37, 11.93s/it]
+
mmlu_ar:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 241/404 [46:10<32:41, 12.04s/it]
+
mmlu_ar:  60%|██████████████████████████████████████████████████████████████████████                                               | 242/404 [46:20<31:11, 11.55s/it]
+
mmlu_ar:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 243/404 [46:34<32:48, 12.23s/it]
+
mmlu_ar:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 244/404 [46:46<32:09, 12.06s/it]
+
mmlu_ar:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 245/404 [46:59<32:51, 12.40s/it]
+
mmlu_ar:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 246/404 [47:09<30:27, 11.57s/it]
+
mmlu_ar:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 247/404 [47:18<28:20, 10.83s/it]
+
mmlu_ar:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 248/404 [47:30<29:05, 11.19s/it]
+
mmlu_ar:  62%|████████████████████████████████████████████████████████████████████████                                             | 249/404 [47:42<29:22, 11.37s/it]
+
mmlu_ar:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 250/404 [47:54<29:34, 11.52s/it]
+
mmlu_ar:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 251/404 [48:06<30:00, 11.77s/it]
+
mmlu_ar:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 252/404 [48:17<29:27, 11.63s/it]
+
mmlu_ar:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 253/404 [48:28<28:42, 11.40s/it]
+
mmlu_ar:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 254/404 [48:41<29:34, 11.83s/it]
+
mmlu_ar:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 255/404 [48:58<33:33, 13.51s/it]
+
mmlu_ar:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 256/404 [49:12<33:27, 13.56s/it]
+
mmlu_ar:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 257/404 [49:23<31:36, 12.90s/it]
+
mmlu_ar:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 258/404 [49:35<30:23, 12.49s/it]
+
mmlu_ar:  64%|███████████████████████████████████████████████████████████████████████████                                          | 259/404 [49:50<31:46, 13.15s/it]
+
mmlu_ar:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 260/404 [50:02<30:47, 12.83s/it]
+
mmlu_ar:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 261/404 [50:12<28:49, 12.10s/it]
+
mmlu_ar:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 262/404 [50:24<28:16, 11.95s/it]
+
mmlu_ar:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 263/404 [50:37<28:59, 12.34s/it]
+
mmlu_ar:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 264/404 [50:48<27:42, 11.87s/it]
+
mmlu_ar:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 265/404 [50:57<25:41, 11.09s/it]
+
mmlu_ar:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 266/404 [51:08<25:14, 10.97s/it]
+
mmlu_ar:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 267/404 [51:20<25:41, 11.25s/it]
+
mmlu_ar:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 268/404 [51:31<25:51, 11.41s/it]
+
mmlu_ar:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 269/404 [51:41<24:46, 11.01s/it]
+
mmlu_ar:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 270/404 [51:52<24:34, 11.00s/it]
+
mmlu_ar:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 271/404 [52:04<24:51, 11.21s/it]
+
mmlu_ar:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 272/404 [52:15<24:39, 11.21s/it]
+
mmlu_ar:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 273/404 [52:26<24:12, 11.09s/it]
+
mmlu_ar:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 274/404 [52:39<25:16, 11.67s/it]
+
mmlu_ar:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 275/404 [52:50<24:32, 11.42s/it]
+
mmlu_ar:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 276/404 [53:02<24:45, 11.61s/it]
+
mmlu_ar:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 277/404 [53:13<24:04, 11.37s/it]
+
mmlu_ar:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 278/404 [53:23<22:51, 10.89s/it]
+
mmlu_ar:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 279/404 [53:36<24:06, 11.57s/it]
+
mmlu_ar:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 280/404 [53:48<24:13, 11.72s/it]
+
mmlu_ar:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 281/404 [54:01<24:49, 12.11s/it]
+
mmlu_ar:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 282/404 [54:11<23:31, 11.57s/it]
+
mmlu_ar:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 283/404 [54:21<22:03, 10.94s/it]
+
mmlu_ar:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 284/404 [54:32<21:58, 10.99s/it]
+
mmlu_ar:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 285/404 [54:43<21:58, 11.08s/it]
+
mmlu_ar:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 286/404 [54:55<22:30, 11.45s/it]
+
mmlu_ar:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 287/404 [55:06<21:43, 11.14s/it]
+
mmlu_ar:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 288/404 [55:17<21:27, 11.10s/it]
+
mmlu_ar:  72%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 289/404 [55:29<21:53, 11.42s/it]
+
mmlu_ar:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 290/404 [55:40<21:43, 11.44s/it]
+
mmlu_ar:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 291/404 [55:53<22:05, 11.73s/it]
+
mmlu_ar:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 292/404 [56:05<21:51, 11.71s/it]
+
mmlu_ar:  73%|████████████████████████████████████████████████████████████████████████████████████▊                                | 293/404 [56:16<21:25, 11.58s/it]
+
mmlu_ar:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 294/404 [56:29<21:59, 11.99s/it]
+
mmlu_ar:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 295/404 [56:43<22:46, 12.54s/it]
+
mmlu_ar:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 296/404 [56:54<22:06, 12.28s/it]
+
mmlu_ar:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 297/404 [57:05<21:18, 11.95s/it]
+
mmlu_ar:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 298/404 [57:18<21:23, 12.11s/it]
+
mmlu_ar:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 299/404 [57:28<20:06, 11.49s/it]
+
mmlu_ar:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 300/404 [57:40<20:07, 11.61s/it]
+
mmlu_ar:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 301/404 [57:51<19:26, 11.32s/it]
+
mmlu_ar:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 302/404 [58:01<19:02, 11.20s/it]
+
mmlu_ar:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 303/404 [58:13<18:59, 11.28s/it]
+
mmlu_ar:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 304/404 [58:24<18:28, 11.09s/it]
+
mmlu_ar:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 305/404 [58:33<17:23, 10.54s/it]
+
mmlu_ar:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 306/404 [58:43<16:59, 10.40s/it]
+
mmlu_ar:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 307/404 [58:54<17:22, 10.75s/it]
+
mmlu_ar:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 308/404 [59:06<17:35, 10.99s/it]
+
mmlu_ar:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 309/404 [59:17<17:26, 11.02s/it]
+
mmlu_ar:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 310/404 [59:29<17:45, 11.33s/it]
+
mmlu_ar:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 311/404 [59:40<17:32, 11.32s/it]
+
mmlu_ar:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 312/404 [59:51<17:04, 11.14s/it]
+
mmlu_ar:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 313/404 [1:00:02<16:45, 11.05s/it]
+
mmlu_ar:  78%|█████████████████████████████████████████████████████████████████████████████████████████▍                         | 314/404 [1:00:15<17:15, 11.51s/it]
+
mmlu_ar:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 315/404 [1:00:26<17:01, 11.48s/it]
+
mmlu_ar:  78%|█████████████████████████████████████████████████████████████████████████████████████████▉                         | 316/404 [1:00:37<16:34, 11.31s/it]
+
mmlu_ar:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 317/404 [1:00:49<16:43, 11.53s/it]
+
mmlu_ar:  79%|██████████████████████████████████████████████████████████████████████████████████████████▌                        | 318/404 [1:01:00<16:22, 11.43s/it]
+
mmlu_ar:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 319/404 [1:01:11<16:01, 11.31s/it]
+
mmlu_ar:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 320/404 [1:01:24<16:16, 11.63s/it]
+
mmlu_ar:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 321/404 [1:01:34<15:47, 11.42s/it]
+
mmlu_ar:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 322/404 [1:01:49<16:57, 12.41s/it]
+
mmlu_ar:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 323/404 [1:02:00<15:57, 11.82s/it]
+
mmlu_ar:  80%|████████████████████████████████████████████████████████████████████████████████████████████▏                      | 324/404 [1:02:11<15:28, 11.61s/it]
+
mmlu_ar:  80%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 325/404 [1:02:24<15:47, 11.99s/it]
+
mmlu_ar:  81%|████████████████████████████████████████████████████████████████████████████████████████████▊                      | 326/404 [1:02:36<15:33, 11.97s/it]
+
mmlu_ar:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 327/404 [1:02:46<14:47, 11.53s/it]
+
mmlu_ar:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▎                     | 328/404 [1:02:57<14:14, 11.25s/it]
+
mmlu_ar:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 329/404 [1:03:08<14:12, 11.37s/it]
+
mmlu_ar:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▉                     | 330/404 [1:03:19<13:50, 11.22s/it]
+
mmlu_ar:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▏                    | 331/404 [1:03:31<13:48, 11.35s/it]
+
mmlu_ar:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▌                    | 332/404 [1:03:43<13:47, 11.49s/it]
+
mmlu_ar:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▊                    | 333/404 [1:03:53<13:21, 11.29s/it]
+
mmlu_ar:  83%|███████████████████████████████████████████████████████████████████████████████████████████████                    | 334/404 [1:04:04<12:51, 11.02s/it]
+
mmlu_ar:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▎                   | 335/404 [1:04:16<13:11, 11.47s/it]
+
mmlu_ar:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▋                   | 336/404 [1:04:27<12:49, 11.31s/it]
+
mmlu_ar:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▉                   | 337/404 [1:04:40<12:59, 11.63s/it]
+
mmlu_ar:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 338/404 [1:04:50<12:22, 11.24s/it]
+
mmlu_ar:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 339/404 [1:05:01<12:08, 11.21s/it]
+
mmlu_ar:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 340/404 [1:05:13<12:03, 11.31s/it]
+
mmlu_ar:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████                  | 341/404 [1:05:25<12:03, 11.49s/it]
+
mmlu_ar:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 342/404 [1:05:35<11:36, 11.24s/it]
+
mmlu_ar:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 343/404 [1:05:48<11:55, 11.73s/it]
+
mmlu_ar:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 344/404 [1:05:59<11:23, 11.38s/it]
+
mmlu_ar:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 345/404 [1:06:09<11:01, 11.21s/it]
+
mmlu_ar:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 346/404 [1:06:20<10:43, 11.09s/it]
+
mmlu_ar:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 347/404 [1:06:34<11:12, 11.79s/it]
+
mmlu_ar:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 348/404 [1:06:47<11:18, 12.11s/it]
+
mmlu_ar:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 349/404 [1:06:59<11:05, 12.10s/it]
+
mmlu_ar:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 350/404 [1:07:11<10:53, 12.11s/it]
+
mmlu_ar:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉               | 351/404 [1:07:24<10:56, 12.38s/it]
+
mmlu_ar:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 352/404 [1:07:37<10:51, 12.54s/it]
+
mmlu_ar:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 353/404 [1:07:52<11:14, 13.23s/it]
+
mmlu_ar:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 354/404 [1:08:03<10:34, 12.69s/it]
+
mmlu_ar:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 355/404 [1:08:14<09:52, 12.09s/it]
+
mmlu_ar:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 356/404 [1:08:25<09:29, 11.87s/it]
+
mmlu_ar:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 357/404 [1:08:37<09:19, 11.90s/it]
+
mmlu_ar:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 358/404 [1:08:51<09:34, 12.50s/it]
+
mmlu_ar:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 359/404 [1:09:02<09:10, 12.23s/it]
+
mmlu_ar:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 360/404 [1:09:13<08:41, 11.86s/it]
+
mmlu_ar:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 361/404 [1:09:24<08:09, 11.39s/it]
+
mmlu_ar:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████            | 362/404 [1:09:36<08:11, 11.71s/it]
+
mmlu_ar:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 363/404 [1:09:48<08:01, 11.75s/it]
+
mmlu_ar:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 364/404 [1:10:00<07:54, 11.85s/it]
+
mmlu_ar:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 365/404 [1:10:11<07:25, 11.43s/it]
+
mmlu_ar:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 366/404 [1:10:22<07:18, 11.54s/it]
+
mmlu_ar:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 367/404 [1:10:34<07:07, 11.56s/it]
+
mmlu_ar:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 368/404 [1:10:45<06:55, 11.54s/it]
+
mmlu_ar:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████          | 369/404 [1:10:57<06:47, 11.63s/it]
+
mmlu_ar:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 370/404 [1:11:09<06:40, 11.77s/it]
+
mmlu_ar:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 371/404 [1:11:21<06:25, 11.68s/it]
+
mmlu_ar:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 372/404 [1:11:32<06:06, 11.46s/it]
+
mmlu_ar:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 373/404 [1:11:42<05:43, 11.09s/it]
+
mmlu_ar:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 374/404 [1:11:57<06:06, 12.22s/it]
+
mmlu_ar:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 375/404 [1:12:08<05:42, 11.80s/it]
+
mmlu_ar:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 376/404 [1:12:19<05:29, 11.78s/it]
+
mmlu_ar:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 377/404 [1:12:30<05:09, 11.46s/it]
+
mmlu_ar:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 378/404 [1:12:41<04:53, 11.28s/it]
+
mmlu_ar:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 379/404 [1:12:52<04:39, 11.19s/it]
+
mmlu_ar:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 380/404 [1:13:02<04:21, 10.89s/it]
+
mmlu_ar:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 381/404 [1:13:14<04:16, 11.17s/it]
+
mmlu_ar:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 382/404 [1:13:27<04:15, 11.61s/it]
+
mmlu_ar:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 383/404 [1:13:37<03:56, 11.26s/it]
+
mmlu_ar:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 384/404 [1:13:47<03:35, 10.77s/it]
+
mmlu_ar:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 385/404 [1:13:59<03:33, 11.23s/it]
+
mmlu_ar:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 386/404 [1:14:11<03:27, 11.52s/it]
+
mmlu_ar:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 387/404 [1:14:22<03:12, 11.30s/it]
+
mmlu_ar:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 388/404 [1:14:34<03:02, 11.38s/it]
+
mmlu_ar:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 389/404 [1:14:44<02:45, 11.06s/it]
+
mmlu_ar:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 390/404 [1:14:56<02:37, 11.28s/it]
+
mmlu_ar:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 391/404 [1:15:08<02:29, 11.53s/it]
+
mmlu_ar:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 392/404 [1:15:19<02:15, 11.32s/it]
+
mmlu_ar:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 393/404 [1:15:30<02:06, 11.46s/it]
+
mmlu_ar:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 394/404 [1:15:41<01:51, 11.18s/it]
+
mmlu_ar:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 395/404 [1:15:51<01:38, 10.90s/it]
+
mmlu_ar:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 396/404 [1:16:04<01:31, 11.44s/it]
+
mmlu_ar:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 397/404 [1:16:14<01:18, 11.16s/it]
+
mmlu_ar:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 398/404 [1:16:26<01:06, 11.15s/it]
+
mmlu_ar:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 399/404 [1:16:36<00:55, 11.07s/it]
+
mmlu_ar:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/404 [1:16:47<00:44, 11.02s/it]
+
mmlu_ar:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 401/404 [1:17:00<00:34, 11.59s/it]
+
mmlu_ar: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 402/404 [1:17:12<00:23, 11.78s/it]
+
mmlu_ar: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 403/404 [1:17:23<00:11, 11.47s/it]
+
mmlu_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:17:35<00:00, 11.60s/it]
mmlu_ar: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:17:35<00:00, 11.52s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ar_acc 0.26098391089108913
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ar_acc_norm 0.28047648514851486
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 15:59:31,406 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 15:59:31,406 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:31,530 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 15:59:31,530 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:31,654 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 15:59:31,654 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:31,778 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 15:59:31,779 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 15:59:31,779 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 15:59:31,903 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 15:59:31,903 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ar_acc'}
+2024-05-30 15:59:31,966 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 15:59:31,966 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1203, 'value': 0.26098391089108913}
+2024-05-30 15:59:32,030 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 15:59:32,664 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 15:59:32,664 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:32,790 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 15:59:32,790 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:32,915 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 15:59:32,915 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 15:59:33,040 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 15:59:33,167 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 15:59:33,167 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_ar_acc_norm'}
+2024-05-30 15:59:33,230 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 15:59:33,230 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1204, 'value': 0.28047648514851486}
+2024-05-30 15:59:33,294 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  51%|██████████████████████████████████████████████████████▊                                                     | 63/124 [33:12:02<63:00:23, 3718.42s/it]['mmlu_bn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 15:59:33,943 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 15:59:33,943 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:34,071 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 15:59:34,071 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:34,200 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 15:59:34,200 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 15:59:34,328 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 15:59:34,328 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 15:59:34,329 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_bn'}
+2024-05-30 15:59:34,457 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_bn task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1682 examples [00:00, 13877.44 examples/s]
+
Generating test split: 5000 examples [00:00, 23638.45 examples/s]
+
Generating test split: 8349 examples [00:00, 27862.32 examples/s]
+
Generating test split: 11792 examples [00:00, 30094.44 examples/s]
Generating test split: 12227 examples [00:00, 26950.75 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 216 examples [00:00, 25424.30 examples/s]
+Running loglikelihood requests
+
+
mmlu_bn:   0%|                                                                                                                               | 0/383 [00:00<?, ?it/s]
+
mmlu_bn:   0%|▎                                                                                                                    | 1/383 [00:20<2:11:03, 20.59s/it]
+
mmlu_bn:   1%|▌                                                                                                                    | 2/383 [00:40<2:07:55, 20.15s/it]
+
mmlu_bn:   1%|▉                                                                                                                    | 3/383 [00:56<1:56:10, 18.34s/it]
+
mmlu_bn:   1%|█▏                                                                                                                   | 4/383 [01:11<1:48:04, 17.11s/it]
+
mmlu_bn:   1%|█▌                                                                                                                   | 5/383 [01:29<1:49:35, 17.40s/it]
+
mmlu_bn:   2%|█▊                                                                                                                   | 6/383 [01:46<1:47:27, 17.10s/it]
+
mmlu_bn:   2%|██▏                                                                                                                  | 7/383 [02:03<1:48:00, 17.24s/it]
+
mmlu_bn:   2%|██▍                                                                                                                  | 8/383 [02:24<1:55:22, 18.46s/it]
+
mmlu_bn:   2%|██▋                                                                                                                  | 9/383 [02:39<1:48:33, 17.42s/it]
+
mmlu_bn:   3%|███                                                                                                                 | 10/383 [02:59<1:52:06, 18.03s/it]
+
mmlu_bn:   3%|███▎                                                                                                                | 11/383 [03:19<1:55:35, 18.65s/it]
+
mmlu_bn:   3%|███▋                                                                                                                | 12/383 [03:38<1:56:28, 18.84s/it]
+
mmlu_bn:   3%|███▉                                                                                                                | 13/383 [04:02<2:04:40, 20.22s/it]
+
mmlu_bn:   4%|████▏                                                                                                               | 14/383 [04:19<1:59:29, 19.43s/it]
+
mmlu_bn:   4%|████▌                                                                                                               | 15/383 [04:38<1:57:18, 19.13s/it]
+
mmlu_bn:   4%|████▊                                                                                                               | 16/383 [04:54<1:52:28, 18.39s/it]
+
mmlu_bn:   4%|█████▏                                                                                                              | 17/383 [05:12<1:50:24, 18.10s/it]
+
mmlu_bn:   5%|█████▍                                                                                                              | 18/383 [05:30<1:50:35, 18.18s/it]
+
mmlu_bn:   5%|█████▊                                                                                                              | 19/383 [05:49<1:51:07, 18.32s/it]
+
mmlu_bn:   5%|██████                                                                                                              | 20/383 [06:10<1:55:33, 19.10s/it]
+
mmlu_bn:   5%|██████▎                                                                                                             | 21/383 [06:25<1:47:55, 17.89s/it]
+
mmlu_bn:   6%|██████▋                                                                                                             | 22/383 [06:44<1:49:23, 18.18s/it]
+
mmlu_bn:   6%|██████▉                                                                                                             | 23/383 [07:02<1:49:48, 18.30s/it]
+
mmlu_bn:   6%|███████▎                                                                                                            | 24/383 [07:24<1:56:36, 19.49s/it]
+
mmlu_bn:   7%|███████▌                                                                                                            | 25/383 [07:46<2:00:33, 20.20s/it]
+
mmlu_bn:   7%|███████▊                                                                                                            | 26/383 [08:17<2:19:02, 23.37s/it]
+
mmlu_bn:   7%|████████▏                                                                                                           | 27/383 [08:37<2:12:39, 22.36s/it]
+
mmlu_bn:   7%|████████▍                                                                                                           | 28/383 [08:55<2:05:05, 21.14s/it]
+
mmlu_bn:   8%|████████▊                                                                                                           | 29/383 [09:18<2:06:42, 21.48s/it]
+
mmlu_bn:   8%|█████████                                                                                                           | 30/383 [09:35<1:59:49, 20.37s/it]
+
mmlu_bn:   8%|█████████▍                                                                                                          | 31/383 [09:58<2:03:48, 21.10s/it]
+
mmlu_bn:   8%|█████████▋                                                                                                          | 32/383 [10:16<1:58:18, 20.22s/it]
+
mmlu_bn:   9%|█████████▉                                                                                                          | 33/383 [10:34<1:53:38, 19.48s/it]
+
mmlu_bn:   9%|██████████▎                                                                                                         | 34/383 [10:51<1:48:32, 18.66s/it]
+
mmlu_bn:   9%|██████████▌                                                                                                         | 35/383 [11:06<1:42:26, 17.66s/it]
+
mmlu_bn:   9%|██████████▉                                                                                                         | 36/383 [11:22<1:39:23, 17.19s/it]
+
mmlu_bn:  10%|███████████▏                                                                                                        | 37/383 [11:44<1:46:09, 18.41s/it]
+
mmlu_bn:  10%|███████████▌                                                                                                        | 38/383 [12:02<1:46:14, 18.48s/it]
+
mmlu_bn:  10%|███████████▊                                                                                                        | 39/383 [12:22<1:47:38, 18.77s/it]
+
mmlu_bn:  10%|████████████                                                                                                        | 40/383 [12:42<1:50:01, 19.25s/it]
+
mmlu_bn:  11%|████████████▍                                                                                                       | 41/383 [12:58<1:43:30, 18.16s/it]
+
mmlu_bn:  11%|████████████▋                                                                                                       | 42/383 [13:18<1:46:09, 18.68s/it]
+
mmlu_bn:  11%|█████████████                                                                                                       | 43/383 [13:39<1:50:01, 19.42s/it]
+
mmlu_bn:  11%|█████████████▎                                                                                                      | 44/383 [13:56<1:45:21, 18.65s/it]
+
mmlu_bn:  12%|█████████████▋                                                                                                      | 45/383 [14:13<1:43:15, 18.33s/it]
+
mmlu_bn:  12%|█████████████▉                                                                                                      | 46/383 [14:29<1:38:24, 17.52s/it]
+
mmlu_bn:  12%|██████████████▏                                                                                                     | 47/383 [14:47<1:39:55, 17.85s/it]
+
mmlu_bn:  13%|██████████████▌                                                                                                     | 48/383 [15:08<1:45:09, 18.83s/it]
+
mmlu_bn:  13%|██████████████▊                                                                                                     | 49/383 [15:27<1:44:36, 18.79s/it]
+
mmlu_bn:  13%|███████████████▏                                                                                                    | 50/383 [15:44<1:41:35, 18.31s/it]
+
mmlu_bn:  13%|███████████████▍                                                                                                    | 51/383 [16:04<1:43:47, 18.76s/it]
+
mmlu_bn:  14%|███████████████▋                                                                                                    | 52/383 [16:21<1:40:31, 18.22s/it]
+
mmlu_bn:  14%|████████████████                                                                                                    | 53/383 [16:37<1:35:58, 17.45s/it]
+
mmlu_bn:  14%|████████████████▎                                                                                                   | 54/383 [16:56<1:39:10, 18.09s/it]
+
mmlu_bn:  14%|████████████████▋                                                                                                   | 55/383 [17:18<1:44:33, 19.13s/it]
+
mmlu_bn:  15%|████████████████▉                                                                                                   | 56/383 [17:33<1:38:00, 17.98s/it]
+
mmlu_bn:  15%|█████████████████▎                                                                                                  | 57/383 [17:52<1:39:26, 18.30s/it]
+
mmlu_bn:  15%|█████████████████▌                                                                                                  | 58/383 [18:07<1:33:48, 17.32s/it]
+
mmlu_bn:  15%|█████████████████▊                                                                                                  | 59/383 [18:27<1:36:52, 17.94s/it]
+
mmlu_bn:  16%|██████████████████▏                                                                                                 | 60/383 [18:43<1:33:37, 17.39s/it]
+
mmlu_bn:  16%|██████████████████▍                                                                                                 | 61/383 [19:05<1:41:05, 18.84s/it]
+
mmlu_bn:  16%|██████████████████▊                                                                                                 | 62/383 [19:23<1:39:35, 18.62s/it]
+
mmlu_bn:  16%|███████████████████                                                                                                 | 63/383 [19:42<1:40:08, 18.78s/it]
+
mmlu_bn:  17%|███████████████████▍                                                                                                | 64/383 [19:59<1:36:04, 18.07s/it]
+
mmlu_bn:  17%|███████████████████▋                                                                                                | 65/383 [20:19<1:39:00, 18.68s/it]
+
mmlu_bn:  17%|███████████████████▉                                                                                                | 66/383 [20:34<1:32:40, 17.54s/it]
+
mmlu_bn:  17%|████████████████████▎                                                                                               | 67/383 [20:52<1:34:09, 17.88s/it]
+
mmlu_bn:  18%|████████████████████▌                                                                                               | 68/383 [21:11<1:34:39, 18.03s/it]
+
mmlu_bn:  18%|████████████████████▉                                                                                               | 69/383 [21:31<1:38:12, 18.77s/it]
+
mmlu_bn:  18%|█████████████████████▏                                                                                              | 70/383 [21:49<1:36:39, 18.53s/it]
+
mmlu_bn:  19%|█████████████████████▌                                                                                              | 71/383 [22:10<1:39:48, 19.20s/it]
+
mmlu_bn:  19%|█████████████████████▊                                                                                              | 72/383 [22:30<1:40:39, 19.42s/it]
+
mmlu_bn:  19%|██████████████████████                                                                                              | 73/383 [22:50<1:41:22, 19.62s/it]
+
mmlu_bn:  19%|██████████████████████▍                                                                                             | 74/383 [23:13<1:45:46, 20.54s/it]
+
mmlu_bn:  20%|██████████████████████▋                                                                                             | 75/383 [23:32<1:43:26, 20.15s/it]
+
mmlu_bn:  20%|███████████████████████                                                                                             | 76/383 [23:53<1:45:16, 20.58s/it]
+
mmlu_bn:  20%|███████████████████████▎                                                                                            | 77/383 [24:11<1:40:16, 19.66s/it]
+
mmlu_bn:  20%|███████████████████████▌                                                                                            | 78/383 [24:27<1:34:53, 18.67s/it]
+
mmlu_bn:  21%|███████████████████████▉                                                                                            | 79/383 [24:45<1:32:47, 18.31s/it]
+
mmlu_bn:  21%|████████████████████████▏                                                                                           | 80/383 [25:04<1:34:20, 18.68s/it]
+
mmlu_bn:  21%|████████████████████████▌                                                                                           | 81/383 [25:25<1:37:22, 19.35s/it]
+
mmlu_bn:  21%|████████████████████████▊                                                                                           | 82/383 [25:43<1:34:12, 18.78s/it]
+
mmlu_bn:  22%|█████████████████████████▏                                                                                          | 83/383 [25:59<1:29:39, 17.93s/it]
+
mmlu_bn:  22%|█████████████████████████▍                                                                                          | 84/383 [26:19<1:32:30, 18.56s/it]
+
mmlu_bn:  22%|█████████████████████████▋                                                                                          | 85/383 [26:40<1:35:41, 19.27s/it]
+
mmlu_bn:  22%|██████████████████████████                                                                                          | 86/383 [27:03<1:41:33, 20.52s/it]
+
mmlu_bn:  23%|██████████████████████████▎                                                                                         | 87/383 [27:24<1:41:48, 20.64s/it]
+
mmlu_bn:  23%|██████████████████████████▋                                                                                         | 88/383 [27:44<1:41:05, 20.56s/it]
+
mmlu_bn:  23%|██████████████████████████▉                                                                                         | 89/383 [28:03<1:37:41, 19.94s/it]
+
mmlu_bn:  23%|███████████████████████████▎                                                                                        | 90/383 [28:21<1:35:21, 19.53s/it]
+
mmlu_bn:  24%|███████████████████████████▌                                                                                        | 91/383 [28:42<1:35:58, 19.72s/it]
+
mmlu_bn:  24%|███████████████████████████▊                                                                                        | 92/383 [28:56<1:28:30, 18.25s/it]
+
mmlu_bn:  24%|████████████████████████████▏                                                                                       | 93/383 [29:18<1:32:35, 19.16s/it]
+
mmlu_bn:  25%|████████████████████████████▍                                                                                       | 94/383 [29:37<1:32:12, 19.14s/it]
+
mmlu_bn:  25%|████████████████████████████▊                                                                                       | 95/383 [30:00<1:37:36, 20.33s/it]
+
mmlu_bn:  25%|█████████████████████████████                                                                                       | 96/383 [30:18<1:34:15, 19.71s/it]
+
mmlu_bn:  25%|█████████████████████████████▍                                                                                      | 97/383 [30:42<1:40:16, 21.04s/it]
+
mmlu_bn:  26%|█████████████████████████████▋                                                                                      | 98/383 [31:03<1:39:55, 21.04s/it]
+
mmlu_bn:  26%|█████████████████████████████▉                                                                                      | 99/383 [31:25<1:40:29, 21.23s/it]
+
mmlu_bn:  26%|██████████████████████████████                                                                                     | 100/383 [31:46<1:40:16, 21.26s/it]
+
mmlu_bn:  26%|██████████████████████████████▎                                                                                    | 101/383 [32:09<1:41:23, 21.57s/it]
+
mmlu_bn:  27%|██████████████████████████████▋                                                                                    | 102/383 [32:26<1:35:43, 20.44s/it]
+
mmlu_bn:  27%|██████████████████████████████▉                                                                                    | 103/383 [32:43<1:29:40, 19.22s/it]
+
mmlu_bn:  27%|███████████████████████████████▏                                                                                   | 104/383 [33:05<1:32:52, 19.97s/it]
+
mmlu_bn:  27%|███████████████████████████████▌                                                                                   | 105/383 [33:25<1:33:23, 20.15s/it]
+
mmlu_bn:  28%|███████████████████████████████▊                                                                                   | 106/383 [33:43<1:30:28, 19.60s/it]
+
mmlu_bn:  28%|████████████████████████████████▏                                                                                  | 107/383 [34:01<1:27:11, 18.96s/it]
+
mmlu_bn:  28%|████████████████████████████████▍                                                                                  | 108/383 [34:18<1:23:56, 18.31s/it]
+
mmlu_bn:  28%|████████████████████████████████▋                                                                                  | 109/383 [34:36<1:23:00, 18.18s/it]
+
mmlu_bn:  29%|█████████████████████████████████                                                                                  | 110/383 [34:51<1:19:05, 17.38s/it]
+
mmlu_bn:  29%|█████████████████████████████████▎                                                                                 | 111/383 [35:10<1:20:34, 17.77s/it]
+
mmlu_bn:  29%|█████████████████████████████████▋                                                                                 | 112/383 [35:30<1:23:00, 18.38s/it]
+
mmlu_bn:  30%|█████████████████████████████████▉                                                                                 | 113/383 [35:51<1:27:01, 19.34s/it]
+
mmlu_bn:  30%|██████████████████████████████████▏                                                                                | 114/383 [36:10<1:26:01, 19.19s/it]
+
mmlu_bn:  30%|██████████████████████████████████▌                                                                                | 115/383 [36:28<1:24:09, 18.84s/it]
+
mmlu_bn:  30%|██████████████████████████████████▊                                                                                | 116/383 [36:46<1:22:39, 18.58s/it]
+
mmlu_bn:  31%|███████████████████████████████████▏                                                                               | 117/383 [37:01<1:17:33, 17.49s/it]
+
mmlu_bn:  31%|███████████████████████████████████▍                                                                               | 118/383 [37:24<1:25:01, 19.25s/it]
+
mmlu_bn:  31%|███████████████████████████████████▋                                                                               | 119/383 [37:37<1:16:46, 17.45s/it]
+
mmlu_bn:  31%|████████████████████████████████████                                                                               | 120/383 [38:00<1:22:54, 18.92s/it]
+
mmlu_bn:  32%|████████████████████████████████████▎                                                                              | 121/383 [38:19<1:22:59, 19.01s/it]
+
mmlu_bn:  32%|████████████████████████████████████▋                                                                              | 122/383 [38:39<1:24:15, 19.37s/it]
+
mmlu_bn:  32%|████████████████████████████████████▉                                                                              | 123/383 [38:57<1:22:06, 18.95s/it]
+
mmlu_bn:  32%|█████████████████████████████████████▏                                                                             | 124/383 [39:24<1:31:48, 21.27s/it]
+
mmlu_bn:  33%|█████████████████████████████████████▌                                                                             | 125/383 [39:45<1:31:23, 21.26s/it]
+
mmlu_bn:  33%|█████████████████████████████████████▊                                                                             | 126/383 [40:08<1:32:38, 21.63s/it]
+
mmlu_bn:  33%|██████████████████████████████████████▏                                                                            | 127/383 [40:29<1:32:05, 21.58s/it]
+
mmlu_bn:  33%|██████████████████████████████████████▍                                                                            | 128/383 [40:48<1:28:47, 20.89s/it]
+
mmlu_bn:  34%|██████████████████████████████████████▋                                                                            | 129/383 [41:06<1:24:49, 20.04s/it]
+
mmlu_bn:  34%|███████████████████████████████████████                                                                            | 130/383 [41:28<1:26:32, 20.52s/it]
+
mmlu_bn:  34%|███████████████████████████████████████▎                                                                           | 131/383 [41:47<1:23:36, 19.91s/it]
+
mmlu_bn:  34%|███████████████████████████████████████▋                                                                           | 132/383 [42:06<1:22:20, 19.68s/it]
+
mmlu_bn:  35%|███████████████████████████████████████▉                                                                           | 133/383 [42:24<1:20:22, 19.29s/it]
+
mmlu_bn:  35%|████████████████████████████████████████▏                                                                          | 134/383 [42:42<1:18:25, 18.90s/it]
+
mmlu_bn:  35%|████████████████████████████████████████▌                                                                          | 135/383 [43:01<1:18:03, 18.89s/it]
+
mmlu_bn:  36%|████████████████████████████████████████▊                                                                          | 136/383 [43:19<1:17:00, 18.71s/it]
+
mmlu_bn:  36%|█████████████████████████████████████████▏                                                                         | 137/383 [43:37<1:15:47, 18.48s/it]
+
mmlu_bn:  36%|█████████████████████████████████████████▍                                                                         | 138/383 [43:56<1:16:22, 18.71s/it]
+
mmlu_bn:  36%|█████████████████████████████████████████▋                                                                         | 139/383 [44:14<1:14:43, 18.37s/it]
+
mmlu_bn:  37%|██████████████████████████████████████████                                                                         | 140/383 [44:33<1:14:44, 18.46s/it]
+
mmlu_bn:  37%|██████████████████████████████████████████▎                                                                        | 141/383 [44:50<1:13:30, 18.23s/it]
+
mmlu_bn:  37%|██████████████████████████████████████████▋                                                                        | 142/383 [45:10<1:14:33, 18.56s/it]
+
mmlu_bn:  37%|██████████████████████████████████████████▉                                                                        | 143/383 [45:29<1:15:04, 18.77s/it]
+
mmlu_bn:  38%|███████████████████████████████████████████▏                                                                       | 144/383 [45:47<1:13:59, 18.58s/it]
+
mmlu_bn:  38%|███████████████████████████████████████████▌                                                                       | 145/383 [46:08<1:16:35, 19.31s/it]
+
mmlu_bn:  38%|███████████████████████████████████████████▊                                                                       | 146/383 [46:27<1:15:39, 19.15s/it]
+
mmlu_bn:  38%|████████████████████████████████████████████▏                                                                      | 147/383 [46:51<1:20:46, 20.54s/it]
+
mmlu_bn:  39%|████████████████████████████████████████████▍                                                                      | 148/383 [47:08<1:16:41, 19.58s/it]
+
mmlu_bn:  39%|████████████████████████████████████████████▋                                                                      | 149/383 [47:25<1:13:44, 18.91s/it]
+
mmlu_bn:  39%|█████████████████████████████████████████████                                                                      | 150/383 [47:43<1:12:28, 18.66s/it]
+
mmlu_bn:  39%|█████████████████████████████████████████████▎                                                                     | 151/383 [48:03<1:13:06, 18.91s/it]
+
mmlu_bn:  40%|█████████████████████████████████████████████▋                                                                     | 152/383 [48:23<1:14:16, 19.29s/it]
+
mmlu_bn:  40%|█████████████████████████████████████████████▉                                                                     | 153/383 [48:40<1:11:32, 18.66s/it]
+
mmlu_bn:  40%|██████████████████████████████████████████████▏                                                                    | 154/383 [48:58<1:10:03, 18.35s/it]
+
mmlu_bn:  40%|██████████████████████████████████████████████▌                                                                    | 155/383 [49:15<1:08:09, 17.94s/it]
+
mmlu_bn:  41%|██████████████████████████████████████████████▊                                                                    | 156/383 [49:33<1:08:20, 18.06s/it]
+
mmlu_bn:  41%|███████████████████████████████████████████████▏                                                                   | 157/383 [49:52<1:08:41, 18.24s/it]
+
mmlu_bn:  41%|███████████████████████████████████████████████▍                                                                   | 158/383 [50:13<1:11:49, 19.15s/it]
+
mmlu_bn:  42%|███████████████████████████████████████████████▋                                                                   | 159/383 [50:31<1:10:26, 18.87s/it]
+
mmlu_bn:  42%|████████████████████████████████████████████████                                                                   | 160/383 [50:52<1:11:34, 19.26s/it]
+
mmlu_bn:  42%|████████████████████████████████████████████████▎                                                                  | 161/383 [51:08<1:08:35, 18.54s/it]
+
mmlu_bn:  42%|████████████████████████████████████████████████▋                                                                  | 162/383 [51:24<1:05:20, 17.74s/it]
+
mmlu_bn:  43%|████████████████████████████████████████████████▉                                                                  | 163/383 [51:45<1:08:39, 18.72s/it]
+
mmlu_bn:  43%|█████████████████████████████████████████████████▏                                                                 | 164/383 [52:08<1:12:29, 19.86s/it]
+
mmlu_bn:  43%|█████████████████████████████████████████████████▌                                                                 | 165/383 [52:31<1:15:14, 20.71s/it]
+
mmlu_bn:  43%|█████████████████████████████████████████████████▊                                                                 | 166/383 [52:50<1:14:02, 20.47s/it]
+
mmlu_bn:  44%|██████████████████████████████████████████████████▏                                                                | 167/383 [53:08<1:10:33, 19.60s/it]
+
mmlu_bn:  44%|██████████████████████████████████████████████████▍                                                                | 168/383 [53:27<1:09:48, 19.48s/it]
+
mmlu_bn:  44%|██████████████████████████████████████████████████▋                                                                | 169/383 [53:48<1:10:58, 19.90s/it]
+
mmlu_bn:  44%|███████████████████████████████████████████████████                                                                | 170/383 [54:09<1:11:20, 20.10s/it]
+
mmlu_bn:  45%|███████████████████████████████████████████████████▎                                                               | 171/383 [54:30<1:12:19, 20.47s/it]
+
mmlu_bn:  45%|███████████████████████████████████████████████████▋                                                               | 172/383 [54:47<1:08:36, 19.51s/it]
+
mmlu_bn:  45%|███████████████████████████████████████████████████▉                                                               | 173/383 [55:04<1:05:43, 18.78s/it]
+
mmlu_bn:  45%|████████████████████████████████████████████████████▏                                                              | 174/383 [55:19<1:01:36, 17.69s/it]
+
mmlu_bn:  46%|████████████████████████████████████████████████████▌                                                              | 175/383 [55:40<1:03:59, 18.46s/it]
+
mmlu_bn:  46%|████████████████████████████████████████████████████▊                                                              | 176/383 [55:56<1:01:30, 17.83s/it]
+
mmlu_bn:  46%|█████████████████████████████████████████████████████▏                                                             | 177/383 [56:16<1:03:00, 18.35s/it]
+
mmlu_bn:  46%|█████████████████████████████████████████████████████▍                                                             | 178/383 [56:33<1:01:14, 17.92s/it]
+
mmlu_bn:  47%|██████████████████████████████████████████████████████▋                                                              | 179/383 [56:49<59:25, 17.48s/it]
+
mmlu_bn:  47%|██████████████████████████████████████████████████████▉                                                              | 180/383 [57:07<59:19, 17.53s/it]
+
mmlu_bn:  47%|███████████████████████████████████████████████████████▎                                                             | 181/383 [57:23<58:18, 17.32s/it]
+
mmlu_bn:  48%|██████████████████████████████████████████████████████▋                                                            | 182/383 [57:45<1:01:51, 18.47s/it]
+
mmlu_bn:  48%|██████████████████████████████████████████████████████▉                                                            | 183/383 [58:08<1:06:09, 19.85s/it]
+
mmlu_bn:  48%|███████████████████████████████████████████████████████▏                                                           | 184/383 [58:29<1:07:37, 20.39s/it]
+
mmlu_bn:  48%|███████████████████████████████████████████████████████▌                                                           | 185/383 [58:47<1:04:39, 19.59s/it]
+
mmlu_bn:  49%|███████████████████████████████████████████████████████▊                                                           | 186/383 [59:03<1:00:16, 18.36s/it]
+
mmlu_bn:  49%|█████████████████████████████████████████████████████████▏                                                           | 187/383 [59:21<59:56, 18.35s/it]
+
mmlu_bn:  49%|████████████████████████████████████████████████████████▍                                                          | 188/383 [59:41<1:00:59, 18.77s/it]
+
mmlu_bn:  49%|█████████████████████████████████████████████████████████▋                                                           | 189/383 [59:56<57:06, 17.66s/it]
+
mmlu_bn:  50%|█████████████████████████████████████████████████████████                                                          | 190/383 [1:00:17<59:52, 18.62s/it]
+
mmlu_bn:  50%|████████████████████████████████████████████████████████▎                                                        | 191/383 [1:00:36<1:00:03, 18.77s/it]
+
mmlu_bn:  50%|████████████████████████████████████████████████████████▋                                                        | 192/383 [1:00:56<1:01:00, 19.16s/it]
+
mmlu_bn:  50%|█████████████████████████████████████████████████████████▉                                                         | 193/383 [1:01:12<57:39, 18.21s/it]
+
mmlu_bn:  51%|██████████████████████████████████████████████████████████▎                                                        | 194/383 [1:01:29<56:43, 18.01s/it]
+
mmlu_bn:  51%|██████████████████████████████████████████████████████████▌                                                        | 195/383 [1:01:46<54:54, 17.52s/it]
+
mmlu_bn:  51%|██████████████████████████████████████████████████████████▊                                                        | 196/383 [1:02:07<57:48, 18.55s/it]
+
mmlu_bn:  51%|██████████████████████████████████████████████████████████                                                       | 197/383 [1:02:31<1:02:36, 20.20s/it]
+
mmlu_bn:  52%|██████████████████████████████████████████████████████████▍                                                      | 198/383 [1:02:51<1:02:41, 20.33s/it]
+
mmlu_bn:  52%|███████████████████████████████████████████████████████████▊                                                       | 199/383 [1:03:06<56:59, 18.59s/it]
+
mmlu_bn:  52%|████████████████████████████████████████████████████████████                                                       | 200/383 [1:03:24<56:22, 18.48s/it]
+
mmlu_bn:  52%|████████████████████████████████████████████████████████████▎                                                      | 201/383 [1:03:46<58:56, 19.43s/it]
+
mmlu_bn:  53%|███████████████████████████████████████████████████████████▌                                                     | 202/383 [1:04:08<1:01:03, 20.24s/it]
+
mmlu_bn:  53%|███████████████████████████████████████████████████████████▉                                                     | 203/383 [1:04:28<1:00:20, 20.12s/it]
+
mmlu_bn:  53%|█████████████████████████████████████████████████████████████▎                                                     | 204/383 [1:04:45<57:22, 19.23s/it]
+
mmlu_bn:  54%|█████████████████████████████████████████████████████████████▌                                                     | 205/383 [1:05:06<58:21, 19.67s/it]
+
mmlu_bn:  54%|████████████████████████████████████████████████████████████▊                                                    | 206/383 [1:05:28<1:00:26, 20.49s/it]
+
mmlu_bn:  54%|█████████████████████████████████████████████████████████████                                                    | 207/383 [1:05:48<1:00:07, 20.50s/it]
+
mmlu_bn:  54%|██████████████████████████████████████████████████████████████▍                                                    | 208/383 [1:06:05<56:20, 19.32s/it]
+
mmlu_bn:  55%|██████████████████████████████████████████████████████████████▊                                                    | 209/383 [1:06:22<53:59, 18.62s/it]
+
mmlu_bn:  55%|███████████████████████████████████████████████████████████████                                                    | 210/383 [1:06:38<51:47, 17.96s/it]
+
mmlu_bn:  55%|███████████████████████████████████████████████████████████████▎                                                   | 211/383 [1:06:56<51:24, 17.94s/it]
+
mmlu_bn:  55%|███████████████████████████████████████████████████████████████▋                                                   | 212/383 [1:07:15<51:57, 18.23s/it]
+
mmlu_bn:  56%|███████████████████████████████████████████████████████████████▉                                                   | 213/383 [1:07:34<52:05, 18.38s/it]
+
mmlu_bn:  56%|████████████████████████████████████████████████████████████████▎                                                  | 214/383 [1:07:51<50:46, 18.03s/it]
+
mmlu_bn:  56%|████████████████████████████████████████████████████████████████▌                                                  | 215/383 [1:08:11<51:57, 18.56s/it]
+
mmlu_bn:  56%|████████████████████████████████████████████████████████████████▊                                                  | 216/383 [1:08:29<51:33, 18.52s/it]
+
mmlu_bn:  57%|█████████████████████████████████████████████████████████████████▏                                                 | 217/383 [1:08:54<55:56, 20.22s/it]
+
mmlu_bn:  57%|█████████████████████████████████████████████████████████████████▍                                                 | 218/383 [1:09:12<54:17, 19.75s/it]
+
mmlu_bn:  57%|█████████████████████████████████████████████████████████████████▊                                                 | 219/383 [1:09:33<55:06, 20.16s/it]
+
mmlu_bn:  57%|██████████████████████████████████████████████████████████████████                                                 | 220/383 [1:09:52<53:41, 19.76s/it]
+
mmlu_bn:  58%|██████████████████████████████████████████████████████████████████▎                                                | 221/383 [1:10:10<51:56, 19.24s/it]
+
mmlu_bn:  58%|██████████████████████████████████████████████████████████████████▋                                                | 222/383 [1:10:30<51:41, 19.27s/it]
+
mmlu_bn:  58%|██████████████████████████████████████████████████████████████████▉                                                | 223/383 [1:10:45<48:36, 18.23s/it]
+
mmlu_bn:  58%|███████████████████████████████████████████████████████████████████▎                                               | 224/383 [1:11:06<50:16, 18.97s/it]
+
mmlu_bn:  59%|███████████████████████████████████████████████████████████████████▌                                               | 225/383 [1:11:22<47:47, 18.15s/it]
+
mmlu_bn:  59%|███████████████████████████████████████████████████████████████████▊                                               | 226/383 [1:11:40<47:02, 17.98s/it]
+
mmlu_bn:  59%|████████████████████████████████████████████████████████████████████▏                                              | 227/383 [1:12:01<48:51, 18.79s/it]
+
mmlu_bn:  60%|████████████████████████████████████████████████████████████████████▍                                              | 228/383 [1:12:19<48:16, 18.68s/it]
+
mmlu_bn:  60%|████████████████████████████████████████████████████████████████████▊                                              | 229/383 [1:12:40<49:39, 19.34s/it]
+
mmlu_bn:  60%|█████████████████████████████████████████████████████████████████████                                              | 230/383 [1:13:00<49:57, 19.59s/it]
+
mmlu_bn:  60%|█████████████████████████████████████████████████████████████████████▎                                             | 231/383 [1:13:20<49:53, 19.69s/it]
+
mmlu_bn:  61%|█████████████████████████████████████████████████████████████████████▋                                             | 232/383 [1:13:42<51:05, 20.30s/it]
+
mmlu_bn:  61%|█████████████████████████████████████████████████████████████████████▉                                             | 233/383 [1:14:04<52:35, 21.04s/it]
+
mmlu_bn:  61%|██████████████████████████████████████████████████████████████████████▎                                            | 234/383 [1:14:28<54:11, 21.82s/it]
+
mmlu_bn:  61%|██████████████████████████████████████████████████████████████████████▌                                            | 235/383 [1:14:51<54:55, 22.27s/it]
+
mmlu_bn:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 236/383 [1:15:06<49:02, 20.02s/it]
+
mmlu_bn:  62%|███████████████████████████████████████████████████████████████████████▏                                           | 237/383 [1:15:30<51:17, 21.08s/it]
+
mmlu_bn:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 238/383 [1:15:49<49:57, 20.67s/it]
+
mmlu_bn:  62%|███████████████████████████████████████████████████████████████████████▊                                           | 239/383 [1:16:08<48:11, 20.08s/it]
+
mmlu_bn:  63%|████████████████████████████████████████████████████████████████████████                                           | 240/383 [1:16:26<45:59, 19.30s/it]
+
mmlu_bn:  63%|████████████████████████████████████████████████████████████████████████▎                                          | 241/383 [1:16:43<44:15, 18.70s/it]
+
mmlu_bn:  63%|████████████████████████████████████████████████████████████████████████▋                                          | 242/383 [1:16:57<40:52, 17.39s/it]
+
mmlu_bn:  63%|████████████████████████████████████████████████████████████████████████▉                                          | 243/383 [1:17:18<43:15, 18.54s/it]
+
mmlu_bn:  64%|█████████████████████████████████████████████████████████████████████████▎                                         | 244/383 [1:17:37<43:13, 18.66s/it]
+
mmlu_bn:  64%|█████████████████████████████████████████████████████████████████████████▌                                         | 245/383 [1:17:54<41:47, 18.17s/it]
+
mmlu_bn:  64%|█████████████████████████████████████████████████████████████████████████▊                                         | 246/383 [1:18:12<41:02, 17.98s/it]
+
mmlu_bn:  64%|██████████████████████████████████████████████████████████████████████████▏                                        | 247/383 [1:18:31<41:35, 18.35s/it]
+
mmlu_bn:  65%|██████████████████████████████████████████████████████████████████████████▍                                        | 248/383 [1:18:48<40:35, 18.04s/it]
+
mmlu_bn:  65%|██████████████████████████████████████████████████████████████████████████▊                                        | 249/383 [1:19:07<40:45, 18.25s/it]
+
mmlu_bn:  65%|███████████████████████████████████████████████████████████████████████████                                        | 250/383 [1:19:29<42:42, 19.26s/it]
+
mmlu_bn:  66%|███████████████████████████████████████████████████████████████████████████▎                                       | 251/383 [1:19:50<43:55, 19.97s/it]
+
mmlu_bn:  66%|███████████████████████████████████████████████████████████████████████████▋                                       | 252/383 [1:20:08<42:17, 19.37s/it]
+
mmlu_bn:  66%|███████████████████████████████████████████████████████████████████████████▉                                       | 253/383 [1:20:30<43:23, 20.03s/it]
+
mmlu_bn:  66%|████████████████████████████████████████████████████████████████████████████▎                                      | 254/383 [1:20:45<39:58, 18.59s/it]
+
mmlu_bn:  67%|████████████████████████████████████████████████████████████████████████████▌                                      | 255/383 [1:21:09<42:50, 20.08s/it]
+
mmlu_bn:  67%|████████████████████████████████████████████████████████████████████████████▊                                      | 256/383 [1:21:31<43:35, 20.60s/it]
+
mmlu_bn:  67%|█████████████████████████████████████████████████████████████████████████████▏                                     | 257/383 [1:21:48<41:25, 19.72s/it]
+
mmlu_bn:  67%|█████████████████████████████████████████████████████████████████████████████▍                                     | 258/383 [1:22:09<41:26, 19.89s/it]
+
mmlu_bn:  68%|█████████████████████████████████████████████████████████████████████████████▊                                     | 259/383 [1:22:32<43:10, 20.89s/it]
+
mmlu_bn:  68%|██████████████████████████████████████████████████████████████████████████████                                     | 260/383 [1:22:50<41:13, 20.11s/it]
+
mmlu_bn:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 261/383 [1:23:07<38:51, 19.11s/it]
+
mmlu_bn:  68%|██████████████████████████████████████████████████████████████████████████████▋                                    | 262/383 [1:23:24<37:16, 18.48s/it]
+
mmlu_bn:  69%|██████████████████████████████████████████████████████████████████████████████▉                                    | 263/383 [1:23:45<38:51, 19.43s/it]
+
mmlu_bn:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 264/383 [1:24:06<38:59, 19.66s/it]
+
mmlu_bn:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 265/383 [1:24:24<38:05, 19.37s/it]
+
mmlu_bn:  69%|███████████████████████████████████████████████████████████████████████████████▊                                   | 266/383 [1:24:43<37:27, 19.21s/it]
+
mmlu_bn:  70%|████████████████████████████████████████████████████████████████████████████████▏                                  | 267/383 [1:25:06<39:09, 20.26s/it]
+
mmlu_bn:  70%|████████████████████████████████████████████████████████████████████████████████▍                                  | 268/383 [1:25:28<39:57, 20.85s/it]
+
mmlu_bn:  70%|████████████████████████████████████████████████████████████████████████████████▊                                  | 269/383 [1:25:46<37:43, 19.85s/it]
+
mmlu_bn:  70%|█████████████████████████████████████████████████████████████████████████████████                                  | 270/383 [1:26:07<38:08, 20.25s/it]
+
mmlu_bn:  71%|█████████████████████████████████████████████████████████████████████████████████▎                                 | 271/383 [1:26:29<38:57, 20.87s/it]
+
mmlu_bn:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 272/383 [1:26:52<39:39, 21.44s/it]
+
mmlu_bn:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 273/383 [1:27:14<39:33, 21.58s/it]
+
mmlu_bn:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 274/383 [1:27:30<36:17, 19.97s/it]
+
mmlu_bn:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 275/383 [1:27:47<34:31, 19.18s/it]
+
mmlu_bn:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 276/383 [1:28:05<33:17, 18.67s/it]
+
mmlu_bn:  72%|███████████████████████████████████████████████████████████████████████████████████▏                               | 277/383 [1:28:23<32:34, 18.44s/it]
+
mmlu_bn:  73%|███████████████████████████████████████████████████████████████████████████████████▍                               | 278/383 [1:28:46<34:32, 19.74s/it]
+
mmlu_bn:  73%|███████████████████████████████████████████████████████████████████████████████████▊                               | 279/383 [1:29:04<33:26, 19.29s/it]
+
mmlu_bn:  73%|████████████████████████████████████████████████████████████████████████████████████                               | 280/383 [1:29:24<33:28, 19.50s/it]
+
mmlu_bn:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 281/383 [1:29:42<32:42, 19.24s/it]
+
mmlu_bn:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 282/383 [1:30:03<33:10, 19.71s/it]
+
mmlu_bn:  74%|████████████████████████████████████████████████████████████████████████████████████▉                              | 283/383 [1:30:21<31:47, 19.07s/it]
+
mmlu_bn:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 284/383 [1:30:38<30:35, 18.54s/it]
+
mmlu_bn:  74%|█████████████████████████████████████████████████████████████████████████████████████▌                             | 285/383 [1:30:54<29:02, 17.78s/it]
+
mmlu_bn:  75%|█████████████████████████████████████████████████████████████████████████████████████▊                             | 286/383 [1:31:12<28:41, 17.75s/it]
+
mmlu_bn:  75%|██████████████████████████████████████████████████████████████████████████████████████▏                            | 287/383 [1:31:34<30:33, 19.10s/it]
+
mmlu_bn:  75%|██████████████████████████████████████████████████████████████████████████████████████▍                            | 288/383 [1:31:54<30:39, 19.37s/it]
+
mmlu_bn:  75%|██████████████████████████████████████████████████████████████████████████████████████▊                            | 289/383 [1:32:16<31:38, 20.20s/it]
+
mmlu_bn:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 290/383 [1:32:34<30:13, 19.50s/it]
+
mmlu_bn:  76%|███████████████████████████████████████████████████████████████████████████████████████▍                           | 291/383 [1:32:51<28:45, 18.76s/it]
+
mmlu_bn:  76%|███████████████████████████████████████████████████████████████████████████████████████▋                           | 292/383 [1:33:18<32:09, 21.20s/it]
+
mmlu_bn:  77%|███████████████████████████████████████████████████████████████████████████████████████▉                           | 293/383 [1:33:40<32:15, 21.51s/it]
+
mmlu_bn:  77%|████████████████████████████████████████████████████████████████████████████████████████▎                          | 294/383 [1:33:58<30:06, 20.29s/it]
+
mmlu_bn:  77%|████████████████████████████████████████████████████████████████████████████████████████▌                          | 295/383 [1:34:16<28:57, 19.75s/it]
+
mmlu_bn:  77%|████████████████████████████████████████████████████████████████████████████████████████▉                          | 296/383 [1:34:34<27:37, 19.05s/it]
+
mmlu_bn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▏                         | 297/383 [1:34:51<26:46, 18.68s/it]
+
mmlu_bn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▍                         | 298/383 [1:35:12<27:10, 19.18s/it]
+
mmlu_bn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▊                         | 299/383 [1:35:25<24:27, 17.47s/it]
+
mmlu_bn:  78%|██████████████████████████████████████████████████████████████████████████████████████████                         | 300/383 [1:35:42<23:44, 17.16s/it]
+
mmlu_bn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▍                        | 301/383 [1:36:01<24:25, 17.88s/it]
+
mmlu_bn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 302/383 [1:36:15<22:37, 16.77s/it]
+
mmlu_bn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▉                        | 303/383 [1:36:35<23:35, 17.70s/it]
+
mmlu_bn:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 304/383 [1:36:57<24:42, 18.77s/it]
+
mmlu_bn:  80%|███████████████████████████████████████████████████████████████████████████████████████████▌                       | 305/383 [1:37:18<25:27, 19.59s/it]
+
mmlu_bn:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 306/383 [1:37:34<23:35, 18.38s/it]
+
mmlu_bn:  80%|████████████████████████████████████████████████████████████████████████████████████████████▏                      | 307/383 [1:37:48<21:46, 17.20s/it]
+
mmlu_bn:  80%|████████████████████████████████████████████████████████████████████████████████████████████▍                      | 308/383 [1:38:04<21:07, 16.90s/it]
+
mmlu_bn:  81%|████████████████████████████████████████████████████████████████████████████████████████████▊                      | 309/383 [1:38:21<20:53, 16.94s/it]
+
mmlu_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 310/383 [1:38:41<21:36, 17.75s/it]
+
mmlu_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▍                     | 311/383 [1:39:00<21:53, 18.24s/it]
+
mmlu_bn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 312/383 [1:39:19<21:41, 18.33s/it]
+
mmlu_bn:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▉                     | 313/383 [1:39:38<21:32, 18.46s/it]
+
mmlu_bn:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 314/383 [1:39:55<20:42, 18.01s/it]
+
mmlu_bn:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▌                    | 315/383 [1:40:17<21:52, 19.30s/it]
+
mmlu_bn:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 316/383 [1:40:35<21:15, 19.04s/it]
+
mmlu_bn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▏                   | 317/383 [1:40:55<21:02, 19.12s/it]
+
mmlu_bn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▍                   | 318/383 [1:41:14<20:53, 19.28s/it]
+
mmlu_bn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 319/383 [1:41:33<20:25, 19.15s/it]
+
mmlu_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 320/383 [1:41:53<20:27, 19.48s/it]
+
mmlu_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 321/383 [1:42:07<18:26, 17.85s/it]
+
mmlu_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 322/383 [1:42:27<18:40, 18.37s/it]
+
mmlu_bn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 323/383 [1:42:50<19:40, 19.68s/it]
+
mmlu_bn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 324/383 [1:43:08<18:48, 19.13s/it]
+
mmlu_bn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 325/383 [1:43:23<17:33, 18.16s/it]
+
mmlu_bn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 326/383 [1:43:45<18:12, 19.17s/it]
+
mmlu_bn:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 327/383 [1:44:02<17:14, 18.47s/it]
+
mmlu_bn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 328/383 [1:44:20<16:54, 18.45s/it]
+
mmlu_bn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 329/383 [1:44:45<18:13, 20.24s/it]
+
mmlu_bn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 330/383 [1:45:01<16:54, 19.15s/it]
+
mmlu_bn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 331/383 [1:45:18<16:00, 18.48s/it]
+
mmlu_bn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 332/383 [1:45:38<16:06, 18.95s/it]
+
mmlu_bn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉               | 333/383 [1:45:59<16:07, 19.36s/it]
+
mmlu_bn:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 334/383 [1:46:25<17:26, 21.36s/it]
+
mmlu_bn:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 335/383 [1:46:42<16:13, 20.28s/it]
+
mmlu_bn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 336/383 [1:47:01<15:29, 19.77s/it]
+
mmlu_bn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 337/383 [1:47:17<14:19, 18.68s/it]
+
mmlu_bn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 338/383 [1:47:35<13:56, 18.59s/it]
+
mmlu_bn:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 339/383 [1:48:00<14:52, 20.29s/it]
+
mmlu_bn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 340/383 [1:48:18<14:13, 19.85s/it]
+
mmlu_bn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 341/383 [1:48:36<13:26, 19.20s/it]
+
mmlu_bn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 342/383 [1:48:55<13:07, 19.20s/it]
+
mmlu_bn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 343/383 [1:49:13<12:34, 18.85s/it]
+
mmlu_bn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 344/383 [1:49:31<11:55, 18.35s/it]
+
mmlu_bn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 345/383 [1:49:50<11:43, 18.52s/it]
+
mmlu_bn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 346/383 [1:50:06<11:07, 18.04s/it]
+
mmlu_bn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 347/383 [1:50:26<11:01, 18.36s/it]
+
mmlu_bn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 348/383 [1:50:40<10:04, 17.28s/it]
+
mmlu_bn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 349/383 [1:50:56<09:33, 16.86s/it]
+
mmlu_bn:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████          | 350/383 [1:51:15<09:37, 17.49s/it]
+
mmlu_bn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 351/383 [1:51:31<09:05, 17.05s/it]
+
mmlu_bn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 352/383 [1:51:51<09:11, 17.78s/it]
+
mmlu_bn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 353/383 [1:52:14<09:45, 19.53s/it]
+
mmlu_bn:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 354/383 [1:52:33<09:22, 19.40s/it]
+
mmlu_bn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 355/383 [1:52:51<08:47, 18.84s/it]
+
mmlu_bn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 356/383 [1:53:07<08:08, 18.11s/it]
+
mmlu_bn:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 357/383 [1:53:26<07:53, 18.20s/it]
+
mmlu_bn:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 358/383 [1:53:49<08:12, 19.70s/it]
+
mmlu_bn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 359/383 [1:54:09<07:56, 19.85s/it]
+
mmlu_bn:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 360/383 [1:54:28<07:27, 19.47s/it]
+
mmlu_bn:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 361/383 [1:54:49<07:18, 19.94s/it]
+
mmlu_bn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 362/383 [1:55:04<06:29, 18.56s/it]
+
mmlu_bn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 363/383 [1:55:21<06:01, 18.06s/it]
+
mmlu_bn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 364/383 [1:55:37<05:33, 17.56s/it]
+
mmlu_bn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 365/383 [1:55:57<05:26, 18.15s/it]
+
mmlu_bn:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 366/383 [1:56:15<05:09, 18.22s/it]
+
mmlu_bn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 367/383 [1:56:33<04:48, 18.03s/it]
+
mmlu_bn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 368/383 [1:56:51<04:32, 18.19s/it]
+
mmlu_bn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 369/383 [1:57:08<04:09, 17.83s/it]
+
mmlu_bn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 370/383 [1:57:24<03:44, 17.24s/it]
+
mmlu_bn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 371/383 [1:57:43<03:33, 17.77s/it]
+
mmlu_bn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 372/383 [1:58:02<03:19, 18.17s/it]
+
mmlu_bn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 373/383 [1:58:21<03:04, 18.42s/it]
+
mmlu_bn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 374/383 [1:58:44<02:57, 19.69s/it]
+
mmlu_bn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 375/383 [1:59:00<02:27, 18.49s/it]
+
mmlu_bn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 376/383 [1:59:18<02:09, 18.46s/it]
+
mmlu_bn:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 377/383 [1:59:38<01:52, 18.79s/it]
+
mmlu_bn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 378/383 [1:59:56<01:33, 18.73s/it]
+
mmlu_bn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/383 [2:00:15<01:14, 18.70s/it]
+
mmlu_bn:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 380/383 [2:00:33<00:55, 18.41s/it]
+
mmlu_bn:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 381/383 [2:00:48<00:34, 17.50s/it]
+
mmlu_bn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 382/383 [2:01:05<00:17, 17.41s/it]
+
mmlu_bn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [2:01:10<00:00, 13.69s/it]
mmlu_bn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [2:01:10<00:00, 18.98s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_bn_acc 0.25092009487200456
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_bn_acc_norm 0.27889097898094384
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:00:47,506 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:00:47,506 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:47,631 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:00:47,631 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:47,756 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:00:47,756 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:47,881 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:00:47,882 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 18:00:47,882 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 18:00:48,008 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 18:00:48,008 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_bn_acc'}
+2024-05-30 18:00:48,071 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 18:00:48,071 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1205, 'value': 0.25092009487200456}
+2024-05-30 18:00:48,135 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:00:48,775 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:00:48,775 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:48,901 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:00:48,901 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:49,027 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:00:49,027 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:49,153 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:00:49,154 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 18:00:49,154 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 18:00:49,282 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 18:00:49,282 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_bn_acc_norm'}
+2024-05-30 18:00:49,345 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 18:00:49,346 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1206, 'value': 0.27889097898094384}
+2024-05-30 18:00:49,409 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  52%|███████████████████████████████████████████████████████▋                                                    | 64/124 [35:13:18<79:45:43, 4785.73s/it]['mmlu_ca']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:00:50,052 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:00:50,052 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:50,179 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:00:50,179 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:50,305 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:00:50,305 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:00:50,432 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:00:50,433 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 18:00:50,433 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ca'}
+2024-05-30 18:00:50,560 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ca task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1763 examples [00:00, 17032.97 examples/s]
+
Generating test split: 5104 examples [00:00, 26524.45 examples/s]
+
Generating test split: 8639 examples [00:00, 30516.39 examples/s]
+
Generating test split: 12013 examples [00:00, 31781.07 examples/s]
Generating test split: 13156 examples [00:00, 29725.72 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 269 examples [00:00, 27638.04 examples/s]
+Running loglikelihood requests
+
+
mmlu_ca:   0%|                                                                                                                               | 0/412 [00:00<?, ?it/s]
+
mmlu_ca:   0%|▎                                                                                                                      | 1/412 [00:07<53:33,  7.82s/it]
+
mmlu_ca:   0%|▌                                                                                                                      | 2/412 [00:16<55:41,  8.15s/it]
+
mmlu_ca:   1%|▊                                                                                                                      | 3/412 [00:23<52:35,  7.72s/it]
+
mmlu_ca:   1%|█▏                                                                                                                     | 4/412 [00:30<51:24,  7.56s/it]
+
mmlu_ca:   1%|█▍                                                                                                                     | 5/412 [00:37<48:50,  7.20s/it]
+
mmlu_ca:   1%|█▋                                                                                                                     | 6/412 [00:45<50:34,  7.47s/it]
+
mmlu_ca:   2%|██                                                                                                                     | 7/412 [00:53<51:27,  7.62s/it]
+
mmlu_ca:   2%|██▎                                                                                                                    | 8/412 [01:00<50:21,  7.48s/it]
+
mmlu_ca:   2%|██▌                                                                                                                    | 9/412 [01:07<49:34,  7.38s/it]
+
mmlu_ca:   2%|██▊                                                                                                                   | 10/412 [01:14<47:50,  7.14s/it]
+
mmlu_ca:   3%|███▏                                                                                                                  | 11/412 [01:21<47:10,  7.06s/it]
+
mmlu_ca:   3%|███▍                                                                                                                  | 12/412 [01:28<47:18,  7.10s/it]
+
mmlu_ca:   3%|███▋                                                                                                                  | 13/412 [01:35<47:03,  7.08s/it]
+
mmlu_ca:   3%|████                                                                                                                  | 14/412 [01:42<47:12,  7.12s/it]
+
mmlu_ca:   4%|████▎                                                                                                                 | 15/412 [01:50<48:08,  7.28s/it]
+
mmlu_ca:   4%|████▌                                                                                                                 | 16/412 [01:57<49:08,  7.45s/it]
+
mmlu_ca:   4%|████▊                                                                                                                 | 17/412 [02:05<48:43,  7.40s/it]
+
mmlu_ca:   4%|█████▏                                                                                                                | 18/412 [02:12<47:51,  7.29s/it]
+
mmlu_ca:   5%|█████▍                                                                                                                | 19/412 [02:19<47:29,  7.25s/it]
+
mmlu_ca:   5%|█████▋                                                                                                                | 20/412 [02:26<47:33,  7.28s/it]
+
mmlu_ca:   5%|██████                                                                                                                | 21/412 [02:34<47:38,  7.31s/it]
+
mmlu_ca:   5%|██████▎                                                                                                               | 22/412 [02:42<49:37,  7.63s/it]
+
mmlu_ca:   6%|██████▌                                                                                                               | 23/412 [02:49<47:45,  7.37s/it]
+
mmlu_ca:   6%|██████▊                                                                                                               | 24/412 [02:56<46:46,  7.23s/it]
+
mmlu_ca:   6%|███████▏                                                                                                              | 25/412 [03:04<47:53,  7.42s/it]
+
mmlu_ca:   6%|███████▍                                                                                                              | 26/412 [03:11<47:02,  7.31s/it]
+
mmlu_ca:   7%|███████▋                                                                                                              | 27/412 [03:18<46:27,  7.24s/it]
+
mmlu_ca:   7%|████████                                                                                                              | 28/412 [03:26<47:32,  7.43s/it]
+
mmlu_ca:   7%|████████▎                                                                                                             | 29/412 [03:33<47:13,  7.40s/it]
+
mmlu_ca:   7%|████████▌                                                                                                             | 30/412 [03:40<45:45,  7.19s/it]
+
mmlu_ca:   8%|████████▉                                                                                                             | 31/412 [03:47<46:32,  7.33s/it]
+
mmlu_ca:   8%|█████████▏                                                                                                            | 32/412 [03:55<46:18,  7.31s/it]
+
mmlu_ca:   8%|█████████▍                                                                                                            | 33/412 [04:01<45:21,  7.18s/it]
+
mmlu_ca:   8%|█████████▋                                                                                                            | 34/412 [04:10<47:42,  7.57s/it]
+
mmlu_ca:   8%|██████████                                                                                                            | 35/412 [04:18<49:14,  7.84s/it]
+
mmlu_ca:   9%|██████████▎                                                                                                           | 36/412 [04:25<47:34,  7.59s/it]
+
mmlu_ca:   9%|██████████▌                                                                                                           | 37/412 [04:33<47:41,  7.63s/it]
+
mmlu_ca:   9%|██████████▉                                                                                                           | 38/412 [04:41<48:11,  7.73s/it]
+
mmlu_ca:   9%|███████████▏                                                                                                          | 39/412 [04:48<47:32,  7.65s/it]
+
mmlu_ca:  10%|███████████▍                                                                                                          | 40/412 [04:56<47:17,  7.63s/it]
+
mmlu_ca:  10%|███████████▋                                                                                                          | 41/412 [05:03<46:34,  7.53s/it]
+
mmlu_ca:  10%|████████████                                                                                                          | 42/412 [05:11<47:30,  7.70s/it]
+
mmlu_ca:  10%|████████████▎                                                                                                         | 43/412 [05:19<47:07,  7.66s/it]
+
mmlu_ca:  11%|████████████▌                                                                                                         | 44/412 [05:27<47:06,  7.68s/it]
+
mmlu_ca:  11%|████████████▉                                                                                                         | 45/412 [05:33<44:57,  7.35s/it]
+
mmlu_ca:  11%|█████████████▏                                                                                                        | 46/412 [05:41<44:56,  7.37s/it]
+
mmlu_ca:  11%|█████████████▍                                                                                                        | 47/412 [05:50<47:48,  7.86s/it]
+
mmlu_ca:  12%|█████████████▋                                                                                                        | 48/412 [05:59<50:06,  8.26s/it]
+
mmlu_ca:  12%|██████████████                                                                                                        | 49/412 [06:06<47:26,  7.84s/it]
+
mmlu_ca:  12%|██████████████▎                                                                                                       | 50/412 [06:13<46:53,  7.77s/it]
+
mmlu_ca:  12%|██████████████▌                                                                                                       | 51/412 [06:20<44:50,  7.45s/it]
+
mmlu_ca:  13%|██████████████▉                                                                                                       | 52/412 [06:27<44:12,  7.37s/it]
+
mmlu_ca:  13%|███████████████▏                                                                                                      | 53/412 [06:35<44:30,  7.44s/it]
+
mmlu_ca:  13%|███████████████▍                                                                                                      | 54/412 [06:42<43:17,  7.26s/it]
+
mmlu_ca:  13%|███████████████▊                                                                                                      | 55/412 [06:49<42:16,  7.11s/it]
+
mmlu_ca:  14%|████████████████                                                                                                      | 56/412 [06:56<42:39,  7.19s/it]
+
mmlu_ca:  14%|████████████████▎                                                                                                     | 57/412 [07:03<42:35,  7.20s/it]
+
mmlu_ca:  14%|████████████████▌                                                                                                     | 58/412 [07:10<42:11,  7.15s/it]
+
mmlu_ca:  14%|████████████████▉                                                                                                     | 59/412 [07:17<42:05,  7.15s/it]
+
mmlu_ca:  15%|█████████████████▏                                                                                                    | 60/412 [07:24<41:28,  7.07s/it]
+
mmlu_ca:  15%|█████████████████▍                                                                                                    | 61/412 [07:32<42:15,  7.22s/it]
+
mmlu_ca:  15%|█████████████████▊                                                                                                    | 62/412 [07:39<41:26,  7.10s/it]
+
mmlu_ca:  15%|██████████████████                                                                                                    | 63/412 [07:47<42:57,  7.39s/it]
+
mmlu_ca:  16%|██████████████████▎                                                                                                   | 64/412 [07:54<42:16,  7.29s/it]
+
mmlu_ca:  16%|██████████████████▌                                                                                                   | 65/412 [08:01<42:13,  7.30s/it]
+
mmlu_ca:  16%|██████████████████▉                                                                                                   | 66/412 [08:08<41:18,  7.16s/it]
+
mmlu_ca:  16%|███████████████████▏                                                                                                  | 67/412 [08:16<43:14,  7.52s/it]
+
mmlu_ca:  17%|███████████████████▍                                                                                                  | 68/412 [08:23<41:26,  7.23s/it]
+
mmlu_ca:  17%|███████████████████▊                                                                                                  | 69/412 [08:30<41:46,  7.31s/it]
+
mmlu_ca:  17%|████████████████████                                                                                                  | 70/412 [08:37<41:22,  7.26s/it]
+
mmlu_ca:  17%|████████████████████▎                                                                                                 | 71/412 [08:45<41:40,  7.33s/it]
+
mmlu_ca:  17%|████████████████████▌                                                                                                 | 72/412 [08:53<42:54,  7.57s/it]
+
mmlu_ca:  18%|████████████████████▉                                                                                                 | 73/412 [09:00<42:26,  7.51s/it]
+
mmlu_ca:  18%|█████████████████████▏                                                                                                | 74/412 [09:09<43:50,  7.78s/it]
+
mmlu_ca:  18%|█████████████████████▍                                                                                                | 75/412 [09:16<42:24,  7.55s/it]
+
mmlu_ca:  18%|█████████████████████▊                                                                                                | 76/412 [09:23<41:16,  7.37s/it]
+
mmlu_ca:  19%|██████████████████████                                                                                                | 77/412 [09:30<40:44,  7.30s/it]
+
mmlu_ca:  19%|██████████████████████▎                                                                                               | 78/412 [09:37<40:11,  7.22s/it]
+
mmlu_ca:  19%|██████████████████████▋                                                                                               | 79/412 [09:44<39:13,  7.07s/it]
+
mmlu_ca:  19%|██████████████████████▉                                                                                               | 80/412 [09:50<38:19,  6.92s/it]
+
mmlu_ca:  20%|███████████████████████▏                                                                                              | 81/412 [09:57<38:32,  6.99s/it]
+
mmlu_ca:  20%|███████████████████████▍                                                                                              | 82/412 [10:04<37:37,  6.84s/it]
+
mmlu_ca:  20%|███████████████████████▊                                                                                              | 83/412 [10:12<38:56,  7.10s/it]
+
mmlu_ca:  20%|████████████████████████                                                                                              | 84/412 [10:20<40:08,  7.34s/it]
+
mmlu_ca:  21%|████████████████████████▎                                                                                             | 85/412 [10:28<42:34,  7.81s/it]
+
mmlu_ca:  21%|████████████████████████▋                                                                                             | 86/412 [10:35<40:57,  7.54s/it]
+
mmlu_ca:  21%|████████████████████████▉                                                                                             | 87/412 [10:42<39:19,  7.26s/it]
+
mmlu_ca:  21%|█████████████████████████▏                                                                                            | 88/412 [10:49<38:16,  7.09s/it]
+
mmlu_ca:  22%|█████████████████████████▍                                                                                            | 89/412 [10:56<39:00,  7.25s/it]
+
mmlu_ca:  22%|█████████████████████████▊                                                                                            | 90/412 [11:04<39:01,  7.27s/it]
+
mmlu_ca:  22%|██████████████████████████                                                                                            | 91/412 [11:12<40:13,  7.52s/it]
+
mmlu_ca:  22%|██████████████████████████▎                                                                                           | 92/412 [11:19<40:31,  7.60s/it]
+
mmlu_ca:  23%|██████████████████████████▋                                                                                           | 93/412 [11:27<39:44,  7.47s/it]
+
mmlu_ca:  23%|██████████████████████████▉                                                                                           | 94/412 [11:34<38:40,  7.30s/it]
+
mmlu_ca:  23%|███████████████████████████▏                                                                                          | 95/412 [11:42<40:13,  7.61s/it]
+
mmlu_ca:  23%|███████████████████████████▍                                                                                          | 96/412 [11:50<40:21,  7.66s/it]
+
mmlu_ca:  24%|███████████████████████████▊                                                                                          | 97/412 [11:56<37:58,  7.23s/it]
+
mmlu_ca:  24%|████████████████████████████                                                                                          | 98/412 [12:03<37:19,  7.13s/it]
+
mmlu_ca:  24%|████████████████████████████▎                                                                                         | 99/412 [12:10<36:40,  7.03s/it]
+
mmlu_ca:  24%|████████████████████████████▍                                                                                        | 100/412 [12:18<38:33,  7.41s/it]
+
mmlu_ca:  25%|████████████████████████████▋                                                                                        | 101/412 [12:26<40:18,  7.78s/it]
+
mmlu_ca:  25%|████████████████████████████▉                                                                                        | 102/412 [12:35<41:01,  7.94s/it]
+
mmlu_ca:  25%|█████████████████████████████▎                                                                                       | 103/412 [12:41<38:30,  7.48s/it]
+
mmlu_ca:  25%|█████████████████████████████▌                                                                                       | 104/412 [12:49<39:34,  7.71s/it]
+
mmlu_ca:  25%|█████████████████████████████▊                                                                                       | 105/412 [12:56<37:06,  7.25s/it]
+
mmlu_ca:  26%|██████████████████████████████                                                                                       | 106/412 [13:03<37:14,  7.30s/it]
+
mmlu_ca:  26%|██████████████████████████████▍                                                                                      | 107/412 [13:11<38:01,  7.48s/it]
+
mmlu_ca:  26%|██████████████████████████████▋                                                                                      | 108/412 [13:18<37:23,  7.38s/it]
+
mmlu_ca:  26%|██████████████████████████████▉                                                                                      | 109/412 [13:25<36:51,  7.30s/it]
+
mmlu_ca:  27%|███████████████████████████████▏                                                                                     | 110/412 [13:34<38:55,  7.73s/it]
+
mmlu_ca:  27%|███████████████████████████████▌                                                                                     | 111/412 [13:42<39:19,  7.84s/it]
+
mmlu_ca:  27%|███████████████████████████████▊                                                                                     | 112/412 [13:50<38:42,  7.74s/it]
+
mmlu_ca:  27%|████████████████████████████████                                                                                     | 113/412 [13:57<38:38,  7.76s/it]
+
mmlu_ca:  28%|████████████████████████████████▎                                                                                    | 114/412 [14:06<39:58,  8.05s/it]
+
mmlu_ca:  28%|████████████████████████████████▋                                                                                    | 115/412 [14:14<39:07,  7.90s/it]
+
mmlu_ca:  28%|████████████████████████████████▉                                                                                    | 116/412 [14:21<37:53,  7.68s/it]
+
mmlu_ca:  28%|█████████████████████████████████▏                                                                                   | 117/412 [14:27<35:33,  7.23s/it]
+
mmlu_ca:  29%|█████████████████████████████████▌                                                                                   | 118/412 [14:33<34:06,  6.96s/it]
+
mmlu_ca:  29%|█████████████████████████████████▊                                                                                   | 119/412 [14:40<33:51,  6.93s/it]
+
mmlu_ca:  29%|██████████████████████████████████                                                                                   | 120/412 [14:47<33:17,  6.84s/it]
+
mmlu_ca:  29%|██████████████████████████████████▎                                                                                  | 121/412 [14:53<32:29,  6.70s/it]
+
mmlu_ca:  30%|██████████████████████████████████▋                                                                                  | 122/412 [15:00<32:55,  6.81s/it]
+
mmlu_ca:  30%|██████████████████████████████████▉                                                                                  | 123/412 [15:07<33:14,  6.90s/it]
+
mmlu_ca:  30%|███████████████████████████████████▏                                                                                 | 124/412 [15:14<33:02,  6.88s/it]
+
mmlu_ca:  30%|███████████████████████████████████▍                                                                                 | 125/412 [15:21<33:02,  6.91s/it]
+
mmlu_ca:  31%|███████████████████████████████████▊                                                                                 | 126/412 [15:28<32:21,  6.79s/it]
+
mmlu_ca:  31%|████████████████████████████████████                                                                                 | 127/412 [15:36<33:48,  7.12s/it]
+
mmlu_ca:  31%|████████████████████████████████████▎                                                                                | 128/412 [15:44<34:57,  7.38s/it]
+
mmlu_ca:  31%|████████████████████████████████████▋                                                                                | 129/412 [15:52<36:30,  7.74s/it]
+
mmlu_ca:  32%|████████████████████████████████████▉                                                                                | 130/412 [16:00<36:08,  7.69s/it]
+
mmlu_ca:  32%|█████████████████████████████████████▏                                                                               | 131/412 [16:07<34:53,  7.45s/it]
+
mmlu_ca:  32%|█████████████████████████████████████▍                                                                               | 132/412 [16:14<34:53,  7.48s/it]
+
mmlu_ca:  32%|█████████████████████████████████████▊                                                                               | 133/412 [16:22<34:45,  7.47s/it]
+
mmlu_ca:  33%|██████████████████████████████████████                                                                               | 134/412 [16:29<34:13,  7.39s/it]
+
mmlu_ca:  33%|██████████████████████████████████████▎                                                                              | 135/412 [16:36<33:44,  7.31s/it]
+
mmlu_ca:  33%|██████████████████████████████████████▌                                                                              | 136/412 [16:43<32:39,  7.10s/it]
+
mmlu_ca:  33%|██████████████████████████████████████▉                                                                              | 137/412 [16:50<33:42,  7.36s/it]
+
mmlu_ca:  33%|███████████████████████████████████████▏                                                                             | 138/412 [16:59<35:14,  7.72s/it]
+
mmlu_ca:  34%|███████████████████████████████████████▍                                                                             | 139/412 [17:06<33:57,  7.46s/it]
+
mmlu_ca:  34%|███████████████████████████████████████▊                                                                             | 140/412 [17:14<35:06,  7.75s/it]
+
mmlu_ca:  34%|████████████████████████████████████████                                                                             | 141/412 [17:21<34:08,  7.56s/it]
+
mmlu_ca:  34%|████████████████████████████████████████▎                                                                            | 142/412 [17:28<33:18,  7.40s/it]
+
mmlu_ca:  35%|████████████████████████████████████████▌                                                                            | 143/412 [17:36<33:29,  7.47s/it]
+
mmlu_ca:  35%|████████████████████████████████████████▉                                                                            | 144/412 [17:44<33:25,  7.48s/it]
+
mmlu_ca:  35%|█████████████████████████████████████████▏                                                                           | 145/412 [17:51<33:39,  7.57s/it]
+
mmlu_ca:  35%|█████████████████████████████████████████▍                                                                           | 146/412 [17:57<31:29,  7.10s/it]
+
mmlu_ca:  36%|█████████████████████████████████████████▋                                                                           | 147/412 [18:05<32:00,  7.25s/it]
+
mmlu_ca:  36%|██████████████████████████████████████████                                                                           | 148/412 [18:13<32:44,  7.44s/it]
+
mmlu_ca:  36%|██████████████████████████████████████████▎                                                                          | 149/412 [18:22<34:11,  7.80s/it]
+
mmlu_ca:  36%|██████████████████████████████████████████▌                                                                          | 150/412 [18:29<33:55,  7.77s/it]
+
mmlu_ca:  37%|██████████████████████████████████████████▉                                                                          | 151/412 [18:36<32:40,  7.51s/it]
+
mmlu_ca:  37%|███████████████████████████████████████████▏                                                                         | 152/412 [18:43<31:54,  7.36s/it]
+
mmlu_ca:  37%|███████████████████████████████████████████▍                                                                         | 153/412 [18:51<32:34,  7.54s/it]
+
mmlu_ca:  37%|███████████████████████████████████████████▋                                                                         | 154/412 [18:58<31:59,  7.44s/it]
+
mmlu_ca:  38%|████████████████████████████████████████████                                                                         | 155/412 [19:06<31:49,  7.43s/it]
+
mmlu_ca:  38%|████████████████████████████████████████████▎                                                                        | 156/412 [19:13<31:23,  7.36s/it]
+
mmlu_ca:  38%|████████████████████████████████████████████▌                                                                        | 157/412 [19:19<30:13,  7.11s/it]
+
mmlu_ca:  38%|████████████████████████████████████████████▊                                                                        | 158/412 [19:26<29:33,  6.98s/it]
+
mmlu_ca:  39%|█████████████████████████████████████████████▏                                                                       | 159/412 [19:33<29:36,  7.02s/it]
+
mmlu_ca:  39%|█████████████████████████████████████████████▍                                                                       | 160/412 [19:41<31:01,  7.39s/it]
+
mmlu_ca:  39%|█████████████████████████████████████████████▋                                                                       | 161/412 [19:48<30:20,  7.25s/it]
+
mmlu_ca:  39%|██████████████████████████████████████████████                                                                       | 162/412 [19:56<31:12,  7.49s/it]
+
mmlu_ca:  40%|██████████████████████████████████████████████▎                                                                      | 163/412 [20:04<30:37,  7.38s/it]
+
mmlu_ca:  40%|██████████████████████████████████████████████▌                                                                      | 164/412 [20:11<30:16,  7.33s/it]
+
mmlu_ca:  40%|██████████████████████████████████████████████▊                                                                      | 165/412 [20:18<29:47,  7.24s/it]
+
mmlu_ca:  40%|███████████████████████████████████████████████▏                                                                     | 166/412 [20:26<31:01,  7.57s/it]
+
mmlu_ca:  41%|███████████████████████████████████████████████▍                                                                     | 167/412 [20:35<32:57,  8.07s/it]
+
mmlu_ca:  41%|███████████████████████████████████████████████▋                                                                     | 168/412 [20:42<31:14,  7.68s/it]
+
mmlu_ca:  41%|███████████████████████████████████████████████▉                                                                     | 169/412 [20:50<31:20,  7.74s/it]
+
mmlu_ca:  41%|████████████████████████████████████████████████▎                                                                    | 170/412 [20:57<30:17,  7.51s/it]
+
mmlu_ca:  42%|████████████████████████████████████████████████▌                                                                    | 171/412 [21:05<30:42,  7.65s/it]
+
mmlu_ca:  42%|████████████████████████████████████████████████▊                                                                    | 172/412 [21:12<29:50,  7.46s/it]
+
mmlu_ca:  42%|█████████████████████████████████████████████████▏                                                                   | 173/412 [21:20<30:19,  7.61s/it]
+
mmlu_ca:  42%|█████████████████████████████████████████████████▍                                                                   | 174/412 [21:27<29:19,  7.39s/it]
+
mmlu_ca:  42%|█████████████████████████████████████████████████▋                                                                   | 175/412 [21:35<30:14,  7.65s/it]
+
mmlu_ca:  43%|█████████████████████████████████████████████████▉                                                                   | 176/412 [21:43<30:00,  7.63s/it]
+
mmlu_ca:  43%|██████████████████████████████████████████████████▎                                                                  | 177/412 [21:51<30:09,  7.70s/it]
+
mmlu_ca:  43%|██████████████████████████████████████████████████▌                                                                  | 178/412 [21:58<29:29,  7.56s/it]
+
mmlu_ca:  43%|██████████████████████████████████████████████████▊                                                                  | 179/412 [22:06<30:13,  7.78s/it]
+
mmlu_ca:  44%|███████████████████████████████████████████████████                                                                  | 180/412 [22:13<28:51,  7.46s/it]
+
mmlu_ca:  44%|███████████████████████████████████████████████████▍                                                                 | 181/412 [22:19<27:22,  7.11s/it]
+
mmlu_ca:  44%|███████████████████████████████████████████████████▋                                                                 | 182/412 [22:28<29:02,  7.58s/it]
+
mmlu_ca:  44%|███████████████████████████████████████████████████▉                                                                 | 183/412 [22:37<30:48,  8.07s/it]
+
mmlu_ca:  45%|████████████████████████████████████████████████████▎                                                                | 184/412 [22:44<29:37,  7.79s/it]
+
mmlu_ca:  45%|████████████████████████████████████████████████████▌                                                                | 185/412 [22:52<29:07,  7.70s/it]
+
mmlu_ca:  45%|████████████████████████████████████████████████████▊                                                                | 186/412 [23:00<29:23,  7.80s/it]
+
mmlu_ca:  45%|█████████████████████████████████████████████████████                                                                | 187/412 [23:07<28:20,  7.56s/it]
+
mmlu_ca:  46%|█████████████████████████████████████████████████████▍                                                               | 188/412 [23:15<28:35,  7.66s/it]
+
mmlu_ca:  46%|█████████████████████████████████████████████████████▋                                                               | 189/412 [23:22<27:55,  7.51s/it]
+
mmlu_ca:  46%|█████████████████████████████████████████████████████▉                                                               | 190/412 [23:29<27:12,  7.35s/it]
+
mmlu_ca:  46%|██████████████████████████████████████████████████████▏                                                              | 191/412 [23:36<26:45,  7.27s/it]
+
mmlu_ca:  47%|██████████████████████████████████████████████████████▌                                                              | 192/412 [23:43<26:09,  7.13s/it]
+
mmlu_ca:  47%|██████████████████████████████████████████████████████▊                                                              | 193/412 [23:50<25:48,  7.07s/it]
+
mmlu_ca:  47%|███████████████████████████████████████████████████████                                                              | 194/412 [23:57<25:42,  7.08s/it]
+
mmlu_ca:  47%|███████████████████████████████████████████████████████▍                                                             | 195/412 [24:04<25:45,  7.12s/it]
+
mmlu_ca:  48%|███████████████████████████████████████████████████████▋                                                             | 196/412 [24:12<26:20,  7.32s/it]
+
mmlu_ca:  48%|███████████████████████████████████████████████████████▉                                                             | 197/412 [24:19<26:21,  7.35s/it]
+
mmlu_ca:  48%|████████████████████████████████████████████████████████▏                                                            | 198/412 [24:26<26:17,  7.37s/it]
+
mmlu_ca:  48%|████████████████████████████████████████████████████████▌                                                            | 199/412 [24:33<25:43,  7.25s/it]
+
mmlu_ca:  49%|████████████████████████████████████████████████████████▊                                                            | 200/412 [24:40<25:08,  7.11s/it]
+
mmlu_ca:  49%|█████████████████████████████████████████████████████████                                                            | 201/412 [24:47<24:53,  7.08s/it]
+
mmlu_ca:  49%|█████████████████████████████████████████████████████████▎                                                           | 202/412 [24:54<24:08,  6.90s/it]
+
mmlu_ca:  49%|█████████████████████████████████████████████████████████▋                                                           | 203/412 [25:00<23:53,  6.86s/it]
+
mmlu_ca:  50%|█████████████████████████████████████████████████████████▉                                                           | 204/412 [25:08<24:44,  7.14s/it]
+
mmlu_ca:  50%|██████████████████████████████████████████████████████████▏                                                          | 205/412 [25:15<24:24,  7.07s/it]
+
mmlu_ca:  50%|██████████████████████████████████████████████████████████▌                                                          | 206/412 [25:24<26:14,  7.64s/it]
+
mmlu_ca:  50%|██████████████████████████████████████████████████████████▊                                                          | 207/412 [25:32<25:53,  7.58s/it]
+
mmlu_ca:  50%|███████████████████████████████████████████████████████████                                                          | 208/412 [25:40<27:05,  7.97s/it]
+
mmlu_ca:  51%|███████████████████████████████████████████████████████████▎                                                         | 209/412 [25:47<25:44,  7.61s/it]
+
mmlu_ca:  51%|███████████████████████████████████████████████████████████▋                                                         | 210/412 [25:54<24:49,  7.37s/it]
+
mmlu_ca:  51%|███████████████████████████████████████████████████████████▉                                                         | 211/412 [26:01<24:25,  7.29s/it]
+
mmlu_ca:  51%|████████████████████████████████████████████████████████████▏                                                        | 212/412 [26:08<23:58,  7.19s/it]
+
mmlu_ca:  52%|████████████████████████████████████████████████████████████▍                                                        | 213/412 [26:15<23:48,  7.18s/it]
+
mmlu_ca:  52%|████████████████████████████████████████████████████████████▊                                                        | 214/412 [26:22<23:15,  7.05s/it]
+
mmlu_ca:  52%|█████████████████████████████████████████████████████████████                                                        | 215/412 [26:29<22:59,  7.00s/it]
+
mmlu_ca:  52%|█████████████████████████████████████████████████████████████▎                                                       | 216/412 [26:37<23:41,  7.25s/it]
+
mmlu_ca:  53%|█████████████████████████████████████████████████████████████▌                                                       | 217/412 [26:43<23:05,  7.11s/it]
+
mmlu_ca:  53%|█████████████████████████████████████████████████████████████▉                                                       | 218/412 [26:51<23:40,  7.32s/it]
+
mmlu_ca:  53%|██████████████████████████████████████████████████████████████▏                                                      | 219/412 [26:58<23:02,  7.17s/it]
+
mmlu_ca:  53%|██████████████████████████████████████████████████████████████▍                                                      | 220/412 [27:06<23:20,  7.30s/it]
+
mmlu_ca:  54%|██████████████████████████████████████████████████████████████▊                                                      | 221/412 [27:13<22:46,  7.15s/it]
+
mmlu_ca:  54%|███████████████████████████████████████████████████████████████                                                      | 222/412 [27:20<23:10,  7.32s/it]
+
mmlu_ca:  54%|███████████████████████████████████████████████████████████████▎                                                     | 223/412 [27:27<22:25,  7.12s/it]
+
mmlu_ca:  54%|███████████████████████████████████████████████████████████████▌                                                     | 224/412 [27:35<23:06,  7.38s/it]
+
mmlu_ca:  55%|███████████████████████████████████████████████████████████████▉                                                     | 225/412 [27:42<22:24,  7.19s/it]
+
mmlu_ca:  55%|████████████████████████████████████████████████████████████████▏                                                    | 226/412 [27:50<23:00,  7.42s/it]
+
mmlu_ca:  55%|████████████████████████████████████████████████████████████████▍                                                    | 227/412 [27:57<23:07,  7.50s/it]
+
mmlu_ca:  55%|████████████████████████████████████████████████████████████████▋                                                    | 228/412 [28:05<23:08,  7.54s/it]
+
mmlu_ca:  56%|█████████████████████████████████████████████████████████████████                                                    | 229/412 [28:11<21:57,  7.20s/it]
+
mmlu_ca:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 230/412 [28:19<22:20,  7.37s/it]
+
mmlu_ca:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 231/412 [28:28<23:21,  7.75s/it]
+
mmlu_ca:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 232/412 [28:35<22:27,  7.49s/it]
+
mmlu_ca:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 233/412 [28:44<23:52,  8.00s/it]
+
mmlu_ca:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 234/412 [28:51<22:37,  7.62s/it]
+
mmlu_ca:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 235/412 [28:58<21:56,  7.44s/it]
+
mmlu_ca:  57%|███████████████████████████████████████████████████████████████████                                                  | 236/412 [29:04<21:00,  7.16s/it]
+
mmlu_ca:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 237/412 [29:12<21:30,  7.37s/it]
+
mmlu_ca:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 238/412 [29:20<21:43,  7.49s/it]
+
mmlu_ca:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 239/412 [29:28<22:03,  7.65s/it]
+
mmlu_ca:  58%|████████████████████████████████████████████████████████████████████▏                                                | 240/412 [29:34<21:06,  7.37s/it]
+
mmlu_ca:  58%|████████████████████████████████████████████████████████████████████▍                                                | 241/412 [29:41<20:06,  7.06s/it]
+
mmlu_ca:  59%|████████████████████████████████████████████████████████████████████▋                                                | 242/412 [29:48<20:10,  7.12s/it]
+
mmlu_ca:  59%|█████████████████████████████████████████████████████████████████████                                                | 243/412 [29:56<20:34,  7.31s/it]
+
mmlu_ca:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 244/412 [30:04<21:24,  7.65s/it]
+
mmlu_ca:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 245/412 [30:11<20:14,  7.27s/it]
+
mmlu_ca:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 246/412 [30:18<20:39,  7.46s/it]
+
mmlu_ca:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 247/412 [30:25<20:03,  7.29s/it]
+
mmlu_ca:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 248/412 [30:32<19:28,  7.12s/it]
+
mmlu_ca:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 249/412 [30:40<20:00,  7.36s/it]
+
mmlu_ca:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 250/412 [30:48<20:02,  7.42s/it]
+
mmlu_ca:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 251/412 [30:57<21:15,  7.92s/it]
+
mmlu_ca:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 252/412 [31:04<20:32,  7.71s/it]
+
mmlu_ca:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 253/412 [31:11<19:59,  7.54s/it]
+
mmlu_ca:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 254/412 [31:19<20:09,  7.65s/it]
+
mmlu_ca:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 255/412 [31:28<21:17,  8.14s/it]
+
mmlu_ca:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 256/412 [31:36<20:56,  8.05s/it]
+
mmlu_ca:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 257/412 [31:43<20:08,  7.80s/it]
+
mmlu_ca:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 258/412 [31:52<20:27,  7.97s/it]
+
mmlu_ca:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 259/412 [31:59<19:54,  7.81s/it]
+
mmlu_ca:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 260/412 [32:06<18:53,  7.46s/it]
+
mmlu_ca:  63%|██████████████████████████████████████████████████████████████████████████                                           | 261/412 [32:13<18:21,  7.29s/it]
+
mmlu_ca:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 262/412 [32:21<19:14,  7.70s/it]
+
mmlu_ca:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 263/412 [32:29<18:54,  7.61s/it]
+
mmlu_ca:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 264/412 [32:36<18:36,  7.55s/it]
+
mmlu_ca:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 265/412 [32:43<18:04,  7.38s/it]
+
mmlu_ca:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 266/412 [32:52<18:47,  7.72s/it]
+
mmlu_ca:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 267/412 [32:58<17:24,  7.20s/it]
+
mmlu_ca:  65%|████████████████████████████████████████████████████████████████████████████                                         | 268/412 [33:05<17:27,  7.27s/it]
+
mmlu_ca:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 269/412 [33:12<17:02,  7.15s/it]
+
mmlu_ca:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 270/412 [33:19<16:42,  7.06s/it]
+
mmlu_ca:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 271/412 [33:26<16:42,  7.11s/it]
+
mmlu_ca:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 272/412 [33:33<16:29,  7.07s/it]
+
mmlu_ca:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 273/412 [33:40<16:24,  7.08s/it]
+
mmlu_ca:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 274/412 [33:49<17:19,  7.53s/it]
+
mmlu_ca:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 275/412 [33:55<16:43,  7.33s/it]
+
mmlu_ca:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 276/412 [34:03<16:27,  7.26s/it]
+
mmlu_ca:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 277/412 [34:10<16:38,  7.40s/it]
+
mmlu_ca:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 278/412 [34:18<16:33,  7.41s/it]
+
mmlu_ca:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 279/412 [34:25<15:59,  7.22s/it]
+
mmlu_ca:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 280/412 [34:32<16:08,  7.33s/it]
+
mmlu_ca:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 281/412 [34:40<16:12,  7.42s/it]
+
mmlu_ca:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 282/412 [34:47<16:14,  7.50s/it]
+
mmlu_ca:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 283/412 [34:55<15:53,  7.39s/it]
+
mmlu_ca:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 284/412 [35:02<16:04,  7.54s/it]
+
mmlu_ca:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 285/412 [35:11<16:18,  7.71s/it]
+
mmlu_ca:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 286/412 [35:19<16:37,  7.92s/it]
+
mmlu_ca:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 287/412 [35:26<15:45,  7.56s/it]
+
mmlu_ca:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 288/412 [35:33<15:39,  7.58s/it]
+
mmlu_ca:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 289/412 [35:40<15:00,  7.32s/it]
+
mmlu_ca:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 290/412 [35:48<15:05,  7.43s/it]
+
mmlu_ca:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 291/412 [35:55<14:58,  7.43s/it]
+
mmlu_ca:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 292/412 [36:02<14:46,  7.39s/it]
+
mmlu_ca:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 293/412 [36:10<14:35,  7.36s/it]
+
mmlu_ca:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 294/412 [36:17<14:38,  7.44s/it]
+
mmlu_ca:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 295/412 [36:26<15:03,  7.72s/it]
+
mmlu_ca:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 296/412 [36:33<14:23,  7.44s/it]
+
mmlu_ca:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 297/412 [36:40<14:15,  7.44s/it]
+
mmlu_ca:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 298/412 [36:48<14:15,  7.50s/it]
+
mmlu_ca:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 299/412 [36:55<14:09,  7.52s/it]
+
mmlu_ca:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 300/412 [37:02<13:42,  7.35s/it]
+
mmlu_ca:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 301/412 [37:08<12:59,  7.03s/it]
+
mmlu_ca:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 302/412 [37:17<13:39,  7.45s/it]
+
mmlu_ca:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 303/412 [37:24<13:18,  7.33s/it]
+
mmlu_ca:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 304/412 [37:31<13:04,  7.27s/it]
+
mmlu_ca:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 305/412 [37:38<12:40,  7.10s/it]
+
mmlu_ca:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 306/412 [37:45<12:34,  7.12s/it]
+
mmlu_ca:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 307/412 [37:52<12:26,  7.11s/it]
+
mmlu_ca:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 308/412 [38:00<12:58,  7.49s/it]
+
mmlu_ca:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 309/412 [38:07<12:22,  7.20s/it]
+
mmlu_ca:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 310/412 [38:15<12:32,  7.37s/it]
+
mmlu_ca:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 311/412 [38:22<12:26,  7.39s/it]
+
mmlu_ca:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 312/412 [38:29<12:19,  7.39s/it]
+
mmlu_ca:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 313/412 [38:37<12:03,  7.31s/it]
+
mmlu_ca:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 314/412 [38:43<11:43,  7.18s/it]
+
mmlu_ca:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 315/412 [38:50<11:31,  7.13s/it]
+
mmlu_ca:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 316/412 [38:58<11:35,  7.24s/it]
+
mmlu_ca:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 317/412 [39:06<11:52,  7.50s/it]
+
mmlu_ca:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 318/412 [39:13<11:34,  7.39s/it]
+
mmlu_ca:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 319/412 [39:21<11:26,  7.39s/it]
+
mmlu_ca:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 320/412 [39:29<11:33,  7.54s/it]
+
mmlu_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 321/412 [39:37<12:01,  7.92s/it]
+
mmlu_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 322/412 [39:44<11:20,  7.56s/it]
+
mmlu_ca:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 323/412 [39:52<11:19,  7.63s/it]
+
mmlu_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 324/412 [39:59<11:01,  7.51s/it]
+
mmlu_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 325/412 [40:07<10:52,  7.50s/it]
+
mmlu_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 326/412 [40:15<11:02,  7.70s/it]
+
mmlu_ca:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 327/412 [40:23<11:06,  7.85s/it]
+
mmlu_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 328/412 [40:30<10:38,  7.61s/it]
+
mmlu_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 329/412 [40:38<10:38,  7.70s/it]
+
mmlu_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 330/412 [40:45<10:11,  7.46s/it]
+
mmlu_ca:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 331/412 [40:53<10:20,  7.66s/it]
+
mmlu_ca:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 332/412 [41:02<10:47,  8.09s/it]
+
mmlu_ca:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 333/412 [41:10<10:35,  8.04s/it]
+
mmlu_ca:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 334/412 [41:17<09:57,  7.65s/it]
+
mmlu_ca:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 335/412 [41:24<09:31,  7.43s/it]
+
mmlu_ca:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 336/412 [41:31<09:15,  7.31s/it]
+
mmlu_ca:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 337/412 [41:39<09:35,  7.67s/it]
+
mmlu_ca:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 338/412 [41:47<09:33,  7.75s/it]
+
mmlu_ca:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 339/412 [41:55<09:26,  7.76s/it]
+
mmlu_ca:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 340/412 [42:03<09:19,  7.77s/it]
+
mmlu_ca:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 341/412 [42:11<09:14,  7.81s/it]
+
mmlu_ca:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 342/412 [42:18<09:01,  7.73s/it]
+
mmlu_ca:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 343/412 [42:25<08:46,  7.63s/it]
+
mmlu_ca:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 344/412 [42:32<08:26,  7.45s/it]
+
mmlu_ca:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 345/412 [42:40<08:19,  7.46s/it]
+
mmlu_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 346/412 [42:47<08:08,  7.41s/it]
+
mmlu_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 347/412 [42:54<07:56,  7.34s/it]
+
mmlu_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 348/412 [43:01<07:42,  7.23s/it]
+
mmlu_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 349/412 [43:08<07:27,  7.10s/it]
+
mmlu_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 350/412 [43:16<07:27,  7.22s/it]
+
mmlu_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 351/412 [43:24<07:47,  7.67s/it]
+
mmlu_ca:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 352/412 [43:32<07:34,  7.57s/it]
+
mmlu_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 353/412 [43:39<07:12,  7.33s/it]
+
mmlu_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 354/412 [43:46<07:01,  7.26s/it]
+
mmlu_ca:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 355/412 [43:53<06:51,  7.22s/it]
+
mmlu_ca:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 356/412 [44:00<06:38,  7.12s/it]
+
mmlu_ca:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 357/412 [44:08<06:58,  7.61s/it]
+
mmlu_ca:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 358/412 [44:16<06:50,  7.59s/it]
+
mmlu_ca:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 359/412 [44:23<06:36,  7.48s/it]
+
mmlu_ca:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 360/412 [44:31<06:34,  7.59s/it]
+
mmlu_ca:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 361/412 [44:39<06:37,  7.79s/it]
+
mmlu_ca:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 362/412 [44:46<06:12,  7.44s/it]
+
mmlu_ca:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 363/412 [44:54<06:08,  7.53s/it]
+
mmlu_ca:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 364/412 [45:00<05:46,  7.21s/it]
+
mmlu_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 365/412 [45:07<05:36,  7.16s/it]
+
mmlu_ca:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 366/412 [45:14<05:25,  7.08s/it]
+
mmlu_ca:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 367/412 [45:22<05:36,  7.48s/it]
+
mmlu_ca:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 368/412 [45:29<05:21,  7.32s/it]
+
mmlu_ca:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 369/412 [45:37<05:20,  7.45s/it]
+
mmlu_ca:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 370/412 [45:45<05:19,  7.60s/it]
+
mmlu_ca:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 371/412 [45:53<05:10,  7.57s/it]
+
mmlu_ca:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 372/412 [46:02<05:29,  8.25s/it]
+
mmlu_ca:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 373/412 [46:11<05:22,  8.28s/it]
+
mmlu_ca:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 374/412 [46:18<05:06,  8.06s/it]
+
mmlu_ca:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 375/412 [46:25<04:41,  7.61s/it]
+
mmlu_ca:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 376/412 [46:32<04:23,  7.33s/it]
+
mmlu_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 377/412 [46:39<04:18,  7.37s/it]
+
mmlu_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 378/412 [46:47<04:13,  7.44s/it]
+
mmlu_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 379/412 [46:54<04:04,  7.42s/it]
+
mmlu_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 380/412 [47:02<04:03,  7.61s/it]
+
mmlu_ca:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 381/412 [47:09<03:53,  7.54s/it]
+
mmlu_ca:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 382/412 [47:17<03:46,  7.56s/it]
+
mmlu_ca:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 383/412 [47:25<03:39,  7.57s/it]
+
mmlu_ca:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 384/412 [47:32<03:26,  7.38s/it]
+
mmlu_ca:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 385/412 [47:39<03:17,  7.31s/it]
+
mmlu_ca:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 386/412 [47:46<03:12,  7.39s/it]
+
mmlu_ca:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 387/412 [47:54<03:05,  7.42s/it]
+
mmlu_ca:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 388/412 [48:01<02:57,  7.40s/it]
+
mmlu_ca:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 389/412 [48:08<02:47,  7.29s/it]
+
mmlu_ca:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 390/412 [48:15<02:37,  7.14s/it]
+
mmlu_ca:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 391/412 [48:23<02:32,  7.27s/it]
+
mmlu_ca:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 392/412 [48:29<02:19,  6.99s/it]
+
mmlu_ca:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 393/412 [48:36<02:16,  7.17s/it]
+
mmlu_ca:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 394/412 [48:44<02:08,  7.16s/it]
+
mmlu_ca:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 395/412 [48:51<02:00,  7.09s/it]
+
mmlu_ca:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 396/412 [48:57<01:52,  7.03s/it]
+
mmlu_ca:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 397/412 [49:06<01:54,  7.62s/it]
+
mmlu_ca:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 398/412 [49:15<01:50,  7.88s/it]
+
mmlu_ca:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 399/412 [49:24<01:45,  8.15s/it]
+
mmlu_ca:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 400/412 [49:31<01:35,  8.00s/it]
+
mmlu_ca:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 401/412 [49:38<01:25,  7.75s/it]
+
mmlu_ca:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 402/412 [49:47<01:18,  7.85s/it]
+
mmlu_ca:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 403/412 [49:54<01:09,  7.68s/it]
+
mmlu_ca:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 404/412 [50:00<00:58,  7.36s/it]
+
mmlu_ca:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 405/412 [50:07<00:50,  7.22s/it]
+
mmlu_ca:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [50:14<00:42,  7.15s/it]
+
mmlu_ca:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [50:22<00:36,  7.33s/it]
+
mmlu_ca:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [50:30<00:29,  7.50s/it]
+
mmlu_ca:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [50:38<00:22,  7.51s/it]
+
mmlu_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [50:44<00:14,  7.30s/it]
+
mmlu_ca: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [50:51<00:07,  7.10s/it]
+
mmlu_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [50:55<00:00,  6.23s/it]
mmlu_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [50:55<00:00,  7.42s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ca_acc 0.3459258133171177
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ca_acc_norm 0.3267710550319246
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:51:48,569 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:51:48,569 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:48,699 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:51:48,699 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:48,828 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:51:48,828 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:48,958 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:51:48,959 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 18:51:48,959 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 18:51:49,089 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 18:51:49,089 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_ca_acc'}
+2024-05-30 18:51:49,155 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 18:51:49,155 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1207, 'value': 0.3459258133171177}
+2024-05-30 18:51:49,221 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:51:49,851 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:51:49,851 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:49,974 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:51:49,974 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:50,098 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:51:50,098 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:50,221 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:51:50,222 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 18:51:50,222 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 18:51:50,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 18:51:50,347 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ca_acc_norm'}
+2024-05-30 18:51:50,409 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 18:51:50,409 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1208, 'value': 0.3267710550319246}
+2024-05-30 18:51:50,472 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  52%|████████████████████████████████████████████████████████▌                                                   | 65/124 [36:04:19<69:57:11, 4268.33s/it]['mmlu_da']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 18:51:51,086 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 18:51:51,086 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:51,206 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 18:51:51,206 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:51,327 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 18:51:51,327 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 18:51:51,447 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 18:51:51,448 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 18:51:51,448 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_da'}
+2024-05-30 18:51:51,569 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_da task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1772 examples [00:00, 17451.93 examples/s]
+
Generating test split: 5143 examples [00:00, 26952.37 examples/s]
+
Generating test split: 8677 examples [00:00, 30763.66 examples/s]
+
Generating test split: 12040 examples [00:00, 31889.83 examples/s]
Generating test split: 13206 examples [00:00, 29962.51 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 269 examples [00:00, 27719.52 examples/s]
+Running loglikelihood requests
+
+
mmlu_da:   0%|                                                                                                                               | 0/413 [00:00<?, ?it/s]
+
mmlu_da:   0%|▎                                                                                                                      | 1/413 [00:07<51:54,  7.56s/it]
+
mmlu_da:   0%|▌                                                                                                                      | 2/413 [00:14<50:41,  7.40s/it]
+
mmlu_da:   1%|▊                                                                                                                      | 3/413 [00:22<50:21,  7.37s/it]
+
mmlu_da:   1%|█▏                                                                                                                     | 4/413 [00:29<50:58,  7.48s/it]
+
mmlu_da:   1%|█▍                                                                                                                     | 5/413 [00:37<52:02,  7.65s/it]
+
mmlu_da:   1%|█▋                                                                                                                     | 6/413 [00:45<50:55,  7.51s/it]
+
mmlu_da:   2%|██                                                                                                                     | 7/413 [00:53<53:16,  7.87s/it]
+
mmlu_da:   2%|██▎                                                                                                                    | 8/413 [01:00<51:54,  7.69s/it]
+
mmlu_da:   2%|██▌                                                                                                                    | 9/413 [01:09<53:08,  7.89s/it]
+
mmlu_da:   2%|██▊                                                                                                                   | 10/413 [01:17<54:10,  8.06s/it]
+
mmlu_da:   3%|███▏                                                                                                                  | 11/413 [01:25<53:09,  7.93s/it]
+
mmlu_da:   3%|███▍                                                                                                                  | 12/413 [01:32<51:52,  7.76s/it]
+
mmlu_da:   3%|███▋                                                                                                                  | 13/413 [01:40<51:40,  7.75s/it]
+
mmlu_da:   3%|████                                                                                                                  | 14/413 [01:47<51:00,  7.67s/it]
+
mmlu_da:   4%|████▎                                                                                                                 | 15/413 [01:55<50:38,  7.63s/it]
+
mmlu_da:   4%|████▌                                                                                                                 | 16/413 [02:04<52:34,  7.95s/it]
+
mmlu_da:   4%|████▊                                                                                                                 | 17/413 [02:12<53:19,  8.08s/it]
+
mmlu_da:   4%|█████▏                                                                                                                | 18/413 [02:21<54:08,  8.22s/it]
+
mmlu_da:   5%|█████▍                                                                                                                | 19/413 [02:30<55:20,  8.43s/it]
+
mmlu_da:   5%|█████▋                                                                                                                | 20/413 [02:37<53:32,  8.17s/it]
+
mmlu_da:   5%|██████                                                                                                                | 21/413 [02:46<54:38,  8.36s/it]
+
mmlu_da:   5%|██████▎                                                                                                               | 22/413 [02:54<54:06,  8.30s/it]
+
mmlu_da:   6%|██████▌                                                                                                               | 23/413 [03:02<52:36,  8.09s/it]
+
mmlu_da:   6%|██████▊                                                                                                               | 24/413 [03:12<56:13,  8.67s/it]
+
mmlu_da:   6%|███████▏                                                                                                              | 25/413 [03:20<54:58,  8.50s/it]
+
mmlu_da:   6%|███████▍                                                                                                              | 26/413 [03:27<53:12,  8.25s/it]
+
mmlu_da:   7%|███████▋                                                                                                              | 27/413 [03:35<52:19,  8.13s/it]
+
mmlu_da:   7%|████████                                                                                                              | 28/413 [03:44<52:38,  8.21s/it]
+
mmlu_da:   7%|████████▎                                                                                                             | 29/413 [03:51<51:32,  8.05s/it]
+
mmlu_da:   7%|████████▌                                                                                                             | 30/413 [03:59<50:01,  7.84s/it]
+
mmlu_da:   8%|████████▊                                                                                                             | 31/413 [04:06<48:52,  7.68s/it]
+
mmlu_da:   8%|█████████▏                                                                                                            | 32/413 [04:14<50:02,  7.88s/it]
+
mmlu_da:   8%|█████████▍                                                                                                            | 33/413 [04:23<52:03,  8.22s/it]
+
mmlu_da:   8%|█████████▋                                                                                                            | 34/413 [04:31<50:18,  7.97s/it]
+
mmlu_da:   8%|██████████                                                                                                            | 35/413 [04:39<49:50,  7.91s/it]
+
mmlu_da:   9%|██████████▎                                                                                                           | 36/413 [04:48<53:11,  8.47s/it]
+
mmlu_da:   9%|██████████▌                                                                                                           | 37/413 [04:57<52:54,  8.44s/it]
+
mmlu_da:   9%|██████████▊                                                                                                           | 38/413 [05:06<54:33,  8.73s/it]
+
mmlu_da:   9%|███████████▏                                                                                                          | 39/413 [05:14<53:26,  8.57s/it]
+
mmlu_da:  10%|███████████▍                                                                                                          | 40/413 [05:22<52:32,  8.45s/it]
+
mmlu_da:  10%|███████████▋                                                                                                          | 41/413 [05:30<50:56,  8.22s/it]
+
mmlu_da:  10%|████████████                                                                                                          | 42/413 [05:38<49:29,  8.00s/it]
+
mmlu_da:  10%|████████████▎                                                                                                         | 43/413 [05:45<48:58,  7.94s/it]
+
mmlu_da:  11%|████████████▌                                                                                                         | 44/413 [05:54<50:27,  8.20s/it]
+
mmlu_da:  11%|████████████▊                                                                                                         | 45/413 [06:02<48:47,  7.95s/it]
+
mmlu_da:  11%|█████████████▏                                                                                                        | 46/413 [06:09<48:27,  7.92s/it]
+
mmlu_da:  11%|█████████████▍                                                                                                        | 47/413 [06:18<50:00,  8.20s/it]
+
mmlu_da:  12%|█████████████▋                                                                                                        | 48/413 [06:26<48:22,  7.95s/it]
+
mmlu_da:  12%|██████████████                                                                                                        | 49/413 [06:34<48:13,  7.95s/it]
+
mmlu_da:  12%|██████████████▎                                                                                                       | 50/413 [06:41<46:55,  7.76s/it]
+
mmlu_da:  12%|██████████████▌                                                                                                       | 51/413 [06:51<50:14,  8.33s/it]
+
mmlu_da:  13%|██████████████▊                                                                                                       | 52/413 [06:59<49:38,  8.25s/it]
+
mmlu_da:  13%|███████████████▏                                                                                                      | 53/413 [07:07<50:00,  8.34s/it]
+
mmlu_da:  13%|███████████████▍                                                                                                      | 54/413 [07:16<49:51,  8.33s/it]
+
mmlu_da:  13%|███████████████▋                                                                                                      | 55/413 [07:24<49:10,  8.24s/it]
+
mmlu_da:  14%|████████████████                                                                                                      | 56/413 [07:32<49:02,  8.24s/it]
+
mmlu_da:  14%|████████████████▎                                                                                                     | 57/413 [07:40<48:53,  8.24s/it]
+
mmlu_da:  14%|████████████████▌                                                                                                     | 58/413 [07:48<48:34,  8.21s/it]
+
mmlu_da:  14%|████████████████▊                                                                                                     | 59/413 [07:57<48:57,  8.30s/it]
+
mmlu_da:  15%|█████████████████▏                                                                                                    | 60/413 [08:05<47:59,  8.16s/it]
+
mmlu_da:  15%|█████████████████▍                                                                                                    | 61/413 [08:12<46:47,  7.97s/it]
+
mmlu_da:  15%|█████████████████▋                                                                                                    | 62/413 [08:19<45:25,  7.76s/it]
+
mmlu_da:  15%|██████████████████                                                                                                    | 63/413 [08:28<47:12,  8.09s/it]
+
mmlu_da:  15%|██████████████████▎                                                                                                   | 64/413 [08:36<47:00,  8.08s/it]
+
mmlu_da:  16%|██████████████████▌                                                                                                   | 65/413 [08:44<46:55,  8.09s/it]
+
mmlu_da:  16%|██████████████████▊                                                                                                   | 66/413 [08:53<47:35,  8.23s/it]
+
mmlu_da:  16%|███████████████████▏                                                                                                  | 67/413 [09:01<46:55,  8.14s/it]
+
mmlu_da:  16%|███████████████████▍                                                                                                  | 68/413 [09:09<47:06,  8.19s/it]
+
mmlu_da:  17%|███████████████████▋                                                                                                  | 69/413 [09:18<48:52,  8.52s/it]
+
mmlu_da:  17%|████████████████████                                                                                                  | 70/413 [09:26<47:13,  8.26s/it]
+
mmlu_da:  17%|████████████████████▎                                                                                                 | 71/413 [09:34<46:40,  8.19s/it]
+
mmlu_da:  17%|████████████████████▌                                                                                                 | 72/413 [09:42<46:02,  8.10s/it]
+
mmlu_da:  18%|████████████████████▊                                                                                                 | 73/413 [09:50<45:27,  8.02s/it]
+
mmlu_da:  18%|█████████████████████▏                                                                                                | 74/413 [09:57<43:11,  7.64s/it]
+
mmlu_da:  18%|█████████████████████▍                                                                                                | 75/413 [10:04<43:14,  7.68s/it]
+
mmlu_da:  18%|█████████████████████▋                                                                                                | 76/413 [10:13<44:17,  7.89s/it]
+
mmlu_da:  19%|██████████████████████                                                                                                | 77/413 [10:21<44:53,  8.02s/it]
+
mmlu_da:  19%|██████████████████████▎                                                                                               | 78/413 [10:29<44:55,  8.05s/it]
+
mmlu_da:  19%|██████████████████████▌                                                                                               | 79/413 [10:39<47:30,  8.53s/it]
+
mmlu_da:  19%|██████████████████████▊                                                                                               | 80/413 [10:46<45:21,  8.17s/it]
+
mmlu_da:  20%|███████████████████████▏                                                                                              | 81/413 [10:54<44:16,  8.00s/it]
+
mmlu_da:  20%|███████████████████████▍                                                                                              | 82/413 [11:01<42:59,  7.79s/it]
+
mmlu_da:  20%|███████████████████████▋                                                                                              | 83/413 [11:10<44:41,  8.13s/it]
+
mmlu_da:  20%|████████████████████████                                                                                              | 84/413 [11:18<43:44,  7.98s/it]
+
mmlu_da:  21%|████████████████████████▎                                                                                             | 85/413 [11:26<43:41,  7.99s/it]
+
mmlu_da:  21%|████████████████████████▌                                                                                             | 86/413 [11:35<45:09,  8.29s/it]
+
mmlu_da:  21%|████████████████████████▊                                                                                             | 87/413 [11:43<45:07,  8.31s/it]
+
mmlu_da:  21%|█████████████████████████▏                                                                                            | 88/413 [11:51<43:47,  8.08s/it]
+
mmlu_da:  22%|█████████████████████████▍                                                                                            | 89/413 [11:58<42:27,  7.86s/it]
+
mmlu_da:  22%|█████████████████████████▋                                                                                            | 90/413 [12:05<41:02,  7.62s/it]
+
mmlu_da:  22%|██████████████████████████                                                                                            | 91/413 [12:13<41:23,  7.71s/it]
+
mmlu_da:  22%|██████████████████████████▎                                                                                           | 92/413 [12:21<42:33,  7.96s/it]
+
mmlu_da:  23%|██████████████████████████▌                                                                                           | 93/413 [12:29<41:20,  7.75s/it]
+
mmlu_da:  23%|██████████████████████████▊                                                                                           | 94/413 [12:37<41:57,  7.89s/it]
+
mmlu_da:  23%|███████████████████████████▏                                                                                          | 95/413 [12:44<40:41,  7.68s/it]
+
mmlu_da:  23%|███████████████████████████▍                                                                                          | 96/413 [12:52<40:11,  7.61s/it]
+
mmlu_da:  23%|███████████████████████████▋                                                                                          | 97/413 [12:59<40:25,  7.68s/it]
+
mmlu_da:  24%|████████████████████████████                                                                                          | 98/413 [13:08<41:21,  7.88s/it]
+
mmlu_da:  24%|████████████████████████████▎                                                                                         | 99/413 [13:16<41:53,  8.01s/it]
+
mmlu_da:  24%|████████████████████████████▎                                                                                        | 100/413 [13:24<41:17,  7.92s/it]
+
mmlu_da:  24%|████████████████████████████▌                                                                                        | 101/413 [13:31<40:35,  7.81s/it]
+
mmlu_da:  25%|████████████████████████████▉                                                                                        | 102/413 [13:39<40:09,  7.75s/it]
+
mmlu_da:  25%|█████████████████████████████▏                                                                                       | 103/413 [13:47<40:04,  7.76s/it]
+
mmlu_da:  25%|█████████████████████████████▍                                                                                       | 104/413 [13:54<39:28,  7.67s/it]
+
mmlu_da:  25%|█████████████████████████████▋                                                                                       | 105/413 [14:02<40:27,  7.88s/it]
+
mmlu_da:  26%|██████████████████████████████                                                                                       | 106/413 [14:10<39:19,  7.69s/it]
+
mmlu_da:  26%|██████████████████████████████▎                                                                                      | 107/413 [14:17<38:46,  7.60s/it]
+
mmlu_da:  26%|██████████████████████████████▌                                                                                      | 108/413 [14:26<40:12,  7.91s/it]
+
mmlu_da:  26%|██████████████████████████████▉                                                                                      | 109/413 [14:33<38:45,  7.65s/it]
+
mmlu_da:  27%|███████████████████████████████▏                                                                                     | 110/413 [14:41<38:59,  7.72s/it]
+
mmlu_da:  27%|███████████████████████████████▍                                                                                     | 111/413 [14:50<41:55,  8.33s/it]
+
mmlu_da:  27%|███████████████████████████████▋                                                                                     | 112/413 [14:58<40:56,  8.16s/it]
+
mmlu_da:  27%|████████████████████████████████                                                                                     | 113/413 [15:06<40:56,  8.19s/it]
+
mmlu_da:  28%|████████████████████████████████▎                                                                                    | 114/413 [15:16<42:05,  8.45s/it]
+
mmlu_da:  28%|████████████████████████████████▌                                                                                    | 115/413 [15:25<43:53,  8.84s/it]
+
mmlu_da:  28%|████████████████████████████████▊                                                                                    | 116/413 [15:33<42:42,  8.63s/it]
+
mmlu_da:  28%|█████████████████████████████████▏                                                                                   | 117/413 [15:41<40:39,  8.24s/it]
+
mmlu_da:  29%|█████████████████████████████████▍                                                                                   | 118/413 [15:49<40:56,  8.33s/it]
+
mmlu_da:  29%|█████████████████████████████████▋                                                                                   | 119/413 [15:57<40:13,  8.21s/it]
+
mmlu_da:  29%|█████████████████████████████████▉                                                                                   | 120/413 [16:04<38:25,  7.87s/it]
+
mmlu_da:  29%|██████████████████████████████████▎                                                                                  | 121/413 [16:12<37:29,  7.70s/it]
+
mmlu_da:  30%|██████████████████████████████████▌                                                                                  | 122/413 [16:19<37:14,  7.68s/it]
+
mmlu_da:  30%|██████████████████████████████████▊                                                                                  | 123/413 [16:28<38:55,  8.05s/it]
+
mmlu_da:  30%|███████████████████████████████████▏                                                                                 | 124/413 [16:36<38:06,  7.91s/it]
+
mmlu_da:  30%|███████████████████████████████████▍                                                                                 | 125/413 [16:44<38:11,  7.96s/it]
+
mmlu_da:  31%|███████████████████████████████████▋                                                                                 | 126/413 [16:52<37:49,  7.91s/it]
+
mmlu_da:  31%|███████████████████████████████████▉                                                                                 | 127/413 [16:59<36:44,  7.71s/it]
+
mmlu_da:  31%|████████████████████████████████████▎                                                                                | 128/413 [17:06<36:22,  7.66s/it]
+
mmlu_da:  31%|████████████████████████████████████▌                                                                                | 129/413 [17:14<36:16,  7.66s/it]
+
mmlu_da:  31%|████████████████████████████████████▊                                                                                | 130/413 [17:22<36:32,  7.75s/it]
+
mmlu_da:  32%|█████████████████████████████████████                                                                                | 131/413 [17:30<37:04,  7.89s/it]
+
mmlu_da:  32%|█████████████████████████████████████▍                                                                               | 132/413 [17:38<36:32,  7.80s/it]
+
mmlu_da:  32%|█████████████████████████████████████▋                                                                               | 133/413 [17:45<35:46,  7.67s/it]
+
mmlu_da:  32%|█████████████████████████████████████▉                                                                               | 134/413 [17:53<36:11,  7.78s/it]
+
mmlu_da:  33%|██████████████████████████████████████▏                                                                              | 135/413 [18:01<35:25,  7.65s/it]
+
mmlu_da:  33%|██████████████████████████████████████▌                                                                              | 136/413 [18:09<35:55,  7.78s/it]
+
mmlu_da:  33%|██████████████████████████████████████▊                                                                              | 137/413 [18:18<37:35,  8.17s/it]
+
mmlu_da:  33%|███████████████████████████████████████                                                                              | 138/413 [18:26<37:07,  8.10s/it]
+
mmlu_da:  34%|███████████████████████████████████████▍                                                                             | 139/413 [18:35<38:45,  8.49s/it]
+
mmlu_da:  34%|███████████████████████████████████████▋                                                                             | 140/413 [18:43<38:09,  8.39s/it]
+
mmlu_da:  34%|███████████████████████████████████████▉                                                                             | 141/413 [18:51<36:49,  8.12s/it]
+
mmlu_da:  34%|████████████████████████████████████████▏                                                                            | 142/413 [18:58<35:45,  7.92s/it]
+
mmlu_da:  35%|████████████████████████████████████████▌                                                                            | 143/413 [19:06<35:07,  7.81s/it]
+
mmlu_da:  35%|████████████████████████████████████████▊                                                                            | 144/413 [19:14<35:54,  8.01s/it]
+
mmlu_da:  35%|█████████████████████████████████████████                                                                            | 145/413 [19:22<34:59,  7.84s/it]
+
mmlu_da:  35%|█████████████████████████████████████████▎                                                                           | 146/413 [19:29<34:28,  7.75s/it]
+
mmlu_da:  36%|█████████████████████████████████████████▋                                                                           | 147/413 [19:37<34:49,  7.85s/it]
+
mmlu_da:  36%|█████████████████████████████████████████▉                                                                           | 148/413 [19:45<34:21,  7.78s/it]
+
mmlu_da:  36%|██████████████████████████████████████████▏                                                                          | 149/413 [19:53<34:42,  7.89s/it]
+
mmlu_da:  36%|██████████████████████████████████████████▍                                                                          | 150/413 [20:01<34:32,  7.88s/it]
+
mmlu_da:  37%|██████████████████████████████████████████▊                                                                          | 151/413 [20:10<35:39,  8.17s/it]
+
mmlu_da:  37%|███████████████████████████████████████████                                                                          | 152/413 [20:17<34:39,  7.97s/it]
+
mmlu_da:  37%|███████████████████████████████████████████▎                                                                         | 153/413 [20:26<35:09,  8.11s/it]
+
mmlu_da:  37%|███████████████████████████████████████████▋                                                                         | 154/413 [20:33<33:57,  7.87s/it]
+
mmlu_da:  38%|███████████████████████████████████████████▉                                                                         | 155/413 [20:40<33:06,  7.70s/it]
+
mmlu_da:  38%|████████████████████████████████████████████▏                                                                        | 156/413 [20:48<33:14,  7.76s/it]
+
mmlu_da:  38%|████████████████████████████████████████████▍                                                                        | 157/413 [20:56<32:43,  7.67s/it]
+
mmlu_da:  38%|████████████████████████████████████████████▊                                                                        | 158/413 [21:04<33:14,  7.82s/it]
+
mmlu_da:  38%|█████████████████████████████████████████████                                                                        | 159/413 [21:11<32:40,  7.72s/it]
+
mmlu_da:  39%|█████████████████████████████████████████████▎                                                                       | 160/413 [21:18<31:43,  7.52s/it]
+
mmlu_da:  39%|█████████████████████████████████████████████▌                                                                       | 161/413 [21:27<32:45,  7.80s/it]
+
mmlu_da:  39%|█████████████████████████████████████████████▉                                                                       | 162/413 [21:35<32:59,  7.89s/it]
+
mmlu_da:  39%|██████████████████████████████████████████████▏                                                                      | 163/413 [21:42<32:23,  7.77s/it]
+
mmlu_da:  40%|██████████████████████████████████████████████▍                                                                      | 164/413 [21:51<33:49,  8.15s/it]
+
mmlu_da:  40%|██████████████████████████████████████████████▋                                                                      | 165/413 [22:00<33:38,  8.14s/it]
+
mmlu_da:  40%|███████████████████████████████████████████████                                                                      | 166/413 [22:08<34:06,  8.28s/it]
+
mmlu_da:  40%|███████████████████████████████████████████████▎                                                                     | 167/413 [22:16<32:59,  8.05s/it]
+
mmlu_da:  41%|███████████████████████████████████████████████▌                                                                     | 168/413 [22:23<32:01,  7.84s/it]
+
mmlu_da:  41%|███████████████████████████████████████████████▉                                                                     | 169/413 [22:31<32:17,  7.94s/it]
+
mmlu_da:  41%|████████████████████████████████████████████████▏                                                                    | 170/413 [22:38<31:10,  7.70s/it]
+
mmlu_da:  41%|████████████████████████████████████████████████▍                                                                    | 171/413 [22:46<30:38,  7.60s/it]
+
mmlu_da:  42%|████████████████████████████████████████████████▋                                                                    | 172/413 [22:53<30:24,  7.57s/it]
+
mmlu_da:  42%|█████████████████████████████████████████████████                                                                    | 173/413 [23:01<30:05,  7.52s/it]
+
mmlu_da:  42%|█████████████████████████████████████████████████▎                                                                   | 174/413 [23:08<29:50,  7.49s/it]
+
mmlu_da:  42%|█████████████████████████████████████████████████▌                                                                   | 175/413 [23:16<30:27,  7.68s/it]
+
mmlu_da:  43%|█████████████████████████████████████████████████▊                                                                   | 176/413 [23:24<31:06,  7.87s/it]
+
mmlu_da:  43%|██████████████████████████████████████████████████▏                                                                  | 177/413 [23:33<31:29,  8.01s/it]
+
mmlu_da:  43%|██████████████████████████████████████████████████▍                                                                  | 178/413 [23:42<32:21,  8.26s/it]
+
mmlu_da:  43%|██████████████████████████████████████████████████▋                                                                  | 179/413 [23:49<30:36,  7.85s/it]
+
mmlu_da:  44%|██████████████████████████████████████████████████▉                                                                  | 180/413 [23:58<32:34,  8.39s/it]
+
mmlu_da:  44%|███████████████████████████████████████████████████▎                                                                 | 181/413 [24:06<31:46,  8.22s/it]
+
mmlu_da:  44%|███████████████████████████████████████████████████▌                                                                 | 182/413 [24:13<30:49,  8.01s/it]
+
mmlu_da:  44%|███████████████████████████████████████████████████▊                                                                 | 183/413 [24:21<30:31,  7.96s/it]
+
mmlu_da:  45%|████████████████████████████████████████████████████▏                                                                | 184/413 [24:29<29:57,  7.85s/it]
+
mmlu_da:  45%|████████████████████████████████████████████████████▍                                                                | 185/413 [24:38<31:06,  8.19s/it]
+
mmlu_da:  45%|████████████████████████████████████████████████████▋                                                                | 186/413 [24:47<31:32,  8.34s/it]
+
mmlu_da:  45%|████████████████████████████████████████████████████▉                                                                | 187/413 [24:54<30:07,  8.00s/it]
+
mmlu_da:  46%|█████████████████████████████████████████████████████▎                                                               | 188/413 [25:02<29:50,  7.96s/it]
+
mmlu_da:  46%|█████████████████████████████████████████████████████▌                                                               | 189/413 [25:09<28:53,  7.74s/it]
+
mmlu_da:  46%|█████████████████████████████████████████████████████▊                                                               | 190/413 [25:16<28:27,  7.66s/it]
+
mmlu_da:  46%|██████████████████████████████████████████████████████                                                               | 191/413 [25:24<27:58,  7.56s/it]
+
mmlu_da:  46%|██████████████████████████████████████████████████████▍                                                              | 192/413 [25:32<28:42,  7.80s/it]
+
mmlu_da:  47%|██████████████████████████████████████████████████████▋                                                              | 193/413 [25:40<28:45,  7.85s/it]
+
mmlu_da:  47%|██████████████████████████████████████████████████████▉                                                              | 194/413 [25:48<29:21,  8.04s/it]
+
mmlu_da:  47%|███████████████████████████████████████████████████████▏                                                             | 195/413 [25:56<29:03,  8.00s/it]
+
mmlu_da:  47%|███████████████████████████████████████████████████████▌                                                             | 196/413 [26:04<28:09,  7.79s/it]
+
mmlu_da:  48%|███████████████████████████████████████████████████████▊                                                             | 197/413 [26:11<27:40,  7.69s/it]
+
mmlu_da:  48%|████████████████████████████████████████████████████████                                                             | 198/413 [26:18<27:07,  7.57s/it]
+
mmlu_da:  48%|████████████████████████████████████████████████████████▍                                                            | 199/413 [26:26<27:30,  7.71s/it]
+
mmlu_da:  48%|████████████████████████████████████████████████████████▋                                                            | 200/413 [26:34<27:03,  7.62s/it]
+
mmlu_da:  49%|████████████████████████████████████████████████████████▉                                                            | 201/413 [26:42<26:55,  7.62s/it]
+
mmlu_da:  49%|█████████████████████████████████████████████████████████▏                                                           | 202/413 [26:50<27:42,  7.88s/it]
+
mmlu_da:  49%|█████████████████████████████████████████████████████████▌                                                           | 203/413 [26:59<28:33,  8.16s/it]
+
mmlu_da:  49%|█████████████████████████████████████████████████████████▊                                                           | 204/413 [27:07<28:55,  8.30s/it]
+
mmlu_da:  50%|██████████████████████████████████████████████████████████                                                           | 205/413 [27:15<27:55,  8.06s/it]
+
mmlu_da:  50%|██████████████████████████████████████████████████████████▎                                                          | 206/413 [27:22<26:45,  7.76s/it]
+
mmlu_da:  50%|██████████████████████████████████████████████████████████▋                                                          | 207/413 [27:31<27:26,  7.99s/it]
+
mmlu_da:  50%|██████████████████████████████████████████████████████████▉                                                          | 208/413 [27:38<26:52,  7.87s/it]
+
mmlu_da:  51%|███████████████████████████████████████████████████████████▏                                                         | 209/413 [27:46<27:09,  7.99s/it]
+
mmlu_da:  51%|███████████████████████████████████████████████████████████▍                                                         | 210/413 [27:54<27:06,  8.01s/it]
+
mmlu_da:  51%|███████████████████████████████████████████████████████████▊                                                         | 211/413 [28:02<26:23,  7.84s/it]
+
mmlu_da:  51%|████████████████████████████████████████████████████████████                                                         | 212/413 [28:09<26:00,  7.77s/it]
+
mmlu_da:  52%|████████████████████████████████████████████████████████████▎                                                        | 213/413 [28:16<25:03,  7.52s/it]
+
mmlu_da:  52%|████████████████████████████████████████████████████████████▌                                                        | 214/413 [28:24<24:46,  7.47s/it]
+
mmlu_da:  52%|████████████████████████████████████████████████████████████▉                                                        | 215/413 [28:31<24:38,  7.47s/it]
+
mmlu_da:  52%|█████████████████████████████████████████████████████████████▏                                                       | 216/413 [28:39<24:28,  7.45s/it]
+
mmlu_da:  53%|█████████████████████████████████████████████████████████████▍                                                       | 217/413 [28:46<23:49,  7.29s/it]
+
mmlu_da:  53%|█████████████████████████████████████████████████████████████▊                                                       | 218/413 [28:54<24:56,  7.67s/it]
+
mmlu_da:  53%|██████████████████████████████████████████████████████████████                                                       | 219/413 [29:02<24:45,  7.66s/it]
+
mmlu_da:  53%|██████████████████████████████████████████████████████████████▎                                                      | 220/413 [29:10<25:01,  7.78s/it]
+
mmlu_da:  54%|██████████████████████████████████████████████████████████████▌                                                      | 221/413 [29:19<25:48,  8.07s/it]
+
mmlu_da:  54%|██████████████████████████████████████████████████████████████▉                                                      | 222/413 [29:26<25:12,  7.92s/it]
+
mmlu_da:  54%|███████████████████████████████████████████████████████████████▏                                                     | 223/413 [29:33<23:51,  7.53s/it]
+
mmlu_da:  54%|███████████████████████████████████████████████████████████████▍                                                     | 224/413 [29:40<23:24,  7.43s/it]
+
mmlu_da:  54%|███████████████████████████████████████████████████████████████▋                                                     | 225/413 [29:48<23:55,  7.63s/it]
+
mmlu_da:  55%|████████████████████████████████████████████████████████████████                                                     | 226/413 [29:56<23:45,  7.62s/it]
+
mmlu_da:  55%|████████████████████████████████████████████████████████████████▎                                                    | 227/413 [30:03<23:23,  7.54s/it]
+
mmlu_da:  55%|████████████████████████████████████████████████████████████████▌                                                    | 228/413 [30:10<22:28,  7.29s/it]
+
mmlu_da:  55%|████████████████████████████████████████████████████████████████▊                                                    | 229/413 [30:18<23:18,  7.60s/it]
+
mmlu_da:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 230/413 [30:26<23:41,  7.77s/it]
+
mmlu_da:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 231/413 [30:33<23:02,  7.60s/it]
+
mmlu_da:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 232/413 [30:42<23:26,  7.77s/it]
+
mmlu_da:  56%|██████████████████████████████████████████████████████████████████                                                   | 233/413 [30:50<24:15,  8.09s/it]
+
mmlu_da:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 234/413 [30:58<23:55,  8.02s/it]
+
mmlu_da:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 235/413 [31:06<23:55,  8.06s/it]
+
mmlu_da:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 236/413 [31:15<24:03,  8.15s/it]
+
mmlu_da:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 237/413 [31:23<23:48,  8.12s/it]
+
mmlu_da:  58%|███████████████████████████████████████████████████████████████████▍                                                 | 238/413 [31:31<23:56,  8.21s/it]
+
mmlu_da:  58%|███████████████████████████████████████████████████████████████████▋                                                 | 239/413 [31:40<23:52,  8.23s/it]
+
mmlu_da:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 240/413 [31:47<23:30,  8.15s/it]
+
mmlu_da:  58%|████████████████████████████████████████████████████████████████████▎                                                | 241/413 [31:55<23:01,  8.03s/it]
+
mmlu_da:  59%|████████████████████████████████████████████████████████████████████▌                                                | 242/413 [32:04<23:18,  8.18s/it]
+
mmlu_da:  59%|████████████████████████████████████████████████████████████████████▊                                                | 243/413 [32:13<23:39,  8.35s/it]
+
mmlu_da:  59%|█████████████████████████████████████████████████████████████████████                                                | 244/413 [32:21<23:38,  8.40s/it]
+
mmlu_da:  59%|█████████████████████████████████████████████████████████████████████▍                                               | 245/413 [32:30<23:44,  8.48s/it]
+
mmlu_da:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 246/413 [32:38<23:43,  8.52s/it]
+
mmlu_da:  60%|█████████████████████████████████████████████████████████████████████▉                                               | 247/413 [32:47<23:53,  8.64s/it]
+
mmlu_da:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 248/413 [32:55<23:26,  8.52s/it]
+
mmlu_da:  60%|██████████████████████████████████████████████████████████████████████▌                                              | 249/413 [33:03<22:39,  8.29s/it]
+
mmlu_da:  61%|██████████████████████████████████████████████████████████████████████▊                                              | 250/413 [33:11<22:25,  8.26s/it]
+
mmlu_da:  61%|███████████████████████████████████████████████████████████████████████                                              | 251/413 [33:19<21:30,  7.96s/it]
+
mmlu_da:  61%|███████████████████████████████████████████████████████████████████████▍                                             | 252/413 [33:26<20:34,  7.66s/it]
+
mmlu_da:  61%|███████████████████████████████████████████████████████████████████████▋                                             | 253/413 [33:34<21:07,  7.92s/it]
+
mmlu_da:  62%|███████████████████████████████████████████████████████████████████████▉                                             | 254/413 [33:41<20:29,  7.74s/it]
+
mmlu_da:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 255/413 [33:50<21:21,  8.11s/it]
+
mmlu_da:  62%|████████████████████████████████████████████████████████████████████████▌                                            | 256/413 [33:58<20:40,  7.90s/it]
+
mmlu_da:  62%|████████████████████████████████████████████████████████████████████████▊                                            | 257/413 [34:06<20:21,  7.83s/it]
+
mmlu_da:  62%|█████████████████████████████████████████████████████████████████████████                                            | 258/413 [34:14<20:27,  7.92s/it]
+
mmlu_da:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 259/413 [34:21<20:13,  7.88s/it]
+
mmlu_da:  63%|█████████████████████████████████████████████████████████████████████████▋                                           | 260/413 [34:30<20:25,  8.01s/it]
+
mmlu_da:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 261/413 [34:37<20:02,  7.91s/it]
+
mmlu_da:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 262/413 [34:45<19:44,  7.84s/it]
+
mmlu_da:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 263/413 [34:53<19:34,  7.83s/it]
+
mmlu_da:  64%|██████████████████████████████████████████████████████████████████████████▊                                          | 264/413 [35:02<20:14,  8.15s/it]
+
mmlu_da:  64%|███████████████████████████████████████████████████████████████████████████                                          | 265/413 [35:10<19:51,  8.05s/it]
+
mmlu_da:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 266/413 [35:19<20:22,  8.32s/it]
+
mmlu_da:  65%|███████████████████████████████████████████████████████████████████████████▋                                         | 267/413 [35:27<20:09,  8.28s/it]
+
mmlu_da:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 268/413 [35:34<19:18,  7.99s/it]
+
mmlu_da:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 269/413 [35:42<19:24,  8.09s/it]
+
mmlu_da:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 270/413 [35:50<19:12,  8.06s/it]
+
mmlu_da:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 271/413 [35:59<19:38,  8.30s/it]
+
mmlu_da:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 272/413 [36:07<19:10,  8.16s/it]
+
mmlu_da:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 273/413 [36:16<19:16,  8.26s/it]
+
mmlu_da:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 274/413 [36:23<18:24,  7.94s/it]
+
mmlu_da:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 275/413 [36:31<18:28,  8.03s/it]
+
mmlu_da:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 276/413 [36:39<18:27,  8.08s/it]
+
mmlu_da:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 277/413 [36:47<17:54,  7.90s/it]
+
mmlu_da:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 278/413 [36:56<18:54,  8.41s/it]
+
mmlu_da:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 279/413 [37:04<18:17,  8.19s/it]
+
mmlu_da:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 280/413 [37:13<18:42,  8.44s/it]
+
mmlu_da:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 281/413 [37:20<17:49,  8.10s/it]
+
mmlu_da:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 282/413 [37:28<17:43,  8.12s/it]
+
mmlu_da:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 283/413 [37:36<17:03,  7.87s/it]
+
mmlu_da:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 284/413 [37:43<16:41,  7.77s/it]
+
mmlu_da:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 285/413 [37:51<16:43,  7.84s/it]
+
mmlu_da:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 286/413 [37:58<16:04,  7.60s/it]
+
mmlu_da:  69%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 287/413 [38:06<16:15,  7.75s/it]
+
mmlu_da:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 288/413 [38:14<16:01,  7.69s/it]
+
mmlu_da:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 289/413 [38:23<16:46,  8.12s/it]
+
mmlu_da:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 290/413 [38:33<17:55,  8.74s/it]
+
mmlu_da:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 291/413 [38:41<16:56,  8.33s/it]
+
mmlu_da:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 292/413 [38:49<16:35,  8.23s/it]
+
mmlu_da:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 293/413 [38:57<16:47,  8.39s/it]
+
mmlu_da:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 294/413 [39:05<16:11,  8.16s/it]
+
mmlu_da:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 295/413 [39:14<16:18,  8.29s/it]
+
mmlu_da:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 296/413 [39:21<15:28,  7.94s/it]
+
mmlu_da:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 297/413 [39:29<15:31,  8.03s/it]
+
mmlu_da:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 298/413 [39:36<15:04,  7.87s/it]
+
mmlu_da:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 299/413 [39:45<15:01,  7.91s/it]
+
mmlu_da:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 300/413 [39:53<15:08,  8.04s/it]
+
mmlu_da:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 301/413 [40:00<14:21,  7.70s/it]
+
mmlu_da:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 302/413 [40:09<15:01,  8.12s/it]
+
mmlu_da:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 303/413 [40:16<14:15,  7.78s/it]
+
mmlu_da:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 304/413 [40:25<14:52,  8.18s/it]
+
mmlu_da:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 305/413 [40:33<14:39,  8.14s/it]
+
mmlu_da:  74%|██████████████████████████████████████████████████████████████████████████████████████▋                              | 306/413 [40:41<14:39,  8.22s/it]
+
mmlu_da:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 307/413 [40:49<14:05,  7.98s/it]
+
mmlu_da:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 308/413 [40:56<13:33,  7.75s/it]
+
mmlu_da:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 309/413 [41:04<13:32,  7.81s/it]
+
mmlu_da:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 310/413 [41:11<13:12,  7.70s/it]
+
mmlu_da:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 311/413 [41:19<13:07,  7.72s/it]
+
mmlu_da:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 312/413 [41:29<13:57,  8.29s/it]
+
mmlu_da:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 313/413 [41:37<13:46,  8.26s/it]
+
mmlu_da:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 314/413 [41:44<13:04,  7.93s/it]
+
mmlu_da:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 315/413 [41:53<13:28,  8.25s/it]
+
mmlu_da:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 316/413 [42:02<13:34,  8.39s/it]
+
mmlu_da:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 317/413 [42:11<13:52,  8.67s/it]
+
mmlu_da:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 318/413 [42:20<13:34,  8.57s/it]
+
mmlu_da:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 319/413 [42:27<13:02,  8.32s/it]
+
mmlu_da:  77%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 320/413 [42:36<12:57,  8.36s/it]
+
mmlu_da:  78%|██████████████████████████████████████████████████████████████████████████████████████████▉                          | 321/413 [42:43<12:24,  8.09s/it]
+
mmlu_da:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 322/413 [42:52<12:24,  8.18s/it]
+
mmlu_da:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 323/413 [42:59<12:03,  8.04s/it]
+
mmlu_da:  78%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 324/413 [43:08<12:17,  8.29s/it]
+
mmlu_da:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 325/413 [43:17<12:19,  8.41s/it]
+
mmlu_da:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 326/413 [43:25<12:02,  8.30s/it]
+
mmlu_da:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 327/413 [43:33<11:42,  8.17s/it]
+
mmlu_da:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 328/413 [43:41<11:25,  8.06s/it]
+
mmlu_da:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 329/413 [43:50<11:40,  8.34s/it]
+
mmlu_da:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 330/413 [43:57<11:08,  8.05s/it]
+
mmlu_da:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 331/413 [44:05<11:10,  8.18s/it]
+
mmlu_da:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 332/413 [44:14<11:17,  8.37s/it]
+
mmlu_da:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 333/413 [44:23<11:07,  8.34s/it]
+
mmlu_da:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 334/413 [44:31<10:55,  8.30s/it]
+
mmlu_da:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 335/413 [44:38<10:29,  8.07s/it]
+
mmlu_da:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 336/413 [44:45<09:55,  7.74s/it]
+
mmlu_da:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 337/413 [44:53<09:58,  7.87s/it]
+
mmlu_da:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 338/413 [45:01<09:45,  7.80s/it]
+
mmlu_da:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 339/413 [45:09<09:35,  7.78s/it]
+
mmlu_da:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 340/413 [45:17<09:42,  7.99s/it]
+
mmlu_da:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 341/413 [45:26<09:42,  8.09s/it]
+
mmlu_da:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 342/413 [45:33<09:12,  7.79s/it]
+
mmlu_da:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 343/413 [45:41<09:06,  7.80s/it]
+
mmlu_da:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 344/413 [45:50<09:34,  8.33s/it]
+
mmlu_da:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 345/413 [45:58<09:09,  8.08s/it]
+
mmlu_da:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 346/413 [46:06<09:00,  8.07s/it]
+
mmlu_da:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 347/413 [46:14<08:54,  8.10s/it]
+
mmlu_da:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 348/413 [46:22<08:43,  8.06s/it]
+
mmlu_da:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 349/413 [46:32<09:11,  8.62s/it]
+
mmlu_da:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 350/413 [46:39<08:39,  8.25s/it]
+
mmlu_da:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 351/413 [46:47<08:29,  8.22s/it]
+
mmlu_da:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 352/413 [46:55<08:09,  8.02s/it]
+
mmlu_da:  85%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 353/413 [47:04<08:15,  8.27s/it]
+
mmlu_da:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 354/413 [47:12<08:03,  8.20s/it]
+
mmlu_da:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 355/413 [47:19<07:46,  8.04s/it]
+
mmlu_da:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 356/413 [47:27<07:39,  8.06s/it]
+
mmlu_da:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 357/413 [47:35<07:15,  7.79s/it]
+
mmlu_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 358/413 [47:43<07:17,  7.95s/it]
+
mmlu_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 359/413 [47:51<07:09,  7.96s/it]
+
mmlu_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 360/413 [48:00<07:18,  8.27s/it]
+
mmlu_da:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 361/413 [48:07<06:50,  7.90s/it]
+
mmlu_da:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 362/413 [48:15<06:39,  7.83s/it]
+
mmlu_da:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 363/413 [48:22<06:27,  7.76s/it]
+
mmlu_da:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 364/413 [48:31<06:39,  8.15s/it]
+
mmlu_da:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 365/413 [48:39<06:23,  8.00s/it]
+
mmlu_da:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 366/413 [48:48<06:38,  8.48s/it]
+
mmlu_da:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 367/413 [48:56<06:13,  8.12s/it]
+
mmlu_da:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 368/413 [49:03<05:53,  7.85s/it]
+
mmlu_da:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 369/413 [49:11<05:48,  7.91s/it]
+
mmlu_da:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 370/413 [49:19<05:36,  7.83s/it]
+
mmlu_da:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 371/413 [49:26<05:24,  7.71s/it]
+
mmlu_da:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 372/413 [49:34<05:16,  7.71s/it]
+
mmlu_da:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 373/413 [49:42<05:19,  8.00s/it]
+
mmlu_da:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 374/413 [49:51<05:16,  8.11s/it]
+
mmlu_da:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 375/413 [49:58<05:02,  7.95s/it]
+
mmlu_da:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 376/413 [50:07<05:00,  8.11s/it]
+
mmlu_da:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 377/413 [50:14<04:44,  7.89s/it]
+
mmlu_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 378/413 [50:22<04:30,  7.74s/it]
+
mmlu_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 379/413 [50:31<04:37,  8.16s/it]
+
mmlu_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 380/413 [50:38<04:19,  7.86s/it]
+
mmlu_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 381/413 [50:46<04:10,  7.83s/it]
+
mmlu_da:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 382/413 [50:53<03:58,  7.69s/it]
+
mmlu_da:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 383/413 [51:01<03:56,  7.89s/it]
+
mmlu_da:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 384/413 [51:10<03:52,  8.02s/it]
+
mmlu_da:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 385/413 [51:18<03:48,  8.15s/it]
+
mmlu_da:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 386/413 [51:27<03:47,  8.42s/it]
+
mmlu_da:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 387/413 [51:36<03:44,  8.62s/it]
+
mmlu_da:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 388/413 [51:45<03:39,  8.76s/it]
+
mmlu_da:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 389/413 [51:54<03:30,  8.78s/it]
+
mmlu_da:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 390/413 [52:02<03:17,  8.58s/it]
+
mmlu_da:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 391/413 [52:10<03:01,  8.23s/it]
+
mmlu_da:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 392/413 [52:18<02:54,  8.32s/it]
+
mmlu_da:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 393/413 [52:27<02:48,  8.44s/it]
+
mmlu_da:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 394/413 [52:35<02:35,  8.19s/it]
+
mmlu_da:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 395/413 [52:43<02:28,  8.25s/it]
+
mmlu_da:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 396/413 [52:52<02:22,  8.41s/it]
+
mmlu_da:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 397/413 [52:59<02:08,  8.03s/it]
+
mmlu_da:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 398/413 [53:07<01:58,  7.88s/it]
+
mmlu_da:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 399/413 [53:15<01:51,  7.97s/it]
+
mmlu_da:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 400/413 [53:23<01:45,  8.14s/it]
+
mmlu_da:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 401/413 [53:32<01:40,  8.38s/it]
+
mmlu_da:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 402/413 [53:40<01:31,  8.36s/it]
+
mmlu_da:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 403/413 [53:49<01:25,  8.54s/it]
+
mmlu_da:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 404/413 [53:57<01:14,  8.29s/it]
+
mmlu_da:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 405/413 [54:05<01:06,  8.26s/it]
+
mmlu_da:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 406/413 [54:13<00:56,  8.12s/it]
+
mmlu_da:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 407/413 [54:22<00:49,  8.29s/it]
+
mmlu_da:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 408/413 [54:30<00:41,  8.26s/it]
+
mmlu_da:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 409/413 [54:38<00:33,  8.29s/it]
+
mmlu_da:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 410/413 [54:47<00:25,  8.44s/it]
+
mmlu_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 411/413 [54:55<00:16,  8.20s/it]
+
mmlu_da: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 412/413 [55:03<00:08,  8.12s/it]
+
mmlu_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 413/413 [55:10<00:00,  7.76s/it]
mmlu_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 413/413 [55:10<00:00,  8.01s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_da_acc 0.3568075117370892
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_da_acc_norm 0.3345449038315917
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 19:47:04,042 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 19:47:04,042 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:04,164 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 19:47:04,164 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:04,286 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 19:47:04,286 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:04,407 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 19:47:04,408 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 19:47:04,408 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 19:47:04,531 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 19:47:04,531 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_da_acc'}
+2024-05-30 19:47:04,593 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 19:47:04,593 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1209, 'value': 0.3568075117370892}
+2024-05-30 19:47:04,655 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 19:47:05,313 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 19:47:05,313 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:05,443 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 19:47:05,443 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:05,574 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 19:47:05,574 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 19:47:05,704 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 19:47:05,836 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 19:47:05,836 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_da_acc_norm'}
+2024-05-30 19:47:05,902 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 19:47:05,902 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1210, 'value': 0.3345449038315917}
+2024-05-30 19:47:05,968 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  53%|█████████████████████████████████████████████████████████▍                                                  | 66/124 [36:59:35<64:09:43, 3982.48s/it]['mmlu_de']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 19:47:06,590 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 19:47:06,590 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:06,711 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 19:47:06,712 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:06,833 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 19:47:06,833 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 19:47:06,954 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 19:47:06,955 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 19:47:06,955 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_de'}
+2024-05-30 19:47:07,077 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_de task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1760 examples [00:00, 16851.21 examples/s]
+
Generating test split: 5106 examples [00:00, 26440.09 examples/s]
+
Generating test split: 8649 examples [00:00, 30500.21 examples/s]
+
Generating test split: 12017 examples [00:00, 31744.60 examples/s]
Generating test split: 13258 examples [00:00, 29749.97 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 277 examples [00:00, 27488.99 examples/s]
+Running loglikelihood requests
+
+
mmlu_de:   0%|                                                                                                                               | 0/415 [00:00<?, ?it/s]
+
mmlu_de:   0%|▎                                                                                                                      | 1/415 [00:07<50:50,  7.37s/it]
+
mmlu_de:   0%|▌                                                                                                                      | 2/415 [00:14<49:47,  7.23s/it]
+
mmlu_de:   1%|▊                                                                                                                      | 3/415 [00:21<49:36,  7.23s/it]
+
mmlu_de:   1%|█▏                                                                                                                     | 4/415 [00:29<51:53,  7.57s/it]
+
mmlu_de:   1%|█▍                                                                                                                     | 5/415 [00:36<50:13,  7.35s/it]
+
mmlu_de:   1%|█▋                                                                                                                     | 6/415 [00:44<51:11,  7.51s/it]
+
mmlu_de:   2%|██                                                                                                                     | 7/415 [00:51<50:25,  7.42s/it]
+
mmlu_de:   2%|██▎                                                                                                                    | 8/415 [00:58<48:14,  7.11s/it]
+
mmlu_de:   2%|██▌                                                                                                                    | 9/415 [01:05<49:12,  7.27s/it]
+
mmlu_de:   2%|██▊                                                                                                                   | 10/415 [01:14<51:26,  7.62s/it]
+
mmlu_de:   3%|███▏                                                                                                                  | 11/415 [01:20<48:42,  7.23s/it]
+
mmlu_de:   3%|███▍                                                                                                                  | 12/415 [01:27<48:25,  7.21s/it]
+
mmlu_de:   3%|███▋                                                                                                                  | 13/415 [01:35<49:34,  7.40s/it]
+
mmlu_de:   3%|███▉                                                                                                                  | 14/415 [01:43<49:53,  7.46s/it]
+
mmlu_de:   4%|████▎                                                                                                                 | 15/415 [01:50<50:15,  7.54s/it]
+
mmlu_de:   4%|████▌                                                                                                                 | 16/415 [01:58<49:47,  7.49s/it]
+
mmlu_de:   4%|████▊                                                                                                                 | 17/415 [02:05<49:03,  7.40s/it]
+
mmlu_de:   4%|█████                                                                                                                 | 18/415 [02:13<49:43,  7.52s/it]
+
mmlu_de:   5%|█████▍                                                                                                                | 19/415 [02:21<50:27,  7.64s/it]
+
mmlu_de:   5%|█████▋                                                                                                                | 20/415 [02:29<51:33,  7.83s/it]
+
mmlu_de:   5%|█████▉                                                                                                                | 21/415 [02:38<52:50,  8.05s/it]
+
mmlu_de:   5%|██████▎                                                                                                               | 22/415 [02:46<52:34,  8.03s/it]
+
mmlu_de:   6%|██████▌                                                                                                               | 23/415 [02:53<51:42,  7.92s/it]
+
mmlu_de:   6%|██████▊                                                                                                               | 24/415 [03:01<50:42,  7.78s/it]
+
mmlu_de:   6%|███████                                                                                                               | 25/415 [03:09<52:11,  8.03s/it]
+
mmlu_de:   6%|███████▍                                                                                                              | 26/415 [03:17<51:12,  7.90s/it]
+
mmlu_de:   7%|███████▋                                                                                                              | 27/415 [03:25<51:11,  7.92s/it]
+
mmlu_de:   7%|███████▉                                                                                                              | 28/415 [03:32<49:39,  7.70s/it]
+
mmlu_de:   7%|████████▏                                                                                                             | 29/415 [03:39<48:36,  7.55s/it]
+
mmlu_de:   7%|████████▌                                                                                                             | 30/415 [03:46<47:11,  7.36s/it]
+
mmlu_de:   7%|████████▊                                                                                                             | 31/415 [03:53<46:20,  7.24s/it]
+
mmlu_de:   8%|█████████                                                                                                             | 32/415 [04:00<45:57,  7.20s/it]
+
mmlu_de:   8%|█████████▍                                                                                                            | 33/415 [04:08<46:59,  7.38s/it]
+
mmlu_de:   8%|█████████▋                                                                                                            | 34/415 [04:15<46:01,  7.25s/it]
+
mmlu_de:   8%|█████████▉                                                                                                            | 35/415 [04:23<46:44,  7.38s/it]
+
mmlu_de:   9%|██████████▏                                                                                                           | 36/415 [04:30<46:51,  7.42s/it]
+
mmlu_de:   9%|██████████▌                                                                                                           | 37/415 [04:38<47:52,  7.60s/it]
+
mmlu_de:   9%|██████████▊                                                                                                           | 38/415 [04:45<46:24,  7.39s/it]
+
mmlu_de:   9%|███████████                                                                                                           | 39/415 [04:52<45:25,  7.25s/it]
+
mmlu_de:  10%|███████████▎                                                                                                          | 40/415 [05:00<47:23,  7.58s/it]
+
mmlu_de:  10%|███████████▋                                                                                                          | 41/415 [05:08<46:27,  7.45s/it]
+
mmlu_de:  10%|███████████▉                                                                                                          | 42/415 [05:16<47:41,  7.67s/it]
+
mmlu_de:  10%|████████████▏                                                                                                         | 43/415 [05:23<46:02,  7.43s/it]
+
mmlu_de:  11%|████████████▌                                                                                                         | 44/415 [05:30<46:40,  7.55s/it]
+
mmlu_de:  11%|████████████▊                                                                                                         | 45/415 [05:38<47:10,  7.65s/it]
+
mmlu_de:  11%|█████████████                                                                                                         | 46/415 [05:47<49:12,  8.00s/it]
+
mmlu_de:  11%|█████████████▎                                                                                                        | 47/415 [05:55<48:44,  7.95s/it]
+
mmlu_de:  12%|█████████████▋                                                                                                        | 48/415 [06:02<47:07,  7.70s/it]
+
mmlu_de:  12%|█████████████▉                                                                                                        | 49/415 [06:09<45:55,  7.53s/it]
+
mmlu_de:  12%|██████████████▏                                                                                                       | 50/415 [06:16<44:29,  7.31s/it]
+
mmlu_de:  12%|██████████████▌                                                                                                       | 51/415 [06:23<44:20,  7.31s/it]
+
mmlu_de:  13%|██████████████▊                                                                                                       | 52/415 [06:31<44:04,  7.28s/it]
+
mmlu_de:  13%|███████████████                                                                                                       | 53/415 [06:38<43:56,  7.28s/it]
+
mmlu_de:  13%|███████████████▎                                                                                                      | 54/415 [06:45<44:00,  7.32s/it]
+
mmlu_de:  13%|███████████████▋                                                                                                      | 55/415 [06:52<42:49,  7.14s/it]
+
mmlu_de:  13%|███████████████▉                                                                                                      | 56/415 [06:59<42:28,  7.10s/it]
+
mmlu_de:  14%|████████████████▏                                                                                                     | 57/415 [07:06<42:06,  7.06s/it]
+
mmlu_de:  14%|████████████████▍                                                                                                     | 58/415 [07:13<41:24,  6.96s/it]
+
mmlu_de:  14%|████████████████▊                                                                                                     | 59/415 [07:20<41:34,  7.01s/it]
+
mmlu_de:  14%|█████████████████                                                                                                     | 60/415 [07:27<42:39,  7.21s/it]
+
mmlu_de:  15%|█████████████████▎                                                                                                    | 61/415 [07:34<42:10,  7.15s/it]
+
mmlu_de:  15%|█████████████████▋                                                                                                    | 62/415 [07:42<42:04,  7.15s/it]
+
mmlu_de:  15%|█████████████████▉                                                                                                    | 63/415 [07:49<43:07,  7.35s/it]
+
mmlu_de:  15%|██████████████████▏                                                                                                   | 64/415 [07:57<43:22,  7.41s/it]
+
mmlu_de:  16%|██████████████████▍                                                                                                   | 65/415 [08:05<44:24,  7.61s/it]
+
mmlu_de:  16%|██████████████████▊                                                                                                   | 66/415 [08:13<45:34,  7.84s/it]
+
mmlu_de:  16%|███████████████████                                                                                                   | 67/415 [08:21<44:43,  7.71s/it]
+
mmlu_de:  16%|███████████████████▎                                                                                                  | 68/415 [08:28<44:07,  7.63s/it]
+
mmlu_de:  17%|███████████████████▌                                                                                                  | 69/415 [08:36<43:41,  7.58s/it]
+
mmlu_de:  17%|███████████████████▉                                                                                                  | 70/415 [08:43<42:19,  7.36s/it]
+
mmlu_de:  17%|████████████████████▏                                                                                                 | 71/415 [08:51<43:51,  7.65s/it]
+
mmlu_de:  17%|████████████████████▍                                                                                                 | 72/415 [08:58<43:36,  7.63s/it]
+
mmlu_de:  18%|████████████████████▊                                                                                                 | 73/415 [09:06<43:21,  7.61s/it]
+
mmlu_de:  18%|█████████████████████                                                                                                 | 74/415 [09:14<43:52,  7.72s/it]
+
mmlu_de:  18%|█████████████████████▎                                                                                                | 75/415 [09:22<43:25,  7.66s/it]
+
mmlu_de:  18%|█████████████████████▌                                                                                                | 76/415 [09:29<42:39,  7.55s/it]
+
mmlu_de:  19%|█████████████████████▉                                                                                                | 77/415 [09:36<41:36,  7.39s/it]
+
mmlu_de:  19%|██████████████████████▏                                                                                               | 78/415 [09:43<40:52,  7.28s/it]
+
mmlu_de:  19%|██████████████████████▍                                                                                               | 79/415 [09:51<41:39,  7.44s/it]
+
mmlu_de:  19%|██████████████████████▋                                                                                               | 80/415 [09:58<40:46,  7.30s/it]
+
mmlu_de:  20%|███████████████████████                                                                                               | 81/415 [10:06<42:01,  7.55s/it]
+
mmlu_de:  20%|███████████████████████▎                                                                                              | 82/415 [10:14<42:13,  7.61s/it]
+
mmlu_de:  20%|███████████████████████▌                                                                                              | 83/415 [10:21<42:19,  7.65s/it]
+
mmlu_de:  20%|███████████████████████▉                                                                                              | 84/415 [10:28<41:00,  7.43s/it]
+
mmlu_de:  20%|████████████████████████▏                                                                                             | 85/415 [10:35<40:38,  7.39s/it]
+
mmlu_de:  21%|████████████████████████▍                                                                                             | 86/415 [10:43<40:12,  7.33s/it]
+
mmlu_de:  21%|████████████████████████▋                                                                                             | 87/415 [10:50<39:47,  7.28s/it]
+
mmlu_de:  21%|█████████████████████████                                                                                             | 88/415 [10:57<39:33,  7.26s/it]
+
mmlu_de:  21%|█████████████████████████▎                                                                                            | 89/415 [11:05<40:13,  7.40s/it]
+
mmlu_de:  22%|█████████████████████████▌                                                                                            | 90/415 [11:12<40:03,  7.40s/it]
+
mmlu_de:  22%|█████████████████████████▊                                                                                            | 91/415 [11:20<40:31,  7.50s/it]
+
mmlu_de:  22%|██████████████████████████▏                                                                                           | 92/415 [11:28<41:22,  7.69s/it]
+
mmlu_de:  22%|██████████████████████████▍                                                                                           | 93/415 [11:36<40:58,  7.63s/it]
+
mmlu_de:  23%|██████████████████████████▋                                                                                           | 94/415 [11:43<40:01,  7.48s/it]
+
mmlu_de:  23%|███████████████████████████                                                                                           | 95/415 [11:50<40:13,  7.54s/it]
+
mmlu_de:  23%|███████████████████████████▎                                                                                          | 96/415 [11:58<40:51,  7.68s/it]
+
mmlu_de:  23%|███████████████████████████▌                                                                                          | 97/415 [12:06<40:12,  7.59s/it]
+
mmlu_de:  24%|███████████████████████████▊                                                                                          | 98/415 [12:13<39:33,  7.49s/it]
+
mmlu_de:  24%|████████████████████████████▏                                                                                         | 99/415 [12:21<40:02,  7.60s/it]
+
mmlu_de:  24%|████████████████████████████▏                                                                                        | 100/415 [12:29<40:17,  7.67s/it]
+
mmlu_de:  24%|████████████████████████████▍                                                                                        | 101/415 [12:36<39:38,  7.57s/it]
+
mmlu_de:  25%|████████████████████████████▊                                                                                        | 102/415 [12:45<41:05,  7.88s/it]
+
mmlu_de:  25%|█████████████████████████████                                                                                        | 103/415 [12:53<40:58,  7.88s/it]
+
mmlu_de:  25%|█████████████████████████████▎                                                                                       | 104/415 [13:00<40:44,  7.86s/it]
+
mmlu_de:  25%|█████████████████████████████▌                                                                                       | 105/415 [13:07<39:01,  7.55s/it]
+
mmlu_de:  26%|█████████████████████████████▉                                                                                       | 106/415 [13:15<38:43,  7.52s/it]
+
mmlu_de:  26%|██████████████████████████████▏                                                                                      | 107/415 [13:22<38:34,  7.51s/it]
+
mmlu_de:  26%|██████████████████████████████▍                                                                                      | 108/415 [13:30<39:08,  7.65s/it]
+
mmlu_de:  26%|██████████████████████████████▋                                                                                      | 109/415 [13:37<37:52,  7.43s/it]
+
mmlu_de:  27%|███████████████████████████████                                                                                      | 110/415 [13:44<37:20,  7.34s/it]
+
mmlu_de:  27%|███████████████████████████████▎                                                                                     | 111/415 [13:53<38:56,  7.69s/it]
+
mmlu_de:  27%|███████████████████████████████▌                                                                                     | 112/415 [14:02<41:11,  8.16s/it]
+
mmlu_de:  27%|███████████████████████████████▊                                                                                     | 113/415 [14:10<41:44,  8.29s/it]
+
mmlu_de:  27%|████████████████████████████████▏                                                                                    | 114/415 [14:18<40:11,  8.01s/it]
+
mmlu_de:  28%|████████████████████████████████▍                                                                                    | 115/415 [14:26<40:21,  8.07s/it]
+
mmlu_de:  28%|████████████████████████████████▋                                                                                    | 116/415 [14:33<39:12,  7.87s/it]
+
mmlu_de:  28%|████████████████████████████████▉                                                                                    | 117/415 [14:40<37:47,  7.61s/it]
+
mmlu_de:  28%|█████████████████████████████████▎                                                                                   | 118/415 [14:48<37:46,  7.63s/it]
+
mmlu_de:  29%|█████████████████████████████████▌                                                                                   | 119/415 [14:55<36:54,  7.48s/it]
+
mmlu_de:  29%|█████████████████████████████████▊                                                                                   | 120/415 [15:02<35:19,  7.18s/it]
+
mmlu_de:  29%|██████████████████████████████████                                                                                   | 121/415 [15:09<35:45,  7.30s/it]
+
mmlu_de:  29%|██████████████████████████████████▍                                                                                  | 122/415 [15:17<35:34,  7.29s/it]
+
mmlu_de:  30%|██████████████████████████████████▋                                                                                  | 123/415 [15:24<35:46,  7.35s/it]
+
mmlu_de:  30%|██████████████████████████████████▉                                                                                  | 124/415 [15:32<36:03,  7.43s/it]
+
mmlu_de:  30%|███████████████████████████████████▏                                                                                 | 125/415 [15:39<36:09,  7.48s/it]
+
mmlu_de:  30%|███████████████████████████████████▌                                                                                 | 126/415 [15:47<36:15,  7.53s/it]
+
mmlu_de:  31%|███████████████████████████████████▊                                                                                 | 127/415 [15:54<36:11,  7.54s/it]
+
mmlu_de:  31%|████████████████████████████████████                                                                                 | 128/415 [16:02<35:54,  7.51s/it]
+
mmlu_de:  31%|████████████████████████████████████▎                                                                                | 129/415 [16:09<35:21,  7.42s/it]
+
mmlu_de:  31%|████████████████████████████████████▋                                                                                | 130/415 [16:17<35:33,  7.49s/it]
+
mmlu_de:  32%|████████████████████████████████████▉                                                                                | 131/415 [16:26<37:18,  7.88s/it]
+
mmlu_de:  32%|█████████████████████████████████████▏                                                                               | 132/415 [16:33<36:19,  7.70s/it]
+
mmlu_de:  32%|█████████████████████████████████████▍                                                                               | 133/415 [16:40<34:42,  7.39s/it]
+
mmlu_de:  32%|█████████████████████████████████████▊                                                                               | 134/415 [16:46<34:00,  7.26s/it]
+
mmlu_de:  33%|██████████████████████████████████████                                                                               | 135/415 [16:54<34:26,  7.38s/it]
+
mmlu_de:  33%|██████████████████████████████████████▎                                                                              | 136/415 [17:01<33:52,  7.28s/it]
+
mmlu_de:  33%|██████████████████████████████████████▌                                                                              | 137/415 [17:09<34:28,  7.44s/it]
+
mmlu_de:  33%|██████████████████████████████████████▉                                                                              | 138/415 [17:18<35:51,  7.77s/it]
+
mmlu_de:  33%|███████████████████████████████████████▏                                                                             | 139/415 [17:24<34:32,  7.51s/it]
+
mmlu_de:  34%|███████████████████████████████████████▍                                                                             | 140/415 [17:32<34:43,  7.58s/it]
+
mmlu_de:  34%|███████████████████████████████████████▊                                                                             | 141/415 [17:40<35:25,  7.76s/it]
+
mmlu_de:  34%|████████████████████████████████████████                                                                             | 142/415 [17:47<34:18,  7.54s/it]
+
mmlu_de:  34%|████████████████████████████████████████▎                                                                            | 143/415 [17:55<34:51,  7.69s/it]
+
mmlu_de:  35%|████████████████████████████████████████▌                                                                            | 144/415 [18:03<34:53,  7.72s/it]
+
mmlu_de:  35%|████████████████████████████████████████▉                                                                            | 145/415 [18:11<35:14,  7.83s/it]
+
mmlu_de:  35%|█████████████████████████████████████████▏                                                                           | 146/415 [18:20<35:36,  7.94s/it]
+
mmlu_de:  35%|█████████████████████████████████████████▍                                                                           | 147/415 [18:27<34:55,  7.82s/it]
+
mmlu_de:  36%|█████████████████████████████████████████▋                                                                           | 148/415 [18:35<34:27,  7.74s/it]
+
mmlu_de:  36%|██████████████████████████████████████████                                                                           | 149/415 [18:42<33:53,  7.65s/it]
+
mmlu_de:  36%|██████████████████████████████████████████▎                                                                          | 150/415 [18:50<34:23,  7.79s/it]
+
mmlu_de:  36%|██████████████████████████████████████████▌                                                                          | 151/415 [18:58<33:47,  7.68s/it]
+
mmlu_de:  37%|██████████████████████████████████████████▊                                                                          | 152/415 [19:05<33:54,  7.74s/it]
+
mmlu_de:  37%|███████████████████████████████████████████▏                                                                         | 153/415 [19:13<32:59,  7.56s/it]
+
mmlu_de:  37%|███████████████████████████████████████████▍                                                                         | 154/415 [19:20<32:07,  7.38s/it]
+
mmlu_de:  37%|███████████████████████████████████████████▋                                                                         | 155/415 [19:27<31:28,  7.26s/it]
+
mmlu_de:  38%|███████████████████████████████████████████▉                                                                         | 156/415 [19:35<32:47,  7.59s/it]
+
mmlu_de:  38%|████████████████████████████████████████████▎                                                                        | 157/415 [19:43<33:30,  7.79s/it]
+
mmlu_de:  38%|████████████████████████████████████████████▌                                                                        | 158/415 [19:50<32:01,  7.48s/it]
+
mmlu_de:  38%|████████████████████████████████████████████▊                                                                        | 159/415 [19:58<32:30,  7.62s/it]
+
mmlu_de:  39%|█████████████████████████████████████████████                                                                        | 160/415 [20:05<31:56,  7.52s/it]
+
mmlu_de:  39%|█████████████████████████████████████████████▍                                                                       | 161/415 [20:13<31:46,  7.51s/it]
+
mmlu_de:  39%|█████████████████████████████████████████████▋                                                                       | 162/415 [20:21<32:21,  7.67s/it]
+
mmlu_de:  39%|█████████████████████████████████████████████▉                                                                       | 163/415 [20:28<31:58,  7.61s/it]
+
mmlu_de:  40%|██████████████████████████████████████████████▏                                                                      | 164/415 [20:37<32:46,  7.83s/it]
+
mmlu_de:  40%|██████████████████████████████████████████████▌                                                                      | 165/415 [20:43<31:16,  7.51s/it]
+
mmlu_de:  40%|██████████████████████████████████████████████▊                                                                      | 166/415 [20:51<31:12,  7.52s/it]
+
mmlu_de:  40%|███████████████████████████████████████████████                                                                      | 167/415 [20:59<31:41,  7.67s/it]
+
mmlu_de:  40%|███████████████████████████████████████████████▎                                                                     | 168/415 [21:06<31:22,  7.62s/it]
+
mmlu_de:  41%|███████████████████████████████████████████████▋                                                                     | 169/415 [21:14<31:36,  7.71s/it]
+
mmlu_de:  41%|███████████████████████████████████████████████▉                                                                     | 170/415 [21:21<30:52,  7.56s/it]
+
mmlu_de:  41%|████████████████████████████████████████████████▏                                                                    | 171/415 [21:28<29:58,  7.37s/it]
+
mmlu_de:  41%|████████████████████████████████████████████████▍                                                                    | 172/415 [21:37<31:46,  7.84s/it]
+
mmlu_de:  42%|████████████████████████████████████████████████▊                                                                    | 173/415 [21:45<31:15,  7.75s/it]
+
mmlu_de:  42%|█████████████████████████████████████████████████                                                                    | 174/415 [21:53<31:38,  7.88s/it]
+
mmlu_de:  42%|█████████████████████████████████████████████████▎                                                                   | 175/415 [22:00<30:44,  7.69s/it]
+
mmlu_de:  42%|█████████████████████████████████████████████████▌                                                                   | 176/415 [22:07<29:39,  7.45s/it]
+
mmlu_de:  43%|█████████████████████████████████████████████████▉                                                                   | 177/415 [22:14<29:02,  7.32s/it]
+
mmlu_de:  43%|██████████████████████████████████████████████████▏                                                                  | 178/415 [22:23<30:53,  7.82s/it]
+
mmlu_de:  43%|██████████████████████████████████████████████████▍                                                                  | 179/415 [22:31<30:14,  7.69s/it]
+
mmlu_de:  43%|██████████████████████████████████████████████████▋                                                                  | 180/415 [22:38<29:59,  7.66s/it]
+
mmlu_de:  44%|███████████████████████████████████████████████████                                                                  | 181/415 [22:46<29:30,  7.57s/it]
+
mmlu_de:  44%|███████████████████████████████████████████████████▎                                                                 | 182/415 [22:55<31:11,  8.03s/it]
+
mmlu_de:  44%|███████████████████████████████████████████████████▌                                                                 | 183/415 [23:02<30:19,  7.84s/it]
+
mmlu_de:  44%|███████████████████████████████████████████████████▊                                                                 | 184/415 [23:10<30:05,  7.82s/it]
+
mmlu_de:  45%|████████████████████████████████████████████████████▏                                                                | 185/415 [23:17<29:13,  7.63s/it]
+
mmlu_de:  45%|████████████████████████████████████████████████████▍                                                                | 186/415 [23:24<28:25,  7.45s/it]
+
mmlu_de:  45%|████████████████████████████████████████████████████▋                                                                | 187/415 [23:32<28:42,  7.56s/it]
+
mmlu_de:  45%|█████████████████████████████████████████████████████                                                                | 188/415 [23:38<27:20,  7.23s/it]
+
mmlu_de:  46%|█████████████████████████████████████████████████████▎                                                               | 189/415 [23:46<28:01,  7.44s/it]
+
mmlu_de:  46%|█████████████████████████████████████████████████████▌                                                               | 190/415 [23:54<28:43,  7.66s/it]
+
mmlu_de:  46%|█████████████████████████████████████████████████████▊                                                               | 191/415 [24:02<28:44,  7.70s/it]
+
mmlu_de:  46%|██████████████████████████████████████████████████████▏                                                              | 192/415 [24:10<28:35,  7.69s/it]
+
mmlu_de:  47%|██████████████████████████████████████████████████████▍                                                              | 193/415 [24:18<28:41,  7.76s/it]
+
mmlu_de:  47%|██████████████████████████████████████████████████████▋                                                              | 194/415 [24:25<27:46,  7.54s/it]
+
mmlu_de:  47%|██████████████████████████████████████████████████████▉                                                              | 195/415 [24:32<27:02,  7.38s/it]
+
mmlu_de:  47%|███████████████████████████████████████████████████████▎                                                             | 196/415 [24:39<26:48,  7.34s/it]
+
mmlu_de:  47%|███████████████████████████████████████████████████████▌                                                             | 197/415 [24:46<26:12,  7.21s/it]
+
mmlu_de:  48%|███████████████████████████████████████████████████████▊                                                             | 198/415 [24:53<26:25,  7.31s/it]
+
mmlu_de:  48%|████████████████████████████████████████████████████████                                                             | 199/415 [25:01<26:04,  7.24s/it]
+
mmlu_de:  48%|████████████████████████████████████████████████████████▍                                                            | 200/415 [25:08<26:27,  7.39s/it]
+
mmlu_de:  48%|████████████████████████████████████████████████████████▋                                                            | 201/415 [25:17<27:18,  7.65s/it]
+
mmlu_de:  49%|████████████████████████████████████████████████████████▉                                                            | 202/415 [25:26<28:39,  8.07s/it]
+
mmlu_de:  49%|█████████████████████████████████████████████████████████▏                                                           | 203/415 [25:33<27:24,  7.76s/it]
+
mmlu_de:  49%|█████████████████████████████████████████████████████████▌                                                           | 204/415 [25:40<26:23,  7.51s/it]
+
mmlu_de:  49%|█████████████████████████████████████████████████████████▊                                                           | 205/415 [25:48<27:10,  7.77s/it]
+
mmlu_de:  50%|██████████████████████████████████████████████████████████                                                           | 206/415 [25:57<27:57,  8.03s/it]
+
mmlu_de:  50%|██████████████████████████████████████████████████████████▎                                                          | 207/415 [26:05<27:45,  8.01s/it]
+
mmlu_de:  50%|██████████████████████████████████████████████████████████▋                                                          | 208/415 [26:13<27:50,  8.07s/it]
+
mmlu_de:  50%|██████████████████████████████████████████████████████████▉                                                          | 209/415 [26:20<26:55,  7.84s/it]
+
mmlu_de:  51%|███████████████████████████████████████████████████████████▏                                                         | 210/415 [26:27<25:58,  7.60s/it]
+
mmlu_de:  51%|███████████████████████████████████████████████████████████▍                                                         | 211/415 [26:34<25:00,  7.35s/it]
+
mmlu_de:  51%|███████████████████████████████████████████████████████████▊                                                         | 212/415 [26:42<25:34,  7.56s/it]
+
mmlu_de:  51%|████████████████████████████████████████████████████████████                                                         | 213/415 [26:49<24:55,  7.40s/it]
+
mmlu_de:  52%|████████████████████████████████████████████████████████████▎                                                        | 214/415 [26:57<25:46,  7.69s/it]
+
mmlu_de:  52%|████████████████████████████████████████████████████████████▌                                                        | 215/415 [27:04<24:58,  7.49s/it]
+
mmlu_de:  52%|████████████████████████████████████████████████████████████▉                                                        | 216/415 [27:12<25:02,  7.55s/it]
+
mmlu_de:  52%|█████████████████████████████████████████████████████████████▏                                                       | 217/415 [27:19<24:17,  7.36s/it]
+
mmlu_de:  53%|█████████████████████████████████████████████████████████████▍                                                       | 218/415 [27:26<24:05,  7.34s/it]
+
mmlu_de:  53%|█████████████████████████████████████████████████████████████▋                                                       | 219/415 [27:35<25:37,  7.85s/it]
+
mmlu_de:  53%|██████████████████████████████████████████████████████████████                                                       | 220/415 [27:42<24:50,  7.64s/it]
+
mmlu_de:  53%|██████████████████████████████████████████████████████████████▎                                                      | 221/415 [27:50<24:39,  7.62s/it]
+
mmlu_de:  53%|██████████████████████████████████████████████████████████████▌                                                      | 222/415 [27:57<24:06,  7.49s/it]
+
mmlu_de:  54%|██████████████████████████████████████████████████████████████▊                                                      | 223/415 [28:04<23:08,  7.23s/it]
+
mmlu_de:  54%|███████████████████████████████████████████████████████████████▏                                                     | 224/415 [28:11<23:24,  7.36s/it]
+
mmlu_de:  54%|███████████████████████████████████████████████████████████████▍                                                     | 225/415 [28:20<23:58,  7.57s/it]
+
mmlu_de:  54%|███████████████████████████████████████████████████████████████▋                                                     | 226/415 [28:27<24:00,  7.62s/it]
+
mmlu_de:  55%|███████████████████████████████████████████████████████████████▉                                                     | 227/415 [28:35<24:21,  7.78s/it]
+
mmlu_de:  55%|████████████████████████████████████████████████████████████████▎                                                    | 228/415 [28:43<23:46,  7.63s/it]
+
mmlu_de:  55%|████████████████████████████████████████████████████████████████▌                                                    | 229/415 [28:50<23:38,  7.63s/it]
+
mmlu_de:  55%|████████████████████████████████████████████████████████████████▊                                                    | 230/415 [28:58<23:08,  7.51s/it]
+
mmlu_de:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 231/415 [29:05<22:53,  7.46s/it]
+
mmlu_de:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 232/415 [29:13<22:53,  7.51s/it]
+
mmlu_de:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 233/415 [29:20<23:07,  7.62s/it]
+
mmlu_de:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 234/415 [29:28<22:53,  7.59s/it]
+
mmlu_de:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 235/415 [29:35<22:36,  7.53s/it]
+
mmlu_de:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 236/415 [29:44<23:18,  7.81s/it]
+
mmlu_de:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 237/415 [29:53<24:09,  8.14s/it]
+
mmlu_de:  57%|███████████████████████████████████████████████████████████████████                                                  | 238/415 [30:01<23:42,  8.04s/it]
+
mmlu_de:  58%|███████████████████████████████████████████████████████████████████▍                                                 | 239/415 [30:08<22:47,  7.77s/it]
+
mmlu_de:  58%|███████████████████████████████████████████████████████████████████▋                                                 | 240/415 [30:16<22:43,  7.79s/it]
+
mmlu_de:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 241/415 [30:23<22:13,  7.66s/it]
+
mmlu_de:  58%|████████████████████████████████████████████████████████████████████▏                                                | 242/415 [30:30<21:18,  7.39s/it]
+
mmlu_de:  59%|████████████████████████████████████████████████████████████████████▌                                                | 243/415 [30:37<20:59,  7.32s/it]
+
mmlu_de:  59%|████████████████████████████████████████████████████████████████████▊                                                | 244/415 [30:45<21:38,  7.59s/it]
+
mmlu_de:  59%|█████████████████████████████████████████████████████████████████████                                                | 245/415 [30:53<21:28,  7.58s/it]
+
mmlu_de:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 246/415 [30:59<20:39,  7.34s/it]
+
mmlu_de:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 247/415 [31:07<20:41,  7.39s/it]
+
mmlu_de:  60%|█████████████████████████████████████████████████████████████████████▉                                               | 248/415 [31:14<20:03,  7.21s/it]
+
mmlu_de:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 249/415 [31:22<20:47,  7.51s/it]
+
mmlu_de:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 250/415 [31:30<21:02,  7.65s/it]
+
mmlu_de:  60%|██████████████████████████████████████████████████████████████████████▊                                              | 251/415 [31:38<21:04,  7.71s/it]
+
mmlu_de:  61%|███████████████████████████████████████████████████████████████████████                                              | 252/415 [31:45<20:59,  7.73s/it]
+
mmlu_de:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 253/415 [31:53<20:39,  7.65s/it]
+
mmlu_de:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 254/415 [32:00<19:59,  7.45s/it]
+
mmlu_de:  61%|███████████████████████████████████████████████████████████████████████▉                                             | 255/415 [32:07<19:53,  7.46s/it]
+
mmlu_de:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 256/415 [32:15<19:39,  7.42s/it]
+
mmlu_de:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 257/415 [32:22<19:18,  7.33s/it]
+
mmlu_de:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 258/415 [32:29<19:26,  7.43s/it]
+
mmlu_de:  62%|█████████████████████████████████████████████████████████████████████████                                            | 259/415 [32:37<19:23,  7.46s/it]
+
mmlu_de:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 260/415 [32:44<19:02,  7.37s/it]
+
mmlu_de:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 261/415 [32:51<18:46,  7.31s/it]
+
mmlu_de:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 262/415 [32:58<18:29,  7.25s/it]
+
mmlu_de:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 263/415 [33:06<18:57,  7.48s/it]
+
mmlu_de:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 264/415 [33:15<19:42,  7.83s/it]
+
mmlu_de:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 265/415 [33:22<19:03,  7.62s/it]
+
mmlu_de:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 266/415 [33:29<18:35,  7.48s/it]
+
mmlu_de:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 267/415 [33:37<18:52,  7.65s/it]
+
mmlu_de:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 268/415 [33:46<19:13,  7.85s/it]
+
mmlu_de:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 269/415 [33:53<18:34,  7.64s/it]
+
mmlu_de:  65%|████████████████████████████████████████████████████████████████████████████                                         | 270/415 [34:01<18:32,  7.67s/it]
+
mmlu_de:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 271/415 [34:08<17:59,  7.50s/it]
+
mmlu_de:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 272/415 [34:15<17:48,  7.47s/it]
+
mmlu_de:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 273/415 [34:22<17:26,  7.37s/it]
+
mmlu_de:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 274/415 [34:30<17:45,  7.56s/it]
+
mmlu_de:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 275/415 [34:37<17:18,  7.42s/it]
+
mmlu_de:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 276/415 [34:44<16:52,  7.29s/it]
+
mmlu_de:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 277/415 [34:51<16:33,  7.20s/it]
+
mmlu_de:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 278/415 [35:00<17:43,  7.76s/it]
+
mmlu_de:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 279/415 [35:08<17:15,  7.61s/it]
+
mmlu_de:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 280/415 [35:16<17:27,  7.76s/it]
+
mmlu_de:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 281/415 [35:23<16:55,  7.58s/it]
+
mmlu_de:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 282/415 [35:31<17:12,  7.76s/it]
+
mmlu_de:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 283/415 [35:39<17:19,  7.87s/it]
+
mmlu_de:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 284/415 [35:47<17:15,  7.90s/it]
+
mmlu_de:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 285/415 [35:54<16:38,  7.68s/it]
+
mmlu_de:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 286/415 [36:02<16:43,  7.78s/it]
+
mmlu_de:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 287/415 [36:09<15:45,  7.39s/it]
+
mmlu_de:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 288/415 [36:16<15:29,  7.32s/it]
+
mmlu_de:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 289/415 [36:24<15:40,  7.46s/it]
+
mmlu_de:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 290/415 [36:31<15:33,  7.47s/it]
+
mmlu_de:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 291/415 [36:39<15:45,  7.62s/it]
+
mmlu_de:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 292/415 [36:48<15:58,  7.79s/it]
+
mmlu_de:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 293/415 [36:54<15:18,  7.53s/it]
+
mmlu_de:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 294/415 [37:02<15:15,  7.57s/it]
+
mmlu_de:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 295/415 [37:09<14:51,  7.43s/it]
+
mmlu_de:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 296/415 [37:17<14:47,  7.45s/it]
+
mmlu_de:  72%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 297/415 [37:24<14:35,  7.42s/it]
+
mmlu_de:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 298/415 [37:32<14:41,  7.54s/it]
+
mmlu_de:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 299/415 [37:39<14:24,  7.45s/it]
+
mmlu_de:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 300/415 [37:47<14:26,  7.54s/it]
+
mmlu_de:  73%|████████████████████████████████████████████████████████████████████████████████████▊                                | 301/415 [37:55<14:55,  7.86s/it]
+
mmlu_de:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 302/415 [38:02<14:08,  7.51s/it]
+
mmlu_de:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 303/415 [38:11<14:29,  7.77s/it]
+
mmlu_de:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 304/415 [38:19<14:49,  8.01s/it]
+
mmlu_de:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 305/415 [38:26<14:09,  7.72s/it]
+
mmlu_de:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 306/415 [38:33<13:23,  7.37s/it]
+
mmlu_de:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 307/415 [38:40<13:18,  7.39s/it]
+
mmlu_de:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 308/415 [38:47<12:55,  7.25s/it]
+
mmlu_de:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 309/415 [38:54<12:48,  7.25s/it]
+
mmlu_de:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 310/415 [39:01<12:29,  7.14s/it]
+
mmlu_de:  75%|███████████████████████████████████████████████████████████████████████████████████████▋                             | 311/415 [39:08<12:07,  6.99s/it]
+
mmlu_de:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 312/415 [39:16<12:31,  7.30s/it]
+
mmlu_de:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 313/415 [39:25<13:18,  7.83s/it]
+
mmlu_de:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 314/415 [39:32<12:52,  7.65s/it]
+
mmlu_de:  76%|████████████████████████████████████████████████████████████████████████████████████████▊                            | 315/415 [39:40<12:37,  7.58s/it]
+
mmlu_de:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 316/415 [39:47<12:39,  7.67s/it]
+
mmlu_de:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 317/415 [39:54<11:58,  7.33s/it]
+
mmlu_de:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 318/415 [40:01<11:55,  7.38s/it]
+
mmlu_de:  77%|█████████████████████████████████████████████████████████████████████████████████████████▉                           | 319/415 [40:09<11:51,  7.41s/it]
+
mmlu_de:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 320/415 [40:16<11:39,  7.36s/it]
+
mmlu_de:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 321/415 [40:24<11:31,  7.35s/it]
+
mmlu_de:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 322/415 [40:32<11:56,  7.71s/it]
+
mmlu_de:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 323/415 [40:40<11:52,  7.75s/it]
+
mmlu_de:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 324/415 [40:48<11:57,  7.89s/it]
+
mmlu_de:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 325/415 [40:56<11:40,  7.78s/it]
+
mmlu_de:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 326/415 [41:03<11:18,  7.62s/it]
+
mmlu_de:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 327/415 [41:10<10:53,  7.42s/it]
+
mmlu_de:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 328/415 [41:19<11:20,  7.82s/it]
+
mmlu_de:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 329/415 [41:26<11:02,  7.70s/it]
+
mmlu_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████████                        | 330/415 [41:33<10:32,  7.44s/it]
+
mmlu_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 331/415 [41:41<10:35,  7.56s/it]
+
mmlu_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 332/415 [41:50<11:12,  8.10s/it]
+
mmlu_de:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 333/415 [41:57<10:45,  7.88s/it]
+
mmlu_de:  80%|██████████████████████████████████████████████████████████████████████████████████████████████▏                      | 334/415 [42:05<10:27,  7.74s/it]
+
mmlu_de:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 335/415 [42:12<10:04,  7.55s/it]
+
mmlu_de:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 336/415 [42:19<09:45,  7.41s/it]
+
mmlu_de:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 337/415 [42:27<10:01,  7.71s/it]
+
mmlu_de:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 338/415 [42:35<09:48,  7.65s/it]
+
mmlu_de:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 339/415 [42:42<09:26,  7.46s/it]
+
mmlu_de:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 340/415 [42:51<09:47,  7.84s/it]
+
mmlu_de:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 341/415 [42:58<09:31,  7.73s/it]
+
mmlu_de:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 342/415 [43:06<09:31,  7.82s/it]
+
mmlu_de:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 343/415 [43:14<09:13,  7.68s/it]
+
mmlu_de:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 344/415 [43:22<09:14,  7.81s/it]
+
mmlu_de:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 345/415 [43:29<09:05,  7.80s/it]
+
mmlu_de:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 346/415 [43:37<09:01,  7.84s/it]
+
mmlu_de:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 347/415 [43:44<08:29,  7.49s/it]
+
mmlu_de:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 348/415 [43:51<08:15,  7.40s/it]
+
mmlu_de:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 349/415 [43:59<08:09,  7.42s/it]
+
mmlu_de:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 350/415 [44:06<07:58,  7.36s/it]
+
mmlu_de:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 351/415 [44:15<08:24,  7.89s/it]
+
mmlu_de:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 352/415 [44:23<08:25,  8.03s/it]
+
mmlu_de:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 353/415 [44:32<08:19,  8.06s/it]
+
mmlu_de:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 354/415 [44:40<08:12,  8.08s/it]
+
mmlu_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 355/415 [44:48<08:11,  8.19s/it]
+
mmlu_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 356/415 [44:55<07:40,  7.80s/it]
+
mmlu_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 357/415 [45:02<07:26,  7.71s/it]
+
mmlu_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 358/415 [45:11<07:24,  7.80s/it]
+
mmlu_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 359/415 [45:18<07:19,  7.85s/it]
+
mmlu_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 360/415 [45:27<07:18,  7.96s/it]
+
mmlu_de:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 361/415 [45:34<07:02,  7.82s/it]
+
mmlu_de:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 362/415 [45:42<07:01,  7.95s/it]
+
mmlu_de:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 363/415 [45:49<06:37,  7.65s/it]
+
mmlu_de:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 364/415 [45:57<06:36,  7.78s/it]
+
mmlu_de:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 365/415 [46:05<06:28,  7.77s/it]
+
mmlu_de:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 366/415 [46:12<06:11,  7.58s/it]
+
mmlu_de:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 367/415 [46:21<06:12,  7.76s/it]
+
mmlu_de:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 368/415 [46:28<06:07,  7.81s/it]
+
mmlu_de:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 369/415 [46:36<05:49,  7.59s/it]
+
mmlu_de:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 370/415 [46:43<05:39,  7.54s/it]
+
mmlu_de:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 371/415 [46:51<05:34,  7.60s/it]
+
mmlu_de:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 372/415 [46:58<05:23,  7.52s/it]
+
mmlu_de:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 373/415 [47:07<05:40,  8.10s/it]
+
mmlu_de:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 374/415 [47:15<05:25,  7.94s/it]
+
mmlu_de:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 375/415 [47:24<05:27,  8.19s/it]
+
mmlu_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████           | 376/415 [47:31<05:04,  7.81s/it]
+
mmlu_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 377/415 [47:39<04:56,  7.81s/it]
+
mmlu_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 378/415 [47:47<04:51,  7.89s/it]
+
mmlu_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 379/415 [47:54<04:42,  7.85s/it]
+
mmlu_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 380/415 [48:03<04:43,  8.11s/it]
+
mmlu_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 381/415 [48:11<04:30,  7.96s/it]
+
mmlu_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 382/415 [48:18<04:17,  7.79s/it]
+
mmlu_de:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 383/415 [48:25<04:04,  7.65s/it]
+
mmlu_de:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 384/415 [48:33<03:51,  7.48s/it]
+
mmlu_de:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 385/415 [48:40<03:46,  7.55s/it]
+
mmlu_de:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 386/415 [48:47<03:34,  7.41s/it]
+
mmlu_de:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 387/415 [48:55<03:26,  7.38s/it]
+
mmlu_de:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 388/415 [49:02<03:15,  7.25s/it]
+
mmlu_de:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 389/415 [49:10<03:18,  7.62s/it]
+
mmlu_de:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 390/415 [49:19<03:19,  7.97s/it]
+
mmlu_de:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 391/415 [49:26<03:07,  7.83s/it]
+
mmlu_de:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 392/415 [49:34<02:58,  7.75s/it]
+
mmlu_de:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 393/415 [49:41<02:47,  7.62s/it]
+
mmlu_de:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 394/415 [49:49<02:39,  7.59s/it]
+
mmlu_de:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 395/415 [49:57<02:34,  7.73s/it]
+
mmlu_de:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 396/415 [50:04<02:23,  7.55s/it]
+
mmlu_de:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 397/415 [50:12<02:18,  7.70s/it]
+
mmlu_de:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 398/415 [50:20<02:14,  7.93s/it]
+
mmlu_de:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 399/415 [50:28<02:02,  7.68s/it]
+
mmlu_de:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 400/415 [50:35<01:53,  7.59s/it]
+
mmlu_de:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 401/415 [50:43<01:49,  7.81s/it]
+
mmlu_de:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 402/415 [50:52<01:45,  8.12s/it]
+
mmlu_de:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 403/415 [50:59<01:33,  7.82s/it]
+
mmlu_de:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 404/415 [51:06<01:23,  7.63s/it]
+
mmlu_de:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 405/415 [51:14<01:15,  7.60s/it]
+
mmlu_de:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 406/415 [51:22<01:09,  7.67s/it]
+
mmlu_de:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 407/415 [51:29<01:00,  7.55s/it]
+
mmlu_de:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 408/415 [51:37<00:52,  7.53s/it]
+
mmlu_de:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 409/415 [51:44<00:45,  7.65s/it]
+
mmlu_de:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 410/415 [51:52<00:37,  7.56s/it]
+
mmlu_de:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 411/415 [52:00<00:31,  7.79s/it]
+
mmlu_de:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 412/415 [52:07<00:22,  7.56s/it]
+
mmlu_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 413/415 [52:15<00:15,  7.52s/it]
+
mmlu_de: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 414/415 [52:22<00:07,  7.40s/it]
+
mmlu_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 415/415 [52:27<00:00,  6.79s/it]
mmlu_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 415/415 [52:27<00:00,  7.58s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_de_acc 0.38210891537185093
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_de_acc_norm 0.3462060642630864
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 20:39:37,427 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 20:39:37,427 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:37,555 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 20:39:37,555 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:37,683 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 20:39:37,683 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:37,811 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 20:39:37,812 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 20:39:37,812 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 20:39:37,941 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 20:39:37,941 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_de_acc'}
+2024-05-30 20:39:38,006 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 20:39:38,006 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1211, 'value': 0.38210891537185093}
+2024-05-30 20:39:38,072 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 20:39:38,723 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 20:39:38,723 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:38,852 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 20:39:38,852 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:38,980 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 20:39:38,980 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 20:39:39,109 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 20:39:39,239 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 20:39:39,239 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'mmlu_de_acc_norm'}
+2024-05-30 20:39:39,304 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 20:39:39,304 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1212, 'value': 0.3462060642630864}
+2024-05-30 20:39:39,369 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  54%|██████████████████████████████████████████████████████████▎                                                 | 67/124 [37:52:08<59:07:04, 3733.76s/it]['mmlu_es']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 20:39:40,020 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 20:39:40,020 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:40,150 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 20:39:40,150 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:40,278 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 20:39:40,278 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 20:39:40,406 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_es'}
+2024-05-30 20:39:40,535 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_es task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1757 examples [00:00, 16521.74 examples/s]
+
Generating test split: 5097 examples [00:00, 26193.89 examples/s]
+
Generating test split: 8612 examples [00:00, 30223.62 examples/s]
+
Generating test split: 12000 examples [00:00, 31481.41 examples/s]
Generating test split: 13334 examples [00:00, 29482.17 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 272 examples [00:00, 27320.53 examples/s]
+Running loglikelihood requests
+
+
mmlu_es:   0%|                                                                                                                               | 0/417 [00:00<?, ?it/s]
+
mmlu_es:   0%|▎                                                                                                                      | 1/417 [00:06<46:09,  6.66s/it]
+
mmlu_es:   0%|▌                                                                                                                      | 2/417 [00:13<45:10,  6.53s/it]
+
mmlu_es:   1%|▊                                                                                                                      | 3/417 [00:19<44:49,  6.50s/it]
+
mmlu_es:   1%|█▏                                                                                                                     | 4/417 [00:25<44:28,  6.46s/it]
+
mmlu_es:   1%|█▍                                                                                                                     | 5/417 [00:31<42:24,  6.18s/it]
+
mmlu_es:   1%|█▋                                                                                                                     | 6/417 [00:38<42:46,  6.25s/it]
+
mmlu_es:   2%|█▉                                                                                                                     | 7/417 [00:44<43:59,  6.44s/it]
+
mmlu_es:   2%|██▎                                                                                                                    | 8/417 [00:50<43:09,  6.33s/it]
+
mmlu_es:   2%|██▌                                                                                                                    | 9/417 [00:57<42:48,  6.30s/it]
+
mmlu_es:   2%|██▊                                                                                                                   | 10/417 [01:03<42:12,  6.22s/it]
+
mmlu_es:   3%|███                                                                                                                   | 11/417 [01:09<42:01,  6.21s/it]
+
mmlu_es:   3%|███▍                                                                                                                  | 12/417 [01:15<41:06,  6.09s/it]
+
mmlu_es:   3%|███▋                                                                                                                  | 13/417 [01:21<41:29,  6.16s/it]
+
mmlu_es:   3%|███▉                                                                                                                  | 14/417 [01:28<43:26,  6.47s/it]
+
mmlu_es:   4%|████▏                                                                                                                 | 15/417 [01:35<43:57,  6.56s/it]
+
mmlu_es:   4%|████▌                                                                                                                 | 16/417 [01:42<43:49,  6.56s/it]
+
mmlu_es:   4%|████▊                                                                                                                 | 17/417 [01:47<40:32,  6.08s/it]
+
mmlu_es:   4%|█████                                                                                                                 | 18/417 [01:52<39:48,  5.99s/it]
+
mmlu_es:   5%|█████▍                                                                                                                | 19/417 [01:58<40:02,  6.04s/it]
+
mmlu_es:   5%|█████▋                                                                                                                | 20/417 [02:06<42:38,  6.44s/it]
+
mmlu_es:   5%|█████▉                                                                                                                | 21/417 [02:11<40:47,  6.18s/it]
+
mmlu_es:   5%|██████▏                                                                                                               | 22/417 [02:18<41:52,  6.36s/it]
+
mmlu_es:   6%|██████▌                                                                                                               | 23/417 [02:24<40:01,  6.09s/it]
+
mmlu_es:   6%|██████▊                                                                                                               | 24/417 [02:30<40:32,  6.19s/it]
+
mmlu_es:   6%|███████                                                                                                               | 25/417 [02:36<40:54,  6.26s/it]
+
mmlu_es:   6%|███████▎                                                                                                              | 26/417 [02:43<41:18,  6.34s/it]
+
mmlu_es:   6%|███████▋                                                                                                              | 27/417 [02:49<40:52,  6.29s/it]
+
mmlu_es:   7%|███████▉                                                                                                              | 28/417 [02:56<41:04,  6.34s/it]
+
mmlu_es:   7%|████████▏                                                                                                             | 29/417 [03:02<40:28,  6.26s/it]
+
mmlu_es:   7%|████████▍                                                                                                             | 30/417 [03:08<40:54,  6.34s/it]
+
mmlu_es:   7%|████████▊                                                                                                             | 31/417 [03:15<40:46,  6.34s/it]
+
mmlu_es:   8%|█████████                                                                                                             | 32/417 [03:21<40:00,  6.24s/it]
+
mmlu_es:   8%|█████████▎                                                                                                            | 33/417 [03:26<38:30,  6.02s/it]
+
mmlu_es:   8%|█████████▌                                                                                                            | 34/417 [03:33<39:50,  6.24s/it]
+
mmlu_es:   8%|█████████▉                                                                                                            | 35/417 [03:39<39:20,  6.18s/it]
+
mmlu_es:   9%|██████████▏                                                                                                           | 36/417 [03:45<39:27,  6.22s/it]
+
mmlu_es:   9%|██████████▍                                                                                                           | 37/417 [03:52<40:23,  6.38s/it]
+
mmlu_es:   9%|██████████▊                                                                                                           | 38/417 [03:58<38:55,  6.16s/it]
+
mmlu_es:   9%|███████████                                                                                                           | 39/417 [04:04<38:53,  6.17s/it]
+
mmlu_es:  10%|███████████▎                                                                                                          | 40/417 [04:11<40:11,  6.40s/it]
+
mmlu_es:  10%|███████████▌                                                                                                          | 41/417 [04:17<39:28,  6.30s/it]
+
mmlu_es:  10%|███████████▉                                                                                                          | 42/417 [04:23<39:28,  6.32s/it]
+
mmlu_es:  10%|████████████▏                                                                                                         | 43/417 [04:30<40:45,  6.54s/it]
+
mmlu_es:  11%|████████████▍                                                                                                         | 44/417 [04:37<41:18,  6.64s/it]
+
mmlu_es:  11%|████████████▋                                                                                                         | 45/417 [04:44<42:11,  6.81s/it]
+
mmlu_es:  11%|█████████████                                                                                                         | 46/417 [04:50<39:59,  6.47s/it]
+
mmlu_es:  11%|█████████████▎                                                                                                        | 47/417 [04:56<39:42,  6.44s/it]
+
mmlu_es:  12%|█████████████▌                                                                                                        | 48/417 [05:02<38:58,  6.34s/it]
+
mmlu_es:  12%|█████████████▊                                                                                                        | 49/417 [05:09<38:28,  6.27s/it]
+
mmlu_es:  12%|██████████████▏                                                                                                       | 50/417 [05:15<37:57,  6.21s/it]
+
mmlu_es:  12%|██████████████▍                                                                                                       | 51/417 [05:21<38:06,  6.25s/it]
+
mmlu_es:  12%|██████████████▋                                                                                                       | 52/417 [05:27<37:06,  6.10s/it]
+
mmlu_es:  13%|██████████████▉                                                                                                       | 53/417 [05:33<37:12,  6.13s/it]
+
mmlu_es:  13%|███████████████▎                                                                                                      | 54/417 [05:40<38:38,  6.39s/it]
+
mmlu_es:  13%|███████████████▌                                                                                                      | 55/417 [05:46<37:41,  6.25s/it]
+
mmlu_es:  13%|███████████████▊                                                                                                      | 56/417 [05:52<38:01,  6.32s/it]
+
mmlu_es:  14%|████████████████▏                                                                                                     | 57/417 [05:58<36:54,  6.15s/it]
+
mmlu_es:  14%|████████████████▍                                                                                                     | 58/417 [06:04<36:55,  6.17s/it]
+
mmlu_es:  14%|████████████████▋                                                                                                     | 59/417 [06:10<36:50,  6.17s/it]
+
mmlu_es:  14%|████████████████▉                                                                                                     | 60/417 [06:16<35:56,  6.04s/it]
+
mmlu_es:  15%|█████████████████▎                                                                                                    | 61/417 [06:23<37:16,  6.28s/it]
+
mmlu_es:  15%|█████████████████▌                                                                                                    | 62/417 [06:29<37:14,  6.30s/it]
+
mmlu_es:  15%|█████████████████▊                                                                                                    | 63/417 [06:36<38:22,  6.50s/it]
+
mmlu_es:  15%|██████████████████                                                                                                    | 64/417 [06:43<39:15,  6.67s/it]
+
mmlu_es:  16%|██████████████████▍                                                                                                   | 65/417 [06:50<38:11,  6.51s/it]
+
mmlu_es:  16%|██████████████████▋                                                                                                   | 66/417 [06:56<37:54,  6.48s/it]
+
mmlu_es:  16%|██████████████████▉                                                                                                   | 67/417 [07:02<36:19,  6.23s/it]
+
mmlu_es:  16%|███████████████████▏                                                                                                  | 68/417 [07:09<37:45,  6.49s/it]
+
mmlu_es:  17%|███████████████████▌                                                                                                  | 69/417 [07:15<38:01,  6.56s/it]
+
mmlu_es:  17%|███████████████████▊                                                                                                  | 70/417 [07:21<37:02,  6.41s/it]
+
mmlu_es:  17%|████████████████████                                                                                                  | 71/417 [07:28<36:38,  6.35s/it]
+
mmlu_es:  17%|████████████████████▎                                                                                                 | 72/417 [07:35<37:41,  6.56s/it]
+
mmlu_es:  18%|████████████████████▋                                                                                                 | 73/417 [07:41<36:29,  6.36s/it]
+
mmlu_es:  18%|████████████████████▉                                                                                                 | 74/417 [07:48<37:37,  6.58s/it]
+
mmlu_es:  18%|█████████████████████▏                                                                                                | 75/417 [07:54<37:03,  6.50s/it]
+
mmlu_es:  18%|█████████████████████▌                                                                                                | 76/417 [08:01<37:33,  6.61s/it]
+
mmlu_es:  18%|█████████████████████▊                                                                                                | 77/417 [08:08<37:41,  6.65s/it]
+
mmlu_es:  19%|██████████████████████                                                                                                | 78/417 [08:14<37:16,  6.60s/it]
+
mmlu_es:  19%|██████████████████████▎                                                                                               | 79/417 [08:20<36:36,  6.50s/it]
+
mmlu_es:  19%|██████████████████████▋                                                                                               | 80/417 [08:27<35:57,  6.40s/it]
+
mmlu_es:  19%|██████████████████████▉                                                                                               | 81/417 [08:33<35:11,  6.28s/it]
+
mmlu_es:  20%|███████████████████████▏                                                                                              | 82/417 [08:39<35:52,  6.43s/it]
+
mmlu_es:  20%|███████████████████████▍                                                                                              | 83/417 [08:46<35:33,  6.39s/it]
+
mmlu_es:  20%|███████████████████████▊                                                                                              | 84/417 [08:51<34:28,  6.21s/it]
+
mmlu_es:  20%|████████████████████████                                                                                              | 85/417 [08:57<33:44,  6.10s/it]
+
mmlu_es:  21%|████████████████████████▎                                                                                             | 86/417 [09:04<34:33,  6.26s/it]
+
mmlu_es:  21%|████████████████████████▌                                                                                             | 87/417 [09:11<35:03,  6.38s/it]
+
mmlu_es:  21%|████████████████████████▉                                                                                             | 88/417 [09:17<35:16,  6.43s/it]
+
mmlu_es:  21%|█████████████████████████▏                                                                                            | 89/417 [09:23<35:04,  6.42s/it]
+
mmlu_es:  22%|█████████████████████████▍                                                                                            | 90/417 [09:30<34:29,  6.33s/it]
+
mmlu_es:  22%|█████████████████████████▊                                                                                            | 91/417 [09:36<34:01,  6.26s/it]
+
mmlu_es:  22%|██████████████████████████                                                                                            | 92/417 [09:43<34:50,  6.43s/it]
+
mmlu_es:  22%|██████████████████████████▎                                                                                           | 93/417 [09:50<35:42,  6.61s/it]
+
mmlu_es:  23%|██████████████████████████▌                                                                                           | 94/417 [09:56<35:13,  6.54s/it]
+
mmlu_es:  23%|██████████████████████████▉                                                                                           | 95/417 [10:03<35:19,  6.58s/it]
+
mmlu_es:  23%|███████████████████████████▏                                                                                          | 96/417 [10:09<34:39,  6.48s/it]
+
mmlu_es:  23%|███████████████████████████▍                                                                                          | 97/417 [10:15<34:38,  6.50s/it]
+
mmlu_es:  24%|███████████████████████████▋                                                                                          | 98/417 [10:22<35:07,  6.61s/it]
+
mmlu_es:  24%|████████████████████████████                                                                                          | 99/417 [10:29<35:34,  6.71s/it]
+
mmlu_es:  24%|████████████████████████████                                                                                         | 100/417 [10:35<34:13,  6.48s/it]
+
mmlu_es:  24%|████████████████████████████▎                                                                                        | 101/417 [10:42<35:04,  6.66s/it]
+
mmlu_es:  24%|████████████████████████████▌                                                                                        | 102/417 [10:48<34:08,  6.50s/it]
+
mmlu_es:  25%|████████████████████████████▉                                                                                        | 103/417 [10:55<34:07,  6.52s/it]
+
mmlu_es:  25%|█████████████████████████████▏                                                                                       | 104/417 [11:01<33:21,  6.39s/it]
+
mmlu_es:  25%|█████████████████████████████▍                                                                                       | 105/417 [11:07<33:03,  6.36s/it]
+
mmlu_es:  25%|█████████████████████████████▋                                                                                       | 106/417 [11:14<33:19,  6.43s/it]
+
mmlu_es:  26%|██████████████████████████████                                                                                       | 107/417 [11:21<34:08,  6.61s/it]
+
mmlu_es:  26%|██████████████████████████████▎                                                                                      | 108/417 [11:27<33:08,  6.43s/it]
+
mmlu_es:  26%|██████████████████████████████▌                                                                                      | 109/417 [11:34<33:27,  6.52s/it]
+
mmlu_es:  26%|██████████████████████████████▊                                                                                      | 110/417 [11:40<33:25,  6.53s/it]
+
mmlu_es:  27%|███████████████████████████████▏                                                                                     | 111/417 [11:46<32:45,  6.42s/it]
+
mmlu_es:  27%|███████████████████████████████▍                                                                                     | 112/417 [11:53<32:35,  6.41s/it]
+
mmlu_es:  27%|███████████████████████████████▋                                                                                     | 113/417 [12:00<33:53,  6.69s/it]
+
mmlu_es:  27%|███████████████████████████████▉                                                                                     | 114/417 [12:07<33:33,  6.64s/it]
+
mmlu_es:  28%|████████████████████████████████▎                                                                                    | 115/417 [12:13<32:57,  6.55s/it]
+
mmlu_es:  28%|████████████████████████████████▌                                                                                    | 116/417 [12:19<32:14,  6.43s/it]
+
mmlu_es:  28%|████████████████████████████████▊                                                                                    | 117/417 [12:25<31:18,  6.26s/it]
+
mmlu_es:  28%|█████████████████████████████████                                                                                    | 118/417 [12:32<32:32,  6.53s/it]
+
mmlu_es:  29%|█████████████████████████████████▍                                                                                   | 119/417 [12:39<32:42,  6.58s/it]
+
mmlu_es:  29%|█████████████████████████████████▋                                                                                   | 120/417 [12:45<32:35,  6.58s/it]
+
mmlu_es:  29%|█████████████████████████████████▉                                                                                   | 121/417 [12:52<32:15,  6.54s/it]
+
mmlu_es:  29%|██████████████████████████████████▏                                                                                  | 122/417 [12:58<31:59,  6.51s/it]
+
mmlu_es:  29%|██████████████████████████████████▌                                                                                  | 123/417 [13:04<31:17,  6.38s/it]
+
mmlu_es:  30%|██████████████████████████████████▊                                                                                  | 124/417 [13:11<31:02,  6.36s/it]
+
mmlu_es:  30%|███████████████████████████████████                                                                                  | 125/417 [13:17<30:49,  6.34s/it]
+
mmlu_es:  30%|███████████████████████████████████▎                                                                                 | 126/417 [13:24<31:06,  6.42s/it]
+
mmlu_es:  30%|███████████████████████████████████▋                                                                                 | 127/417 [13:30<31:15,  6.47s/it]
+
mmlu_es:  31%|███████████████████████████████████▉                                                                                 | 128/417 [13:37<32:12,  6.69s/it]
+
mmlu_es:  31%|████████████████████████████████████▏                                                                                | 129/417 [13:44<31:36,  6.58s/it]
+
mmlu_es:  31%|████████████████████████████████████▍                                                                                | 130/417 [13:51<31:52,  6.66s/it]
+
mmlu_es:  31%|████████████████████████████████████▊                                                                                | 131/417 [13:57<31:39,  6.64s/it]
+
mmlu_es:  32%|█████████████████████████████████████                                                                                | 132/417 [14:03<30:45,  6.48s/it]
+
mmlu_es:  32%|█████████████████████████████████████▎                                                                               | 133/417 [14:10<30:26,  6.43s/it]
+
mmlu_es:  32%|█████████████████████████████████████▌                                                                               | 134/417 [14:16<30:30,  6.47s/it]
+
mmlu_es:  32%|█████████████████████████████████████▉                                                                               | 135/417 [14:23<30:32,  6.50s/it]
+
mmlu_es:  33%|██████████████████████████████████████▏                                                                              | 136/417 [14:29<30:30,  6.51s/it]
+
mmlu_es:  33%|██████████████████████████████████████▍                                                                              | 137/417 [14:36<30:09,  6.46s/it]
+
mmlu_es:  33%|██████████████████████████████████████▋                                                                              | 138/417 [14:42<29:42,  6.39s/it]
+
mmlu_es:  33%|███████████████████████████████████████                                                                              | 139/417 [14:48<29:28,  6.36s/it]
+
mmlu_es:  34%|███████████████████████████████████████▎                                                                             | 140/417 [14:54<28:57,  6.27s/it]
+
mmlu_es:  34%|███████████████████████████████████████▌                                                                             | 141/417 [15:01<29:49,  6.49s/it]
+
mmlu_es:  34%|███████████████████████████████████████▊                                                                             | 142/417 [15:07<29:21,  6.41s/it]
+
mmlu_es:  34%|████████████████████████████████████████                                                                             | 143/417 [15:14<29:14,  6.40s/it]
+
mmlu_es:  35%|████████████████████████████████████████▍                                                                            | 144/417 [15:20<29:21,  6.45s/it]
+
mmlu_es:  35%|████████████████████████████████████████▋                                                                            | 145/417 [15:26<28:31,  6.29s/it]
+
mmlu_es:  35%|████████████████████████████████████████▉                                                                            | 146/417 [15:32<27:34,  6.10s/it]
+
mmlu_es:  35%|█████████████████████████████████████████▏                                                                           | 147/417 [15:38<27:53,  6.20s/it]
+
mmlu_es:  35%|█████████████████████████████████████████▌                                                                           | 148/417 [15:46<29:06,  6.49s/it]
+
mmlu_es:  36%|█████████████████████████████████████████▊                                                                           | 149/417 [15:52<28:36,  6.41s/it]
+
mmlu_es:  36%|██████████████████████████████████████████                                                                           | 150/417 [15:59<29:08,  6.55s/it]
+
mmlu_es:  36%|██████████████████████████████████████████▎                                                                          | 151/417 [16:05<29:05,  6.56s/it]
+
mmlu_es:  36%|██████████████████████████████████████████▋                                                                          | 152/417 [16:12<29:49,  6.75s/it]
+
mmlu_es:  37%|██████████████████████████████████████████▉                                                                          | 153/417 [16:19<29:34,  6.72s/it]
+
mmlu_es:  37%|███████████████████████████████████████████▏                                                                         | 154/417 [16:25<27:56,  6.37s/it]
+
mmlu_es:  37%|███████████████████████████████████████████▍                                                                         | 155/417 [16:31<27:27,  6.29s/it]
+
mmlu_es:  37%|███████████████████████████████████████████▊                                                                         | 156/417 [16:37<27:10,  6.25s/it]
+
mmlu_es:  38%|████████████████████████████████████████████                                                                         | 157/417 [16:44<28:34,  6.59s/it]
+
mmlu_es:  38%|████████████████████████████████████████████▎                                                                        | 158/417 [16:51<28:09,  6.52s/it]
+
mmlu_es:  38%|████████████████████████████████████████████▌                                                                        | 159/417 [16:58<28:54,  6.72s/it]
+
mmlu_es:  38%|████████████████████████████████████████████▉                                                                        | 160/417 [17:04<27:49,  6.50s/it]
+
mmlu_es:  39%|█████████████████████████████████████████████▏                                                                       | 161/417 [17:11<28:08,  6.60s/it]
+
mmlu_es:  39%|█████████████████████████████████████████████▍                                                                       | 162/417 [17:17<28:04,  6.61s/it]
+
mmlu_es:  39%|█████████████████████████████████████████████▋                                                                       | 163/417 [17:24<27:42,  6.54s/it]
+
mmlu_es:  39%|██████████████████████████████████████████████                                                                       | 164/417 [17:30<27:35,  6.55s/it]
+
mmlu_es:  40%|██████████████████████████████████████████████▎                                                                      | 165/417 [17:36<27:03,  6.44s/it]
+
mmlu_es:  40%|██████████████████████████████████████████████▌                                                                      | 166/417 [17:43<27:04,  6.47s/it]
+
mmlu_es:  40%|██████████████████████████████████████████████▊                                                                      | 167/417 [17:50<27:14,  6.54s/it]
+
mmlu_es:  40%|███████████████████████████████████████████████▏                                                                     | 168/417 [17:56<27:12,  6.56s/it]
+
mmlu_es:  41%|███████████████████████████████████████████████▍                                                                     | 169/417 [18:03<26:57,  6.52s/it]
+
mmlu_es:  41%|███████████████████████████████████████████████▋                                                                     | 170/417 [18:09<26:54,  6.54s/it]
+
mmlu_es:  41%|███████████████████████████████████████████████▉                                                                     | 171/417 [18:15<25:43,  6.27s/it]
+
mmlu_es:  41%|████████████████████████████████████████████████▎                                                                    | 172/417 [18:21<26:00,  6.37s/it]
+
mmlu_es:  41%|████████████████████████████████████████████████▌                                                                    | 173/417 [18:27<25:05,  6.17s/it]
+
mmlu_es:  42%|████████████████████████████████████████████████▊                                                                    | 174/417 [18:33<24:38,  6.08s/it]
+
mmlu_es:  42%|█████████████████████████████████████████████████                                                                    | 175/417 [18:39<24:51,  6.16s/it]
+
mmlu_es:  42%|█████████████████████████████████████████████████▍                                                                   | 176/417 [18:46<24:57,  6.21s/it]
+
mmlu_es:  42%|█████████████████████████████████████████████████▋                                                                   | 177/417 [18:52<25:10,  6.29s/it]
+
mmlu_es:  43%|█████████████████████████████████████████████████▉                                                                   | 178/417 [18:58<24:58,  6.27s/it]
+
mmlu_es:  43%|██████████████████████████████████████████████████▏                                                                  | 179/417 [19:05<25:01,  6.31s/it]
+
mmlu_es:  43%|██████████████████████████████████████████████████▌                                                                  | 180/417 [19:12<25:21,  6.42s/it]
+
mmlu_es:  43%|██████████████████████████████████████████████████▊                                                                  | 181/417 [19:18<25:32,  6.49s/it]
+
mmlu_es:  44%|███████████████████████████████████████████████████                                                                  | 182/417 [19:24<24:33,  6.27s/it]
+
mmlu_es:  44%|███████████████████████████████████████████████████▎                                                                 | 183/417 [19:29<23:36,  6.06s/it]
+
mmlu_es:  44%|███████████████████████████████████████████████████▋                                                                 | 184/417 [19:36<23:56,  6.17s/it]
+
mmlu_es:  44%|███████████████████████████████████████████████████▉                                                                 | 185/417 [19:42<23:53,  6.18s/it]
+
mmlu_es:  45%|████████████████████████████████████████████████████▏                                                                | 186/417 [19:48<23:35,  6.13s/it]
+
mmlu_es:  45%|████████████████████████████████████████████████████▍                                                                | 187/417 [19:55<24:13,  6.32s/it]
+
mmlu_es:  45%|████████████████████████████████████████████████████▋                                                                | 188/417 [20:01<24:13,  6.35s/it]
+
mmlu_es:  45%|█████████████████████████████████████████████████████                                                                | 189/417 [20:08<24:54,  6.55s/it]
+
mmlu_es:  46%|█████████████████████████████████████████████████████▎                                                               | 190/417 [20:15<24:44,  6.54s/it]
+
mmlu_es:  46%|█████████████████████████████████████████████████████▌                                                               | 191/417 [20:21<24:32,  6.52s/it]
+
mmlu_es:  46%|█████████████████████████████████████████████████████▊                                                               | 192/417 [20:27<23:59,  6.40s/it]
+
mmlu_es:  46%|██████████████████████████████████████████████████████▏                                                              | 193/417 [20:33<23:18,  6.25s/it]
+
mmlu_es:  47%|██████████████████████████████████████████████████████▍                                                              | 194/417 [20:39<22:52,  6.15s/it]
+
mmlu_es:  47%|██████████████████████████████████████████████████████▋                                                              | 195/417 [20:46<23:24,  6.33s/it]
+
mmlu_es:  47%|██████████████████████████████████████████████████████▉                                                              | 196/417 [20:52<23:27,  6.37s/it]
+
mmlu_es:  47%|███████████████████████████████████████████████████████▎                                                             | 197/417 [20:58<22:42,  6.19s/it]
+
mmlu_es:  47%|███████████████████████████████████████████████████████▌                                                             | 198/417 [21:04<22:31,  6.17s/it]
+
mmlu_es:  48%|███████████████████████████████████████████████████████▊                                                             | 199/417 [21:11<22:49,  6.28s/it]
+
mmlu_es:  48%|████████████████████████████████████████████████████████                                                             | 200/417 [21:17<22:13,  6.15s/it]
+
mmlu_es:  48%|████████████████████████████████████████████████████████▍                                                            | 201/417 [21:23<22:10,  6.16s/it]
+
mmlu_es:  48%|████████████████████████████████████████████████████████▋                                                            | 202/417 [21:30<22:48,  6.36s/it]
+
mmlu_es:  49%|████████████████████████████████████████████████████████▉                                                            | 203/417 [21:36<22:48,  6.39s/it]
+
mmlu_es:  49%|█████████████████████████████████████████████████████████▏                                                           | 204/417 [21:43<23:01,  6.49s/it]
+
mmlu_es:  49%|█████████████████████████████████████████████████████████▌                                                           | 205/417 [21:49<22:57,  6.50s/it]
+
mmlu_es:  49%|█████████████████████████████████████████████████████████▊                                                           | 206/417 [21:56<23:11,  6.59s/it]
+
mmlu_es:  50%|██████████████████████████████████████████████████████████                                                           | 207/417 [22:03<22:43,  6.49s/it]
+
mmlu_es:  50%|██████████████████████████████████████████████████████████▎                                                          | 208/417 [22:09<22:19,  6.41s/it]
+
mmlu_es:  50%|██████████████████████████████████████████████████████████▋                                                          | 209/417 [22:15<22:09,  6.39s/it]
+
mmlu_es:  50%|██████████████████████████████████████████████████████████▉                                                          | 210/417 [22:21<21:58,  6.37s/it]
+
mmlu_es:  51%|███████████████████████████████████████████████████████████▏                                                         | 211/417 [22:27<21:27,  6.25s/it]
+
mmlu_es:  51%|███████████████████████████████████████████████████████████▍                                                         | 212/417 [22:34<21:17,  6.23s/it]
+
mmlu_es:  51%|███████████████████████████████████████████████████████████▊                                                         | 213/417 [22:40<21:08,  6.22s/it]
+
mmlu_es:  51%|████████████████████████████████████████████████████████████                                                         | 214/417 [22:46<21:09,  6.25s/it]
+
mmlu_es:  52%|████████████████████████████████████████████████████████████▎                                                        | 215/417 [22:52<20:36,  6.12s/it]
+
mmlu_es:  52%|████████████████████████████████████████████████████████████▌                                                        | 216/417 [22:58<20:38,  6.16s/it]
+
mmlu_es:  52%|████████████████████████████████████████████████████████████▉                                                        | 217/417 [23:05<20:47,  6.24s/it]
+
mmlu_es:  52%|█████████████████████████████████████████████████████████████▏                                                       | 218/417 [23:10<19:57,  6.02s/it]
+
mmlu_es:  53%|█████████████████████████████████████████████████████████████▍                                                       | 219/417 [23:17<21:05,  6.39s/it]
+
mmlu_es:  53%|█████████████████████████████████████████████████████████████▋                                                       | 220/417 [23:24<20:49,  6.34s/it]
+
mmlu_es:  53%|██████████████████████████████████████████████████████████████                                                       | 221/417 [23:29<19:58,  6.12s/it]
+
mmlu_es:  53%|██████████████████████████████████████████████████████████████▎                                                      | 222/417 [23:36<20:34,  6.33s/it]
+
mmlu_es:  53%|██████████████████████████████████████████████████████████████▌                                                      | 223/417 [23:42<20:16,  6.27s/it]
+
mmlu_es:  54%|██████████████████████████████████████████████████████████████▊                                                      | 224/417 [23:48<20:09,  6.27s/it]
+
mmlu_es:  54%|███████████████████████████████████████████████████████████████▏                                                     | 225/417 [23:55<20:24,  6.38s/it]
+
mmlu_es:  54%|███████████████████████████████████████████████████████████████▍                                                     | 226/417 [24:01<20:04,  6.31s/it]
+
mmlu_es:  54%|███████████████████████████████████████████████████████████████▋                                                     | 227/417 [24:07<19:39,  6.21s/it]
+
mmlu_es:  55%|███████████████████████████████████████████████████████████████▉                                                     | 228/417 [24:13<19:13,  6.10s/it]
+
mmlu_es:  55%|████████████████████████████████████████████████████████████████▎                                                    | 229/417 [24:19<19:10,  6.12s/it]
+
mmlu_es:  55%|████████████████████████████████████████████████████████████████▌                                                    | 230/417 [24:25<19:14,  6.17s/it]
+
mmlu_es:  55%|████████████████████████████████████████████████████████████████▊                                                    | 231/417 [24:32<19:24,  6.26s/it]
+
mmlu_es:  56%|█████████████████████████████████████████████████████████████████                                                    | 232/417 [24:38<19:22,  6.29s/it]
+
mmlu_es:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 233/417 [24:45<19:48,  6.46s/it]
+
mmlu_es:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 234/417 [24:51<19:13,  6.31s/it]
+
mmlu_es:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 235/417 [24:57<19:06,  6.30s/it]
+
mmlu_es:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 236/417 [25:04<18:52,  6.26s/it]
+
mmlu_es:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 237/417 [25:10<18:58,  6.33s/it]
+
mmlu_es:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 238/417 [25:17<19:46,  6.63s/it]
+
mmlu_es:  57%|███████████████████████████████████████████████████████████████████                                                  | 239/417 [25:24<19:35,  6.60s/it]
+
mmlu_es:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 240/417 [25:30<18:36,  6.31s/it]
+
mmlu_es:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 241/417 [25:36<18:50,  6.42s/it]
+
mmlu_es:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 242/417 [25:43<18:52,  6.47s/it]
+
mmlu_es:  58%|████████████████████████████████████████████████████████████████████▏                                                | 243/417 [25:50<19:28,  6.72s/it]
+
mmlu_es:  59%|████████████████████████████████████████████████████████████████████▍                                                | 244/417 [25:56<18:57,  6.58s/it]
+
mmlu_es:  59%|████████████████████████████████████████████████████████████████████▋                                                | 245/417 [26:03<19:18,  6.74s/it]
+
mmlu_es:  59%|█████████████████████████████████████████████████████████████████████                                                | 246/417 [26:10<18:55,  6.64s/it]
+
mmlu_es:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 247/417 [26:16<18:36,  6.57s/it]
+
mmlu_es:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 248/417 [26:24<19:24,  6.89s/it]
+
mmlu_es:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 249/417 [26:30<18:46,  6.70s/it]
+
mmlu_es:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 250/417 [26:37<18:22,  6.60s/it]
+
mmlu_es:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 251/417 [26:43<18:02,  6.52s/it]
+
mmlu_es:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 252/417 [26:49<17:33,  6.39s/it]
+
mmlu_es:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 253/417 [26:56<17:43,  6.48s/it]
+
mmlu_es:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 254/417 [27:02<17:28,  6.44s/it]
+
mmlu_es:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 255/417 [27:09<17:55,  6.64s/it]
+
mmlu_es:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 256/417 [27:15<17:29,  6.52s/it]
+
mmlu_es:  62%|████████████████████████████████████████████████████████████████████████                                             | 257/417 [27:22<17:22,  6.52s/it]
+
mmlu_es:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 258/417 [27:28<17:18,  6.53s/it]
+
mmlu_es:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 259/417 [27:35<17:25,  6.61s/it]
+
mmlu_es:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 260/417 [27:42<17:23,  6.64s/it]
+
mmlu_es:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 261/417 [27:49<17:28,  6.72s/it]
+
mmlu_es:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 262/417 [27:55<17:11,  6.66s/it]
+
mmlu_es:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 263/417 [28:01<16:20,  6.37s/it]
+
mmlu_es:  63%|██████████████████████████████████████████████████████████████████████████                                           | 264/417 [28:07<16:02,  6.29s/it]
+
mmlu_es:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 265/417 [28:14<16:05,  6.36s/it]
+
mmlu_es:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 266/417 [28:19<15:17,  6.08s/it]
+
mmlu_es:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 267/417 [28:26<15:29,  6.19s/it]
+
mmlu_es:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 268/417 [28:32<15:51,  6.39s/it]
+
mmlu_es:  65%|███████████████████████████████████████████████████████████████████████████▍                                         | 269/417 [28:39<15:53,  6.44s/it]
+
mmlu_es:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 270/417 [28:46<15:53,  6.48s/it]
+
mmlu_es:  65%|████████████████████████████████████████████████████████████████████████████                                         | 271/417 [28:52<15:44,  6.47s/it]
+
mmlu_es:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 272/417 [28:57<14:54,  6.17s/it]
+
mmlu_es:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 273/417 [29:04<14:59,  6.25s/it]
+
mmlu_es:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 274/417 [29:10<14:54,  6.26s/it]
+
mmlu_es:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 275/417 [29:17<15:15,  6.45s/it]
+
mmlu_es:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 276/417 [29:24<15:47,  6.72s/it]
+
mmlu_es:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 277/417 [29:32<16:17,  6.98s/it]
+
mmlu_es:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 278/417 [29:39<15:58,  6.90s/it]
+
mmlu_es:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 279/417 [29:45<15:17,  6.65s/it]
+
mmlu_es:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 280/417 [29:51<14:46,  6.47s/it]
+
mmlu_es:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 281/417 [29:57<14:20,  6.33s/it]
+
mmlu_es:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 282/417 [30:03<14:13,  6.32s/it]
+
mmlu_es:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 283/417 [30:09<14:00,  6.27s/it]
+
mmlu_es:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 284/417 [30:16<13:59,  6.31s/it]
+
mmlu_es:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 285/417 [30:22<14:01,  6.38s/it]
+
mmlu_es:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 286/417 [30:28<13:47,  6.32s/it]
+
mmlu_es:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 287/417 [30:35<13:36,  6.28s/it]
+
mmlu_es:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 288/417 [30:41<13:34,  6.31s/it]
+
mmlu_es:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 289/417 [30:47<13:13,  6.20s/it]
+
mmlu_es:  70%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 290/417 [30:53<13:22,  6.32s/it]
+
mmlu_es:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 291/417 [30:59<13:04,  6.23s/it]
+
mmlu_es:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 292/417 [31:06<13:12,  6.34s/it]
+
mmlu_es:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 293/417 [31:12<12:50,  6.22s/it]
+
mmlu_es:  71%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 294/417 [31:19<13:00,  6.35s/it]
+
mmlu_es:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 295/417 [31:25<12:53,  6.34s/it]
+
mmlu_es:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 296/417 [31:31<12:47,  6.34s/it]
+
mmlu_es:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 297/417 [31:38<12:47,  6.39s/it]
+
mmlu_es:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 298/417 [31:44<12:27,  6.29s/it]
+
mmlu_es:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 299/417 [31:50<12:24,  6.31s/it]
+
mmlu_es:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 300/417 [31:56<12:11,  6.25s/it]
+
mmlu_es:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 301/417 [32:03<12:07,  6.27s/it]
+
mmlu_es:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 302/417 [32:10<12:37,  6.59s/it]
+
mmlu_es:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 303/417 [32:16<12:22,  6.51s/it]
+
mmlu_es:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 304/417 [32:22<12:00,  6.38s/it]
+
mmlu_es:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 305/417 [32:28<11:30,  6.17s/it]
+
mmlu_es:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 306/417 [32:35<11:39,  6.30s/it]
+
mmlu_es:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 307/417 [32:40<11:06,  6.05s/it]
+
mmlu_es:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 308/417 [32:47<11:20,  6.24s/it]
+
mmlu_es:  74%|██████████████████████████████████████████████████████████████████████████████████████▋                              | 309/417 [32:54<11:41,  6.50s/it]
+
mmlu_es:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 310/417 [33:01<11:39,  6.54s/it]
+
mmlu_es:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 311/417 [33:07<11:27,  6.48s/it]
+
mmlu_es:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 312/417 [33:13<11:15,  6.43s/it]
+
mmlu_es:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 313/417 [33:20<11:30,  6.64s/it]
+
mmlu_es:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 314/417 [33:28<11:45,  6.85s/it]
+
mmlu_es:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 315/417 [33:35<11:45,  6.92s/it]
+
mmlu_es:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 316/417 [33:42<11:41,  6.94s/it]
+
mmlu_es:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 317/417 [33:48<11:21,  6.81s/it]
+
mmlu_es:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 318/417 [33:55<11:00,  6.67s/it]
+
mmlu_es:  76%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 319/417 [34:01<10:57,  6.71s/it]
+
mmlu_es:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 320/417 [34:07<10:23,  6.43s/it]
+
mmlu_es:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 321/417 [34:13<10:03,  6.29s/it]
+
mmlu_es:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 322/417 [34:19<09:46,  6.17s/it]
+
mmlu_es:  77%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 323/417 [34:26<09:55,  6.33s/it]
+
mmlu_es:  78%|██████████████████████████████████████████████████████████████████████████████████████████▉                          | 324/417 [34:33<10:00,  6.46s/it]
+
mmlu_es:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 325/417 [34:38<09:27,  6.17s/it]
+
mmlu_es:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 326/417 [34:44<09:04,  5.98s/it]
+
mmlu_es:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 327/417 [34:50<09:03,  6.03s/it]
+
mmlu_es:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 328/417 [34:57<09:16,  6.26s/it]
+
mmlu_es:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 329/417 [35:02<08:59,  6.13s/it]
+
mmlu_es:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 330/417 [35:09<09:12,  6.35s/it]
+
mmlu_es:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 331/417 [35:15<08:50,  6.17s/it]
+
mmlu_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 332/417 [35:20<08:25,  5.95s/it]
+
mmlu_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 333/417 [35:28<08:51,  6.33s/it]
+
mmlu_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 334/417 [35:34<08:48,  6.36s/it]
+
mmlu_es:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 335/417 [35:41<08:49,  6.46s/it]
+
mmlu_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 336/417 [35:47<08:38,  6.41s/it]
+
mmlu_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 337/417 [35:54<08:35,  6.45s/it]
+
mmlu_es:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 338/417 [36:00<08:33,  6.50s/it]
+
mmlu_es:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 339/417 [36:06<08:14,  6.34s/it]
+
mmlu_es:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 340/417 [36:13<08:13,  6.41s/it]
+
mmlu_es:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 341/417 [36:19<08:02,  6.35s/it]
+
mmlu_es:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 342/417 [36:25<07:57,  6.36s/it]
+
mmlu_es:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 343/417 [36:32<07:57,  6.45s/it]
+
mmlu_es:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 344/417 [36:39<07:56,  6.52s/it]
+
mmlu_es:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 345/417 [36:46<08:00,  6.68s/it]
+
mmlu_es:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 346/417 [36:53<08:00,  6.77s/it]
+
mmlu_es:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 347/417 [36:58<07:33,  6.48s/it]
+
mmlu_es:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 348/417 [37:05<07:23,  6.43s/it]
+
mmlu_es:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 349/417 [37:11<07:04,  6.24s/it]
+
mmlu_es:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 350/417 [37:18<07:11,  6.44s/it]
+
mmlu_es:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 351/417 [37:25<07:24,  6.73s/it]
+
mmlu_es:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 352/417 [37:31<07:06,  6.57s/it]
+
mmlu_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 353/417 [37:38<07:15,  6.81s/it]
+
mmlu_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 354/417 [37:45<07:09,  6.81s/it]
+
mmlu_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 355/417 [37:52<06:55,  6.70s/it]
+
mmlu_es:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 356/417 [37:58<06:42,  6.59s/it]
+
mmlu_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 357/417 [38:05<06:32,  6.55s/it]
+
mmlu_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 358/417 [38:11<06:27,  6.57s/it]
+
mmlu_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 359/417 [38:17<06:05,  6.31s/it]
+
mmlu_es:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 360/417 [38:23<05:56,  6.25s/it]
+
mmlu_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 361/417 [38:29<05:50,  6.25s/it]
+
mmlu_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 362/417 [38:36<05:50,  6.38s/it]
+
mmlu_es:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 363/417 [38:43<05:50,  6.50s/it]
+
mmlu_es:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 364/417 [38:49<05:39,  6.40s/it]
+
mmlu_es:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 365/417 [38:56<05:38,  6.51s/it]
+
mmlu_es:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 366/417 [39:02<05:23,  6.35s/it]
+
mmlu_es:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 367/417 [39:08<05:11,  6.24s/it]
+
mmlu_es:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 368/417 [39:14<05:11,  6.36s/it]
+
mmlu_es:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 369/417 [39:21<05:05,  6.36s/it]
+
mmlu_es:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 370/417 [39:27<04:56,  6.30s/it]
+
mmlu_es:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 371/417 [39:33<04:44,  6.19s/it]
+
mmlu_es:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 372/417 [39:39<04:42,  6.27s/it]
+
mmlu_es:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 373/417 [39:47<05:01,  6.84s/it]
+
mmlu_es:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 374/417 [39:53<04:41,  6.56s/it]
+
mmlu_es:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 375/417 [40:00<04:42,  6.72s/it]
+
mmlu_es:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 376/417 [40:07<04:34,  6.69s/it]
+
mmlu_es:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 377/417 [40:13<04:15,  6.38s/it]
+
mmlu_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████           | 378/417 [40:19<04:07,  6.35s/it]
+
mmlu_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 379/417 [40:25<04:00,  6.34s/it]
+
mmlu_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 380/417 [40:32<03:55,  6.35s/it]
+
mmlu_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 381/417 [40:38<03:50,  6.39s/it]
+
mmlu_es:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 382/417 [40:45<03:53,  6.66s/it]
+
mmlu_es:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 383/417 [40:51<03:36,  6.36s/it]
+
mmlu_es:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 384/417 [40:57<03:28,  6.31s/it]
+
mmlu_es:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 385/417 [41:04<03:23,  6.36s/it]
+
mmlu_es:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 386/417 [41:10<03:19,  6.42s/it]
+
mmlu_es:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 387/417 [41:16<03:09,  6.33s/it]
+
mmlu_es:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 388/417 [41:24<03:14,  6.70s/it]
+
mmlu_es:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 389/417 [41:30<03:05,  6.64s/it]
+
mmlu_es:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 390/417 [41:37<02:59,  6.66s/it]
+
mmlu_es:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 391/417 [41:44<02:55,  6.76s/it]
+
mmlu_es:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 392/417 [41:51<02:51,  6.84s/it]
+
mmlu_es:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 393/417 [41:57<02:40,  6.69s/it]
+
mmlu_es:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 394/417 [42:03<02:29,  6.48s/it]
+
mmlu_es:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 395/417 [42:09<02:18,  6.31s/it]
+
mmlu_es:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 396/417 [42:16<02:13,  6.35s/it]
+
mmlu_es:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 397/417 [42:22<02:06,  6.31s/it]
+
mmlu_es:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 398/417 [42:28<01:59,  6.28s/it]
+
mmlu_es:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 399/417 [42:35<01:53,  6.32s/it]
+
mmlu_es:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 400/417 [42:41<01:48,  6.39s/it]
+
mmlu_es:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 401/417 [42:47<01:41,  6.34s/it]
+
mmlu_es:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 402/417 [42:54<01:34,  6.33s/it]
+
mmlu_es:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 403/417 [43:00<01:30,  6.44s/it]
+
mmlu_es:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 404/417 [43:07<01:22,  6.32s/it]
+
mmlu_es:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 405/417 [43:13<01:15,  6.32s/it]
+
mmlu_es:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 406/417 [43:19<01:09,  6.36s/it]
+
mmlu_es:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 407/417 [43:26<01:05,  6.54s/it]
+
mmlu_es:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 408/417 [43:32<00:56,  6.28s/it]
+
mmlu_es:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 409/417 [43:39<00:52,  6.50s/it]
+
mmlu_es:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 410/417 [43:46<00:45,  6.55s/it]
+
mmlu_es:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 411/417 [43:52<00:38,  6.48s/it]
+
mmlu_es:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 412/417 [43:58<00:32,  6.45s/it]
+
mmlu_es:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 413/417 [44:05<00:25,  6.49s/it]
+
mmlu_es:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 414/417 [44:11<00:19,  6.46s/it]
+
mmlu_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 415/417 [44:18<00:13,  6.57s/it]
+
mmlu_es: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 416/417 [44:24<00:06,  6.52s/it]
+
mmlu_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [44:30<00:00,  6.29s/it]
mmlu_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [44:30<00:00,  6.40s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_es_acc 0.38023098845057746
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_es_acc_norm 0.3491075446227689
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 21:24:13,658 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 21:24:13,658 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:13,782 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 21:24:13,782 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:13,905 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 21:24:13,905 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:14,028 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 21:24:14,029 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 21:24:14,029 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 21:24:14,154 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 21:24:14,154 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_es_acc'}
+2024-05-30 21:24:14,217 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 21:24:14,217 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1213, 'value': 0.38023098845057746}
+2024-05-30 21:24:14,280 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 21:24:14,927 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 21:24:14,927 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:15,055 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 21:24:15,055 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:15,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 21:24:15,183 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:15,310 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 21:24:15,311 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 21:24:15,311 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 21:24:15,440 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 21:24:15,440 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_es_acc_norm'}
+2024-05-30 21:24:15,505 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 21:24:15,505 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1214, 'value': 0.3491075446227689}
+2024-05-30 21:24:15,570 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  55%|███████████████████████████████████████████████████████████▏                                                | 68/124 [38:36:44<53:08:43, 3416.49s/it]['mmlu_eu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 21:24:16,168 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 21:24:16,168 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:16,284 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 21:24:16,284 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:16,400 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 21:24:16,401 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 21:24:16,517 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 21:24:16,517 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 21:24:16,518 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_eu'}
+2024-05-30 21:24:16,635 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_eu task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1958 examples [00:00, 19543.86 examples/s]
+
Generating test split: 5468 examples [00:00, 28685.65 examples/s]
+
Generating test split: 9002 examples [00:00, 31718.36 examples/s]
Generating test split: 12237 examples [00:00, 31137.13 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 269 examples [00:00, 28357.70 examples/s]
+Running loglikelihood requests
+
+
mmlu_eu:   0%|                                                                                                                               | 0/383 [00:00<?, ?it/s]
+
mmlu_eu:   0%|▎                                                                                                                      | 1/383 [00:07<48:46,  7.66s/it]
+
mmlu_eu:   1%|▌                                                                                                                      | 2/383 [00:14<45:57,  7.24s/it]
+
mmlu_eu:   1%|▉                                                                                                                      | 3/383 [00:21<45:42,  7.22s/it]
+
mmlu_eu:   1%|█▏                                                                                                                     | 4/383 [00:28<44:27,  7.04s/it]
+
mmlu_eu:   1%|█▌                                                                                                                     | 5/383 [00:36<46:27,  7.38s/it]
+
mmlu_eu:   2%|█▊                                                                                                                     | 6/383 [00:42<43:51,  6.98s/it]
+
mmlu_eu:   2%|██▏                                                                                                                    | 7/383 [00:50<45:15,  7.22s/it]
+
mmlu_eu:   2%|██▍                                                                                                                    | 8/383 [00:57<45:09,  7.23s/it]
+
mmlu_eu:   2%|██▊                                                                                                                    | 9/383 [01:04<45:01,  7.22s/it]
+
mmlu_eu:   3%|███                                                                                                                   | 10/383 [01:12<44:50,  7.21s/it]
+
mmlu_eu:   3%|███▍                                                                                                                  | 11/383 [01:19<45:30,  7.34s/it]
+
mmlu_eu:   3%|███▋                                                                                                                  | 12/383 [01:26<44:46,  7.24s/it]
+
mmlu_eu:   3%|████                                                                                                                  | 13/383 [01:33<43:16,  7.02s/it]
+
mmlu_eu:   4%|████▎                                                                                                                 | 14/383 [01:41<45:31,  7.40s/it]
+
mmlu_eu:   4%|████▌                                                                                                                 | 15/383 [01:48<44:56,  7.33s/it]
+
mmlu_eu:   4%|████▉                                                                                                                 | 16/383 [01:55<44:39,  7.30s/it]
+
mmlu_eu:   4%|█████▏                                                                                                                | 17/383 [02:02<43:38,  7.16s/it]
+
mmlu_eu:   5%|█████▌                                                                                                                | 18/383 [02:10<45:26,  7.47s/it]
+
mmlu_eu:   5%|█████▊                                                                                                                | 19/383 [02:18<44:51,  7.39s/it]
+
mmlu_eu:   5%|██████▏                                                                                                               | 20/383 [02:26<45:36,  7.54s/it]
+
mmlu_eu:   5%|██████▍                                                                                                               | 21/383 [02:33<44:28,  7.37s/it]
+
mmlu_eu:   6%|██████▊                                                                                                               | 22/383 [02:40<44:55,  7.47s/it]
+
mmlu_eu:   6%|███████                                                                                                               | 23/383 [02:48<45:05,  7.51s/it]
+
mmlu_eu:   6%|███████▍                                                                                                              | 24/383 [02:55<43:45,  7.31s/it]
+
mmlu_eu:   7%|███████▋                                                                                                              | 25/383 [03:03<44:39,  7.48s/it]
+
mmlu_eu:   7%|████████                                                                                                              | 26/383 [03:10<44:16,  7.44s/it]
+
mmlu_eu:   7%|████████▎                                                                                                             | 27/383 [03:17<43:20,  7.31s/it]
+
mmlu_eu:   7%|████████▋                                                                                                             | 28/383 [03:23<41:54,  7.08s/it]
+
mmlu_eu:   8%|████████▉                                                                                                             | 29/383 [03:30<40:08,  6.80s/it]
+
mmlu_eu:   8%|█████████▏                                                                                                            | 30/383 [03:38<42:27,  7.22s/it]
+
mmlu_eu:   8%|█████████▌                                                                                                            | 31/383 [03:46<43:32,  7.42s/it]
+
mmlu_eu:   8%|█████████▊                                                                                                            | 32/383 [03:54<45:01,  7.70s/it]
+
mmlu_eu:   9%|██████████▏                                                                                                           | 33/383 [04:03<46:23,  7.95s/it]
+
mmlu_eu:   9%|██████████▍                                                                                                           | 34/383 [04:11<46:12,  7.94s/it]
+
mmlu_eu:   9%|██████████▊                                                                                                           | 35/383 [04:18<44:46,  7.72s/it]
+
mmlu_eu:   9%|███████████                                                                                                           | 36/383 [04:25<43:25,  7.51s/it]
+
mmlu_eu:  10%|███████████▍                                                                                                          | 37/383 [04:32<42:22,  7.35s/it]
+
mmlu_eu:  10%|███████████▋                                                                                                          | 38/383 [04:39<41:44,  7.26s/it]
+
mmlu_eu:  10%|████████████                                                                                                          | 39/383 [04:45<40:28,  7.06s/it]
+
mmlu_eu:  10%|████████████▎                                                                                                         | 40/383 [04:53<41:32,  7.27s/it]
+
mmlu_eu:  11%|████████████▋                                                                                                         | 41/383 [05:00<41:25,  7.27s/it]
+
mmlu_eu:  11%|████████████▉                                                                                                         | 42/383 [05:08<41:46,  7.35s/it]
+
mmlu_eu:  11%|█████████████▏                                                                                                        | 43/383 [05:14<39:56,  7.05s/it]
+
mmlu_eu:  11%|█████████████▌                                                                                                        | 44/383 [05:22<40:59,  7.26s/it]
+
mmlu_eu:  12%|█████████████▊                                                                                                        | 45/383 [05:29<39:36,  7.03s/it]
+
mmlu_eu:  12%|██████████████▏                                                                                                       | 46/383 [05:35<39:14,  6.99s/it]
+
mmlu_eu:  12%|██████████████▍                                                                                                       | 47/383 [05:44<41:14,  7.36s/it]
+
mmlu_eu:  13%|██████████████▊                                                                                                       | 48/383 [05:50<39:27,  7.07s/it]
+
mmlu_eu:  13%|███████████████                                                                                                       | 49/383 [05:57<39:32,  7.10s/it]
+
mmlu_eu:  13%|███████████████▍                                                                                                      | 50/383 [06:05<39:56,  7.20s/it]
+
mmlu_eu:  13%|███████████████▋                                                                                                      | 51/383 [06:12<39:38,  7.16s/it]
+
mmlu_eu:  14%|████████████████                                                                                                      | 52/383 [06:19<39:42,  7.20s/it]
+
mmlu_eu:  14%|████████████████▎                                                                                                     | 53/383 [06:26<38:56,  7.08s/it]
+
mmlu_eu:  14%|████████████████▋                                                                                                     | 54/383 [06:32<38:08,  6.96s/it]
+
mmlu_eu:  14%|████████████████▉                                                                                                     | 55/383 [06:40<38:28,  7.04s/it]
+
mmlu_eu:  15%|█████████████████▎                                                                                                    | 56/383 [06:47<38:10,  7.01s/it]
+
mmlu_eu:  15%|█████████████████▌                                                                                                    | 57/383 [06:53<37:31,  6.91s/it]
+
mmlu_eu:  15%|█████████████████▊                                                                                                    | 58/383 [07:00<37:02,  6.84s/it]
+
mmlu_eu:  15%|██████████████████▏                                                                                                   | 59/383 [07:07<36:58,  6.85s/it]
+
mmlu_eu:  16%|██████████████████▍                                                                                                   | 60/383 [07:13<36:32,  6.79s/it]
+
mmlu_eu:  16%|██████████████████▊                                                                                                   | 61/383 [07:21<36:51,  6.87s/it]
+
mmlu_eu:  16%|███████████████████                                                                                                   | 62/383 [07:29<38:38,  7.22s/it]
+
mmlu_eu:  16%|███████████████████▍                                                                                                  | 63/383 [07:37<40:09,  7.53s/it]
+
mmlu_eu:  17%|███████████████████▋                                                                                                  | 64/383 [07:44<39:09,  7.37s/it]
+
mmlu_eu:  17%|████████████████████                                                                                                  | 65/383 [07:50<37:54,  7.15s/it]
+
mmlu_eu:  17%|████████████████████▎                                                                                                 | 66/383 [07:59<39:29,  7.48s/it]
+
mmlu_eu:  17%|████████████████████▋                                                                                                 | 67/383 [08:05<37:58,  7.21s/it]
+
mmlu_eu:  18%|████████████████████▉                                                                                                 | 68/383 [08:12<37:32,  7.15s/it]
+
mmlu_eu:  18%|█████████████████████▎                                                                                                | 69/383 [08:20<37:44,  7.21s/it]
+
mmlu_eu:  18%|█████████████████████▌                                                                                                | 70/383 [08:27<37:49,  7.25s/it]
+
mmlu_eu:  19%|█████████████████████▊                                                                                                | 71/383 [08:34<37:11,  7.15s/it]
+
mmlu_eu:  19%|██████████████████████▏                                                                                               | 72/383 [08:42<38:22,  7.40s/it]
+
mmlu_eu:  19%|██████████████████████▍                                                                                               | 73/383 [08:51<40:27,  7.83s/it]
+
mmlu_eu:  19%|██████████████████████▊                                                                                               | 74/383 [08:59<40:29,  7.86s/it]
+
mmlu_eu:  20%|███████████████████████                                                                                               | 75/383 [09:07<40:30,  7.89s/it]
+
mmlu_eu:  20%|███████████████████████▍                                                                                              | 76/383 [09:13<38:46,  7.58s/it]
+
mmlu_eu:  20%|███████████████████████▋                                                                                              | 77/383 [09:21<38:29,  7.55s/it]
+
mmlu_eu:  20%|████████████████████████                                                                                              | 78/383 [09:28<37:31,  7.38s/it]
+
mmlu_eu:  21%|████████████████████████▎                                                                                             | 79/383 [09:36<38:47,  7.66s/it]
+
mmlu_eu:  21%|████████████████████████▋                                                                                             | 80/383 [09:43<37:16,  7.38s/it]
+
mmlu_eu:  21%|████████████████████████▉                                                                                             | 81/383 [09:50<37:18,  7.41s/it]
+
mmlu_eu:  21%|█████████████████████████▎                                                                                            | 82/383 [09:57<36:15,  7.23s/it]
+
mmlu_eu:  22%|█████████████████████████▌                                                                                            | 83/383 [10:04<36:04,  7.21s/it]
+
mmlu_eu:  22%|█████████████████████████▉                                                                                            | 84/383 [10:11<35:29,  7.12s/it]
+
mmlu_eu:  22%|██████████████████████████▏                                                                                           | 85/383 [10:19<35:34,  7.16s/it]
+
mmlu_eu:  22%|██████████████████████████▍                                                                                           | 86/383 [10:26<35:06,  7.09s/it]
+
mmlu_eu:  23%|██████████████████████████▊                                                                                           | 87/383 [10:33<35:38,  7.23s/it]
+
mmlu_eu:  23%|███████████████████████████                                                                                           | 88/383 [10:41<36:08,  7.35s/it]
+
mmlu_eu:  23%|███████████████████████████▍                                                                                          | 89/383 [10:48<35:19,  7.21s/it]
+
mmlu_eu:  23%|███████████████████████████▋                                                                                          | 90/383 [10:56<36:40,  7.51s/it]
+
mmlu_eu:  24%|████████████████████████████                                                                                          | 91/383 [11:05<38:21,  7.88s/it]
+
mmlu_eu:  24%|████████████████████████████▎                                                                                         | 92/383 [11:13<38:30,  7.94s/it]
+
mmlu_eu:  24%|████████████████████████████▋                                                                                         | 93/383 [11:20<37:25,  7.74s/it]
+
mmlu_eu:  25%|████████████████████████████▉                                                                                         | 94/383 [11:26<35:11,  7.31s/it]
+
mmlu_eu:  25%|█████████████████████████████▎                                                                                        | 95/383 [11:33<34:29,  7.19s/it]
+
mmlu_eu:  25%|█████████████████████████████▌                                                                                        | 96/383 [11:41<34:41,  7.25s/it]
+
mmlu_eu:  25%|█████████████████████████████▉                                                                                        | 97/383 [11:47<34:02,  7.14s/it]
+
mmlu_eu:  26%|██████████████████████████████▏                                                                                       | 98/383 [11:55<34:31,  7.27s/it]
+
mmlu_eu:  26%|██████████████████████████████▌                                                                                       | 99/383 [12:02<33:43,  7.13s/it]
+
mmlu_eu:  26%|██████████████████████████████▌                                                                                      | 100/383 [12:08<33:01,  7.00s/it]
+
mmlu_eu:  26%|██████████████████████████████▊                                                                                      | 101/383 [12:15<32:18,  6.88s/it]
+
mmlu_eu:  27%|███████████████████████████████▏                                                                                     | 102/383 [12:22<32:39,  6.97s/it]
+
mmlu_eu:  27%|███████████████████████████████▍                                                                                     | 103/383 [12:30<32:56,  7.06s/it]
+
mmlu_eu:  27%|███████████████████████████████▊                                                                                     | 104/383 [12:36<32:00,  6.88s/it]
+
mmlu_eu:  27%|████████████████████████████████                                                                                     | 105/383 [12:43<32:41,  7.06s/it]
+
mmlu_eu:  28%|████████████████████████████████▍                                                                                    | 106/383 [12:50<31:54,  6.91s/it]
+
mmlu_eu:  28%|████████████████████████████████▋                                                                                    | 107/383 [12:57<31:23,  6.82s/it]
+
mmlu_eu:  28%|████████████████████████████████▉                                                                                    | 108/383 [13:03<30:56,  6.75s/it]
+
mmlu_eu:  28%|█████████████████████████████████▎                                                                                   | 109/383 [13:10<31:21,  6.87s/it]
+
mmlu_eu:  29%|█████████████████████████████████▌                                                                                   | 110/383 [13:17<30:55,  6.80s/it]
+
mmlu_eu:  29%|█████████████████████████████████▉                                                                                   | 111/383 [13:23<30:08,  6.65s/it]
+
mmlu_eu:  29%|██████████████████████████████████▏                                                                                  | 112/383 [13:31<31:18,  6.93s/it]
+
mmlu_eu:  30%|██████████████████████████████████▌                                                                                  | 113/383 [13:38<31:04,  6.90s/it]
+
mmlu_eu:  30%|██████████████████████████████████▊                                                                                  | 114/383 [13:45<30:56,  6.90s/it]
+
mmlu_eu:  30%|███████████████████████████████████▏                                                                                 | 115/383 [13:52<31:02,  6.95s/it]
+
mmlu_eu:  30%|███████████████████████████████████▍                                                                                 | 116/383 [13:59<31:10,  7.01s/it]
+
mmlu_eu:  31%|███████████████████████████████████▋                                                                                 | 117/383 [14:05<30:31,  6.89s/it]
+
mmlu_eu:  31%|████████████████████████████████████                                                                                 | 118/383 [14:13<31:06,  7.04s/it]
+
mmlu_eu:  31%|████████████████████████████████████▎                                                                                | 119/383 [14:20<30:58,  7.04s/it]
+
mmlu_eu:  31%|████████████████████████████████████▋                                                                                | 120/383 [14:26<30:15,  6.90s/it]
+
mmlu_eu:  32%|████████████████████████████████████▉                                                                                | 121/383 [14:34<30:57,  7.09s/it]
+
mmlu_eu:  32%|█████████████████████████████████████▎                                                                               | 122/383 [14:42<31:45,  7.30s/it]
+
mmlu_eu:  32%|█████████████████████████████████████▌                                                                               | 123/383 [14:48<30:09,  6.96s/it]
+
mmlu_eu:  32%|█████████████████████████████████████▉                                                                               | 124/383 [14:56<31:19,  7.26s/it]
+
mmlu_eu:  33%|██████████████████████████████████████▏                                                                              | 125/383 [15:02<30:13,  7.03s/it]
+
mmlu_eu:  33%|██████████████████████████████████████▍                                                                              | 126/383 [15:09<29:37,  6.92s/it]
+
mmlu_eu:  33%|██████████████████████████████████████▊                                                                              | 127/383 [15:16<29:48,  6.99s/it]
+
mmlu_eu:  33%|███████████████████████████████████████                                                                              | 128/383 [15:22<28:41,  6.75s/it]
+
mmlu_eu:  34%|███████████████████████████████████████▍                                                                             | 129/383 [15:29<28:54,  6.83s/it]
+
mmlu_eu:  34%|███████████████████████████████████████▋                                                                             | 130/383 [15:37<29:51,  7.08s/it]
+
mmlu_eu:  34%|████████████████████████████████████████                                                                             | 131/383 [15:45<30:52,  7.35s/it]
+
mmlu_eu:  34%|████████████████████████████████████████▎                                                                            | 132/383 [15:53<31:18,  7.48s/it]
+
mmlu_eu:  35%|████████████████████████████████████████▋                                                                            | 133/383 [16:01<32:12,  7.73s/it]
+
mmlu_eu:  35%|████████████████████████████████████████▉                                                                            | 134/383 [16:09<31:50,  7.67s/it]
+
mmlu_eu:  35%|█████████████████████████████████████████▏                                                                           | 135/383 [16:15<30:23,  7.35s/it]
+
mmlu_eu:  36%|█████████████████████████████████████████▌                                                                           | 136/383 [16:22<29:58,  7.28s/it]
+
mmlu_eu:  36%|█████████████████████████████████████████▊                                                                           | 137/383 [16:30<30:46,  7.51s/it]
+
mmlu_eu:  36%|██████████████████████████████████████████▏                                                                          | 138/383 [16:37<29:47,  7.29s/it]
+
mmlu_eu:  36%|██████████████████████████████████████████▍                                                                          | 139/383 [16:44<29:07,  7.16s/it]
+
mmlu_eu:  37%|██████████████████████████████████████████▊                                                                          | 140/383 [16:52<29:37,  7.32s/it]
+
mmlu_eu:  37%|███████████████████████████████████████████                                                                          | 141/383 [16:59<29:59,  7.44s/it]
+
mmlu_eu:  37%|███████████████████████████████████████████▍                                                                         | 142/383 [17:07<30:22,  7.56s/it]
+
mmlu_eu:  37%|███████████████████████████████████████████▋                                                                         | 143/383 [17:15<29:58,  7.49s/it]
+
mmlu_eu:  38%|███████████████████████████████████████████▉                                                                         | 144/383 [17:22<29:34,  7.42s/it]
+
mmlu_eu:  38%|████████████████████████████████████████████▎                                                                        | 145/383 [17:29<28:48,  7.26s/it]
+
mmlu_eu:  38%|████████████████████████████████████████████▌                                                                        | 146/383 [17:37<29:16,  7.41s/it]
+
mmlu_eu:  38%|████████████████████████████████████████████▉                                                                        | 147/383 [17:45<29:46,  7.57s/it]
+
mmlu_eu:  39%|█████████████████████████████████████████████▏                                                                       | 148/383 [17:52<29:56,  7.65s/it]
+
mmlu_eu:  39%|█████████████████████████████████████████████▌                                                                       | 149/383 [18:00<29:55,  7.67s/it]
+
mmlu_eu:  39%|█████████████████████████████████████████████▊                                                                       | 150/383 [18:07<28:41,  7.39s/it]
+
mmlu_eu:  39%|██████████████████████████████████████████████▏                                                                      | 151/383 [18:15<29:17,  7.58s/it]
+
mmlu_eu:  40%|██████████████████████████████████████████████▍                                                                      | 152/383 [18:22<28:58,  7.53s/it]
+
mmlu_eu:  40%|██████████████████████████████████████████████▋                                                                      | 153/383 [18:29<27:59,  7.30s/it]
+
mmlu_eu:  40%|███████████████████████████████████████████████                                                                      | 154/383 [18:36<27:46,  7.28s/it]
+
mmlu_eu:  40%|███████████████████████████████████████████████▎                                                                     | 155/383 [18:44<28:36,  7.53s/it]
+
mmlu_eu:  41%|███████████████████████████████████████████████▋                                                                     | 156/383 [18:52<28:55,  7.65s/it]
+
mmlu_eu:  41%|███████████████████████████████████████████████▉                                                                     | 157/383 [19:00<28:28,  7.56s/it]
+
mmlu_eu:  41%|████████████████████████████████████████████████▎                                                                    | 158/383 [19:06<27:23,  7.31s/it]
+
mmlu_eu:  42%|████████████████████████████████████████████████▌                                                                    | 159/383 [19:14<28:08,  7.54s/it]
+
mmlu_eu:  42%|████████████████████████████████████████████████▉                                                                    | 160/383 [19:20<26:06,  7.03s/it]
+
mmlu_eu:  42%|█████████████████████████████████████████████████▏                                                                   | 161/383 [19:27<25:32,  6.90s/it]
+
mmlu_eu:  42%|█████████████████████████████████████████████████▍                                                                   | 162/383 [19:34<25:29,  6.92s/it]
+
mmlu_eu:  43%|█████████████████████████████████████████████████▊                                                                   | 163/383 [19:41<25:26,  6.94s/it]
+
mmlu_eu:  43%|██████████████████████████████████████████████████                                                                   | 164/383 [19:48<25:28,  6.98s/it]
+
mmlu_eu:  43%|██████████████████████████████████████████████████▍                                                                  | 165/383 [19:56<26:49,  7.38s/it]
+
mmlu_eu:  43%|██████████████████████████████████████████████████▋                                                                  | 166/383 [20:03<26:02,  7.20s/it]
+
mmlu_eu:  44%|███████████████████████████████████████████████████                                                                  | 167/383 [20:10<25:20,  7.04s/it]
+
mmlu_eu:  44%|███████████████████████████████████████████████████▎                                                                 | 168/383 [20:17<25:32,  7.13s/it]
+
mmlu_eu:  44%|███████████████████████████████████████████████████▋                                                                 | 169/383 [20:24<25:32,  7.16s/it]
+
mmlu_eu:  44%|███████████████████████████████████████████████████▉                                                                 | 170/383 [20:32<25:35,  7.21s/it]
+
mmlu_eu:  45%|████████████████████████████████████████████████████▏                                                                | 171/383 [20:39<25:12,  7.14s/it]
+
mmlu_eu:  45%|████████████████████████████████████████████████████▌                                                                | 172/383 [20:45<24:33,  6.98s/it]
+
mmlu_eu:  45%|████████████████████████████████████████████████████▊                                                                | 173/383 [20:53<25:31,  7.29s/it]
+
mmlu_eu:  45%|█████████████████████████████████████████████████████▏                                                               | 174/383 [21:01<25:51,  7.42s/it]
+
mmlu_eu:  46%|█████████████████████████████████████████████████████▍                                                               | 175/383 [21:09<26:43,  7.71s/it]
+
mmlu_eu:  46%|█████████████████████████████████████████████████████▊                                                               | 176/383 [21:17<26:48,  7.77s/it]
+
mmlu_eu:  46%|██████████████████████████████████████████████████████                                                               | 177/383 [21:24<25:50,  7.53s/it]
+
mmlu_eu:  46%|██████████████████████████████████████████████████████▍                                                              | 178/383 [21:32<25:54,  7.58s/it]
+
mmlu_eu:  47%|██████████████████████████████████████████████████████▋                                                              | 179/383 [21:39<25:33,  7.52s/it]
+
mmlu_eu:  47%|██████████████████████████████████████████████████████▉                                                              | 180/383 [21:47<25:32,  7.55s/it]
+
mmlu_eu:  47%|███████████████████████████████████████████████████████▎                                                             | 181/383 [21:53<24:20,  7.23s/it]
+
mmlu_eu:  48%|███████████████████████████████████████████████████████▌                                                             | 182/383 [22:00<24:09,  7.21s/it]
+
mmlu_eu:  48%|███████████████████████████████████████████████████████▉                                                             | 183/383 [22:08<24:25,  7.33s/it]
+
mmlu_eu:  48%|████████████████████████████████████████████████████████▏                                                            | 184/383 [22:16<25:02,  7.55s/it]
+
mmlu_eu:  48%|████████████████████████████████████████████████████████▌                                                            | 185/383 [22:24<25:04,  7.60s/it]
+
mmlu_eu:  49%|████████████████████████████████████████████████████████▊                                                            | 186/383 [22:31<24:17,  7.40s/it]
+
mmlu_eu:  49%|█████████████████████████████████████████████████████████▏                                                           | 187/383 [22:37<23:14,  7.12s/it]
+
mmlu_eu:  49%|█████████████████████████████████████████████████████████▍                                                           | 188/383 [22:43<21:58,  6.76s/it]
+
mmlu_eu:  49%|█████████████████████████████████████████████████████████▋                                                           | 189/383 [22:50<22:06,  6.84s/it]
+
mmlu_eu:  50%|██████████████████████████████████████████████████████████                                                           | 190/383 [22:58<22:41,  7.05s/it]
+
mmlu_eu:  50%|██████████████████████████████████████████████████████████▎                                                          | 191/383 [23:04<22:13,  6.95s/it]
+
mmlu_eu:  50%|██████████████████████████████████████████████████████████▋                                                          | 192/383 [23:12<22:32,  7.08s/it]
+
mmlu_eu:  50%|██████████████████████████████████████████████████████████▉                                                          | 193/383 [23:19<22:40,  7.16s/it]
+
mmlu_eu:  51%|███████████████████████████████████████████████████████████▎                                                         | 194/383 [23:27<23:05,  7.33s/it]
+
mmlu_eu:  51%|███████████████████████████████████████████████████████████▌                                                         | 195/383 [23:34<22:44,  7.26s/it]
+
mmlu_eu:  51%|███████████████████████████████████████████████████████████▊                                                         | 196/383 [23:41<22:28,  7.21s/it]
+
mmlu_eu:  51%|████████████████████████████████████████████████████████████▏                                                        | 197/383 [23:48<21:56,  7.08s/it]
+
mmlu_eu:  52%|████████████████████████████████████████████████████████████▍                                                        | 198/383 [23:55<22:10,  7.19s/it]
+
mmlu_eu:  52%|████████████████████████████████████████████████████████████▊                                                        | 199/383 [24:02<22:00,  7.18s/it]
+
mmlu_eu:  52%|█████████████████████████████████████████████████████████████                                                        | 200/383 [24:09<21:03,  6.91s/it]
+
mmlu_eu:  52%|█████████████████████████████████████████████████████████████▍                                                       | 201/383 [24:17<22:20,  7.37s/it]
+
mmlu_eu:  53%|█████████████████████████████████████████████████████████████▋                                                       | 202/383 [24:25<22:36,  7.49s/it]
+
mmlu_eu:  53%|██████████████████████████████████████████████████████████████                                                       | 203/383 [24:32<22:05,  7.37s/it]
+
mmlu_eu:  53%|██████████████████████████████████████████████████████████████▎                                                      | 204/383 [24:39<21:35,  7.24s/it]
+
mmlu_eu:  54%|██████████████████████████████████████████████████████████████▌                                                      | 205/383 [24:46<20:56,  7.06s/it]
+
mmlu_eu:  54%|██████████████████████████████████████████████████████████████▉                                                      | 206/383 [24:53<20:58,  7.11s/it]
+
mmlu_eu:  54%|███████████████████████████████████████████████████████████████▏                                                     | 207/383 [25:00<21:02,  7.17s/it]
+
mmlu_eu:  54%|███████████████████████████████████████████████████████████████▌                                                     | 208/383 [25:07<20:44,  7.11s/it]
+
mmlu_eu:  55%|███████████████████████████████████████████████████████████████▊                                                     | 209/383 [25:14<20:15,  6.99s/it]
+
mmlu_eu:  55%|████████████████████████████████████████████████████████████████▏                                                    | 210/383 [25:20<19:47,  6.86s/it]
+
mmlu_eu:  55%|████████████████████████████████████████████████████████████████▍                                                    | 211/383 [25:27<19:38,  6.85s/it]
+
mmlu_eu:  55%|████████████████████████████████████████████████████████████████▊                                                    | 212/383 [25:34<19:34,  6.87s/it]
+
mmlu_eu:  56%|█████████████████████████████████████████████████████████████████                                                    | 213/383 [25:41<19:04,  6.73s/it]
+
mmlu_eu:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 214/383 [25:47<18:43,  6.65s/it]
+
mmlu_eu:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 215/383 [25:54<18:41,  6.68s/it]
+
mmlu_eu:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 216/383 [26:01<18:50,  6.77s/it]
+
mmlu_eu:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 217/383 [26:08<19:00,  6.87s/it]
+
mmlu_eu:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 218/383 [26:15<19:10,  6.97s/it]
+
mmlu_eu:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 219/383 [26:22<19:07,  6.99s/it]
+
mmlu_eu:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 220/383 [26:30<19:22,  7.13s/it]
+
mmlu_eu:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 221/383 [26:36<18:57,  7.02s/it]
+
mmlu_eu:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 222/383 [26:43<18:42,  6.97s/it]
+
mmlu_eu:  58%|████████████████████████████████████████████████████████████████████                                                 | 223/383 [26:50<18:36,  6.98s/it]
+
mmlu_eu:  58%|████████████████████████████████████████████████████████████████████▍                                                | 224/383 [26:58<19:15,  7.27s/it]
+
mmlu_eu:  59%|████████████████████████████████████████████████████████████████████▋                                                | 225/383 [27:06<19:15,  7.31s/it]
+
mmlu_eu:  59%|█████████████████████████████████████████████████████████████████████                                                | 226/383 [27:13<19:38,  7.51s/it]
+
mmlu_eu:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 227/383 [27:20<18:56,  7.28s/it]
+
mmlu_eu:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 228/383 [27:27<18:28,  7.15s/it]
+
mmlu_eu:  60%|█████████████████████████████████████████████████████████████████████▉                                               | 229/383 [27:34<18:23,  7.17s/it]
+
mmlu_eu:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 230/383 [27:42<18:31,  7.26s/it]
+
mmlu_eu:  60%|██████████████████████████████████████████████████████████████████████▌                                              | 231/383 [27:48<17:46,  7.02s/it]
+
mmlu_eu:  61%|██████████████████████████████████████████████████████████████████████▊                                              | 232/383 [27:54<17:02,  6.77s/it]
+
mmlu_eu:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 233/383 [28:01<17:01,  6.81s/it]
+
mmlu_eu:  61%|███████████████████████████████████████████████████████████████████████▍                                             | 234/383 [28:08<17:01,  6.86s/it]
+
mmlu_eu:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 235/383 [28:15<16:33,  6.71s/it]
+
mmlu_eu:  62%|████████████████████████████████████████████████████████████████████████                                             | 236/383 [28:21<16:15,  6.63s/it]
+
mmlu_eu:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 237/383 [28:29<17:09,  7.05s/it]
+
mmlu_eu:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 238/383 [28:37<17:53,  7.40s/it]
+
mmlu_eu:  62%|█████████████████████████████████████████████████████████████████████████                                            | 239/383 [28:44<17:28,  7.28s/it]
+
mmlu_eu:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 240/383 [28:51<16:45,  7.03s/it]
+
mmlu_eu:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 241/383 [28:58<16:44,  7.07s/it]
+
mmlu_eu:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 242/383 [29:05<16:42,  7.11s/it]
+
mmlu_eu:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 243/383 [29:13<16:58,  7.28s/it]
+
mmlu_eu:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 244/383 [29:20<17:01,  7.35s/it]
+
mmlu_eu:  64%|██████████████████████████████████████████████████████████████████████████▊                                          | 245/383 [29:27<16:37,  7.23s/it]
+
mmlu_eu:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 246/383 [29:34<16:14,  7.11s/it]
+
mmlu_eu:  64%|███████████████████████████████████████████████████████████████████████████▍                                         | 247/383 [29:42<16:34,  7.31s/it]
+
mmlu_eu:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 248/383 [29:49<16:28,  7.32s/it]
+
mmlu_eu:  65%|████████████████████████████████████████████████████████████████████████████                                         | 249/383 [29:57<16:30,  7.40s/it]
+
mmlu_eu:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 250/383 [30:04<16:17,  7.35s/it]
+
mmlu_eu:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 251/383 [30:11<15:46,  7.17s/it]
+
mmlu_eu:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 252/383 [30:17<15:08,  6.93s/it]
+
mmlu_eu:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 253/383 [30:25<15:20,  7.08s/it]
+
mmlu_eu:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 254/383 [30:31<15:01,  6.99s/it]
+
mmlu_eu:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 255/383 [30:38<14:46,  6.93s/it]
+
mmlu_eu:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 256/383 [30:45<14:38,  6.91s/it]
+
mmlu_eu:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 257/383 [30:52<14:26,  6.88s/it]
+
mmlu_eu:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 258/383 [30:58<14:06,  6.77s/it]
+
mmlu_eu:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 259/383 [31:05<13:57,  6.76s/it]
+
mmlu_eu:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 260/383 [31:13<14:21,  7.01s/it]
+
mmlu_eu:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 261/383 [31:20<14:28,  7.12s/it]
+
mmlu_eu:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 262/383 [31:28<14:32,  7.21s/it]
+
mmlu_eu:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 263/383 [31:34<13:54,  6.95s/it]
+
mmlu_eu:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 264/383 [31:41<13:49,  6.97s/it]
+
mmlu_eu:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 265/383 [31:48<13:44,  6.99s/it]
+
mmlu_eu:  69%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 266/383 [31:55<13:48,  7.08s/it]
+
mmlu_eu:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 267/383 [32:03<14:23,  7.44s/it]
+
mmlu_eu:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 268/383 [32:12<14:50,  7.74s/it]
+
mmlu_eu:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 269/383 [32:19<14:35,  7.68s/it]
+
mmlu_eu:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 270/383 [32:27<14:08,  7.51s/it]
+
mmlu_eu:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 271/383 [32:35<14:34,  7.81s/it]
+
mmlu_eu:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 272/383 [32:42<13:48,  7.47s/it]
+
mmlu_eu:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 273/383 [32:48<13:14,  7.23s/it]
+
mmlu_eu:  72%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 274/383 [32:56<13:30,  7.43s/it]
+
mmlu_eu:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 275/383 [33:02<12:40,  7.04s/it]
+
mmlu_eu:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 276/383 [33:09<12:24,  6.96s/it]
+
mmlu_eu:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 277/383 [33:17<12:33,  7.10s/it]
+
mmlu_eu:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 278/383 [33:25<12:52,  7.35s/it]
+
mmlu_eu:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 279/383 [33:32<12:37,  7.29s/it]
+
mmlu_eu:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 280/383 [33:39<12:23,  7.22s/it]
+
mmlu_eu:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 281/383 [33:47<12:45,  7.50s/it]
+
mmlu_eu:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 282/383 [33:54<12:08,  7.22s/it]
+
mmlu_eu:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 283/383 [34:02<12:33,  7.53s/it]
+
mmlu_eu:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 284/383 [34:09<12:10,  7.37s/it]
+
mmlu_eu:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 285/383 [34:15<11:33,  7.07s/it]
+
mmlu_eu:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 286/383 [34:22<11:08,  6.90s/it]
+
mmlu_eu:  75%|███████████████████████████████████████████████████████████████████████████████████████▋                             | 287/383 [34:29<11:23,  7.12s/it]
+
mmlu_eu:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 288/383 [34:36<11:12,  7.08s/it]
+
mmlu_eu:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 289/383 [34:44<11:25,  7.29s/it]
+
mmlu_eu:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 290/383 [34:52<11:26,  7.38s/it]
+
mmlu_eu:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 291/383 [34:59<11:10,  7.29s/it]
+
mmlu_eu:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 292/383 [35:06<10:56,  7.21s/it]
+
mmlu_eu:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 293/383 [35:13<10:59,  7.33s/it]
+
mmlu_eu:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 294/383 [35:20<10:42,  7.22s/it]
+
mmlu_eu:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 295/383 [35:28<10:41,  7.30s/it]
+
mmlu_eu:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 296/383 [35:34<10:17,  7.10s/it]
+
mmlu_eu:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 297/383 [35:42<10:18,  7.19s/it]
+
mmlu_eu:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 298/383 [35:49<10:12,  7.21s/it]
+
mmlu_eu:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 299/383 [35:56<10:05,  7.21s/it]
+
mmlu_eu:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 300/383 [36:04<10:00,  7.23s/it]
+
mmlu_eu:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 301/383 [36:11<10:05,  7.39s/it]
+
mmlu_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 302/383 [36:19<10:07,  7.50s/it]
+
mmlu_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 303/383 [36:28<10:36,  7.96s/it]
+
mmlu_eu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 304/383 [36:35<09:55,  7.54s/it]
+
mmlu_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 305/383 [36:42<09:40,  7.45s/it]
+
mmlu_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 306/383 [36:49<09:23,  7.32s/it]
+
mmlu_eu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 307/383 [36:57<09:33,  7.55s/it]
+
mmlu_eu:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 308/383 [37:04<09:04,  7.25s/it]
+
mmlu_eu:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 309/383 [37:12<09:17,  7.54s/it]
+
mmlu_eu:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 310/383 [37:21<09:45,  8.03s/it]
+
mmlu_eu:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 311/383 [37:28<09:06,  7.59s/it]
+
mmlu_eu:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 312/383 [37:34<08:41,  7.34s/it]
+
mmlu_eu:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 313/383 [37:42<08:45,  7.51s/it]
+
mmlu_eu:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 314/383 [37:49<08:27,  7.36s/it]
+
mmlu_eu:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 315/383 [37:56<08:03,  7.10s/it]
+
mmlu_eu:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 316/383 [38:03<08:03,  7.22s/it]
+
mmlu_eu:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 317/383 [38:11<08:11,  7.45s/it]
+
mmlu_eu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 318/383 [38:18<07:53,  7.29s/it]
+
mmlu_eu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 319/383 [38:24<07:28,  7.00s/it]
+
mmlu_eu:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 320/383 [38:30<07:03,  6.72s/it]
+
mmlu_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 321/383 [38:39<07:22,  7.13s/it]
+
mmlu_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 322/383 [38:47<07:31,  7.41s/it]
+
mmlu_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 323/383 [38:54<07:23,  7.40s/it]
+
mmlu_eu:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 324/383 [39:02<07:19,  7.45s/it]
+
mmlu_eu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 325/383 [39:09<07:12,  7.46s/it]
+
mmlu_eu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 326/383 [39:17<07:11,  7.57s/it]
+
mmlu_eu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 327/383 [39:24<06:58,  7.47s/it]
+
mmlu_eu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 328/383 [39:31<06:41,  7.30s/it]
+
mmlu_eu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 329/383 [39:38<06:29,  7.21s/it]
+
mmlu_eu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 330/383 [39:46<06:32,  7.41s/it]
+
mmlu_eu:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 331/383 [39:53<06:25,  7.41s/it]
+
mmlu_eu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 332/383 [40:00<06:12,  7.30s/it]
+
mmlu_eu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 333/383 [40:08<06:09,  7.39s/it]
+
mmlu_eu:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 334/383 [40:15<05:58,  7.32s/it]
+
mmlu_eu:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 335/383 [40:22<05:45,  7.19s/it]
+
mmlu_eu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 336/383 [40:30<05:54,  7.54s/it]
+
mmlu_eu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 337/383 [40:37<05:35,  7.30s/it]
+
mmlu_eu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 338/383 [40:44<05:22,  7.16s/it]
+
mmlu_eu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 339/383 [40:50<05:07,  6.99s/it]
+
mmlu_eu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 340/383 [40:57<04:58,  6.95s/it]
+
mmlu_eu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 341/383 [41:04<04:52,  6.95s/it]
+
mmlu_eu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 342/383 [41:11<04:45,  6.97s/it]
+
mmlu_eu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 343/383 [41:18<04:30,  6.77s/it]
+
mmlu_eu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 344/383 [41:25<04:26,  6.83s/it]
+
mmlu_eu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 345/383 [41:32<04:31,  7.14s/it]
+
mmlu_eu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 346/383 [41:39<04:22,  7.08s/it]
+
mmlu_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████           | 347/383 [41:46<04:08,  6.91s/it]
+
mmlu_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 348/383 [41:53<04:02,  6.93s/it]
+
mmlu_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 349/383 [42:01<04:06,  7.25s/it]
+
mmlu_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 350/383 [42:08<04:00,  7.28s/it]
+
mmlu_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 351/383 [42:16<03:55,  7.37s/it]
+
mmlu_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 352/383 [42:23<03:48,  7.36s/it]
+
mmlu_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 353/383 [42:31<03:43,  7.46s/it]
+
mmlu_eu:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 354/383 [42:37<03:25,  7.09s/it]
+
mmlu_eu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 355/383 [42:45<03:29,  7.47s/it]
+
mmlu_eu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 356/383 [42:52<03:16,  7.27s/it]
+
mmlu_eu:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 357/383 [43:00<03:11,  7.37s/it]
+
mmlu_eu:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 358/383 [43:07<03:00,  7.21s/it]
+
mmlu_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 359/383 [43:15<02:59,  7.48s/it]
+
mmlu_eu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 360/383 [43:22<02:52,  7.51s/it]
+
mmlu_eu:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 361/383 [43:30<02:44,  7.49s/it]
+
mmlu_eu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 362/383 [43:38<02:40,  7.66s/it]
+
mmlu_eu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 363/383 [43:46<02:33,  7.67s/it]
+
mmlu_eu:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 364/383 [43:53<02:24,  7.59s/it]
+
mmlu_eu:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 365/383 [44:00<02:15,  7.53s/it]
+
mmlu_eu:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 366/383 [44:07<02:04,  7.32s/it]
+
mmlu_eu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 367/383 [44:15<01:57,  7.37s/it]
+
mmlu_eu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 368/383 [44:23<01:54,  7.64s/it]
+
mmlu_eu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 369/383 [44:31<01:48,  7.75s/it]
+
mmlu_eu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 370/383 [44:39<01:40,  7.72s/it]
+
mmlu_eu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 371/383 [44:46<01:30,  7.54s/it]
+
mmlu_eu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 372/383 [44:53<01:23,  7.60s/it]
+
mmlu_eu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 373/383 [45:01<01:15,  7.54s/it]
+
mmlu_eu:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 374/383 [45:08<01:05,  7.29s/it]
+
mmlu_eu:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 375/383 [45:14<00:56,  7.10s/it]
+
mmlu_eu:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 376/383 [45:22<00:50,  7.24s/it]
+
mmlu_eu:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 377/383 [45:29<00:42,  7.12s/it]
+
mmlu_eu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 378/383 [45:36<00:36,  7.26s/it]
+
mmlu_eu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 379/383 [45:44<00:29,  7.27s/it]
+
mmlu_eu:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 380/383 [45:51<00:22,  7.35s/it]
+
mmlu_eu:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 381/383 [45:58<00:14,  7.24s/it]
+
mmlu_eu: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 382/383 [46:05<00:07,  7.03s/it]
+
mmlu_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [46:11<00:00,  6.78s/it]
mmlu_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 383/383 [46:11<00:00,  7.24s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_eu_acc 0.2665686034158699
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_eu_acc_norm 0.28471030481327125
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:10:29,830 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:10:29,830 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:29,959 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:10:29,960 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:30,092 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:10:30,092 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:30,221 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:10:30,222 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 22:10:30,222 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 22:10:30,353 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 22:10:30,353 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_eu_acc'}
+2024-05-30 22:10:30,418 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 22:10:30,418 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1215, 'value': 0.2665686034158699}
+2024-05-30 22:10:30,484 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:10:31,102 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:10:31,102 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:31,223 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:10:31,223 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:31,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:10:31,343 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:31,464 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:10:31,465 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 22:10:31,465 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 22:10:31,586 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 22:10:31,586 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_eu_acc_norm'}
+2024-05-30 22:10:31,648 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 22:10:31,648 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1216, 'value': 0.28471030481327125}
+2024-05-30 22:10:31,709 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  56%|████████████████████████████████████████████████████████████                                                | 69/124 [39:23:01<49:15:41, 3224.38s/it]['mmlu_fr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:10:32,338 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:10:32,338 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:32,462 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:10:32,462 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:32,585 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:10:32,586 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:10:32,709 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:10:32,710 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 22:10:32,710 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'mmlu_fr'}
+2024-05-30 22:10:32,835 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_fr task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1754 examples [00:00, 16711.70 examples/s]
+
Generating test split: 5078 examples [00:00, 26236.54 examples/s]
+
Generating test split: 8575 examples [00:00, 30176.99 examples/s]
+
Generating test split: 12000 examples [00:00, 31519.93 examples/s]
Generating test split: 13091 examples [00:00, 29422.46 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 270 examples [00:00, 27367.38 examples/s]
+Running loglikelihood requests
+
+
mmlu_fr:   0%|                                                                                                                               | 0/410 [00:00<?, ?it/s]
+
mmlu_fr:   0%|▎                                                                                                                      | 1/410 [00:07<52:43,  7.73s/it]
+
mmlu_fr:   0%|▌                                                                                                                      | 2/410 [00:15<52:47,  7.76s/it]
+
mmlu_fr:   1%|▊                                                                                                                      | 3/410 [00:22<49:19,  7.27s/it]
+
mmlu_fr:   1%|█▏                                                                                                                     | 4/410 [00:28<47:18,  6.99s/it]
+
mmlu_fr:   1%|█▍                                                                                                                     | 5/410 [00:36<48:45,  7.22s/it]
+
mmlu_fr:   1%|█▋                                                                                                                     | 6/410 [00:43<47:30,  7.06s/it]
+
mmlu_fr:   2%|██                                                                                                                     | 7/410 [00:50<48:43,  7.25s/it]
+
mmlu_fr:   2%|██▎                                                                                                                    | 8/410 [00:56<46:09,  6.89s/it]
+
mmlu_fr:   2%|██▌                                                                                                                    | 9/410 [01:03<45:45,  6.85s/it]
+
mmlu_fr:   2%|██▉                                                                                                                   | 10/410 [01:11<46:45,  7.01s/it]
+
mmlu_fr:   3%|███▏                                                                                                                  | 11/410 [01:18<46:41,  7.02s/it]
+
mmlu_fr:   3%|███▍                                                                                                                  | 12/410 [01:25<47:01,  7.09s/it]
+
mmlu_fr:   3%|███▋                                                                                                                  | 13/410 [01:31<46:03,  6.96s/it]
+
mmlu_fr:   3%|████                                                                                                                  | 14/410 [01:38<45:44,  6.93s/it]
+
mmlu_fr:   4%|████▎                                                                                                                 | 15/410 [01:47<49:47,  7.56s/it]
+
mmlu_fr:   4%|████▌                                                                                                                 | 16/410 [01:54<48:13,  7.34s/it]
+
mmlu_fr:   4%|████▉                                                                                                                 | 17/410 [02:01<47:50,  7.30s/it]
+
mmlu_fr:   4%|█████▏                                                                                                                | 18/410 [02:08<47:05,  7.21s/it]
+
mmlu_fr:   5%|█████▍                                                                                                                | 19/410 [02:15<46:09,  7.08s/it]
+
mmlu_fr:   5%|█████▊                                                                                                                | 20/410 [02:22<45:47,  7.04s/it]
+
mmlu_fr:   5%|██████                                                                                                                | 21/410 [02:30<47:25,  7.32s/it]
+
mmlu_fr:   5%|██████▎                                                                                                               | 22/410 [02:38<48:22,  7.48s/it]
+
mmlu_fr:   6%|██████▌                                                                                                               | 23/410 [02:45<46:53,  7.27s/it]
+
mmlu_fr:   6%|██████▉                                                                                                               | 24/410 [02:52<47:11,  7.34s/it]
+
mmlu_fr:   6%|███████▏                                                                                                              | 25/410 [03:00<46:59,  7.32s/it]
+
mmlu_fr:   6%|███████▍                                                                                                              | 26/410 [03:06<45:48,  7.16s/it]
+
mmlu_fr:   7%|███████▊                                                                                                              | 27/410 [03:13<45:16,  7.09s/it]
+
mmlu_fr:   7%|████████                                                                                                              | 28/410 [03:21<46:43,  7.34s/it]
+
mmlu_fr:   7%|████████▎                                                                                                             | 29/410 [03:28<45:19,  7.14s/it]
+
mmlu_fr:   7%|████████▋                                                                                                             | 30/410 [03:35<45:56,  7.25s/it]
+
mmlu_fr:   8%|████████▉                                                                                                             | 31/410 [03:43<47:11,  7.47s/it]
+
mmlu_fr:   8%|█████████▏                                                                                                            | 32/410 [03:51<46:36,  7.40s/it]
+
mmlu_fr:   8%|█████████▍                                                                                                            | 33/410 [03:57<44:52,  7.14s/it]
+
mmlu_fr:   8%|█████████▊                                                                                                            | 34/410 [04:04<44:43,  7.14s/it]
+
mmlu_fr:   9%|██████████                                                                                                            | 35/410 [04:11<43:31,  6.96s/it]
+
mmlu_fr:   9%|██████████▎                                                                                                           | 36/410 [04:18<43:26,  6.97s/it]
+
mmlu_fr:   9%|██████████▋                                                                                                           | 37/410 [04:25<43:44,  7.04s/it]
+
mmlu_fr:   9%|██████████▉                                                                                                           | 38/410 [04:32<42:55,  6.92s/it]
+
mmlu_fr:  10%|███████████▏                                                                                                          | 39/410 [04:38<42:43,  6.91s/it]
+
mmlu_fr:  10%|███████████▌                                                                                                          | 40/410 [04:46<43:44,  7.09s/it]
+
mmlu_fr:  10%|███████████▊                                                                                                          | 41/410 [04:53<42:30,  6.91s/it]
+
mmlu_fr:  10%|████████████                                                                                                          | 42/410 [05:00<43:17,  7.06s/it]
+
mmlu_fr:  10%|████████████▍                                                                                                         | 43/410 [05:07<43:08,  7.05s/it]
+
mmlu_fr:  11%|████████████▋                                                                                                         | 44/410 [05:14<43:55,  7.20s/it]
+
mmlu_fr:  11%|████████████▉                                                                                                         | 45/410 [05:21<42:55,  7.06s/it]
+
mmlu_fr:  11%|█████████████▏                                                                                                        | 46/410 [05:28<43:12,  7.12s/it]
+
mmlu_fr:  11%|█████████████▌                                                                                                        | 47/410 [05:35<42:49,  7.08s/it]
+
mmlu_fr:  12%|█████████████▊                                                                                                        | 48/410 [05:43<43:18,  7.18s/it]
+
mmlu_fr:  12%|██████████████                                                                                                        | 49/410 [05:50<43:41,  7.26s/it]
+
mmlu_fr:  12%|██████████████▍                                                                                                       | 50/410 [05:58<43:28,  7.25s/it]
+
mmlu_fr:  12%|██████████████▋                                                                                                       | 51/410 [06:04<42:39,  7.13s/it]
+
mmlu_fr:  13%|██████████████▉                                                                                                       | 52/410 [06:11<42:02,  7.05s/it]
+
mmlu_fr:  13%|███████████████▎                                                                                                      | 53/410 [06:19<42:28,  7.14s/it]
+
mmlu_fr:  13%|███████████████▌                                                                                                      | 54/410 [06:26<42:06,  7.10s/it]
+
mmlu_fr:  13%|███████████████▊                                                                                                      | 55/410 [06:32<40:21,  6.82s/it]
+
mmlu_fr:  14%|████████████████                                                                                                      | 56/410 [06:39<40:37,  6.88s/it]
+
mmlu_fr:  14%|████████████████▍                                                                                                     | 57/410 [06:46<40:37,  6.91s/it]
+
mmlu_fr:  14%|████████████████▋                                                                                                     | 58/410 [06:53<40:18,  6.87s/it]
+
mmlu_fr:  14%|████████████████▉                                                                                                     | 59/410 [06:59<39:08,  6.69s/it]
+
mmlu_fr:  15%|█████████████████▎                                                                                                    | 60/410 [07:06<39:04,  6.70s/it]
+
mmlu_fr:  15%|█████████████████▌                                                                                                    | 61/410 [07:13<40:54,  7.03s/it]
+
mmlu_fr:  15%|█████████████████▊                                                                                                    | 62/410 [07:21<41:07,  7.09s/it]
+
mmlu_fr:  15%|██████████████████▏                                                                                                   | 63/410 [07:27<39:57,  6.91s/it]
+
mmlu_fr:  16%|██████████████████▍                                                                                                   | 64/410 [07:34<39:34,  6.86s/it]
+
mmlu_fr:  16%|██████████████████▋                                                                                                   | 65/410 [07:41<39:18,  6.84s/it]
+
mmlu_fr:  16%|██████████████████▉                                                                                                   | 66/410 [07:47<38:47,  6.76s/it]
+
mmlu_fr:  16%|███████████████████▎                                                                                                  | 67/410 [07:54<39:07,  6.84s/it]
+
mmlu_fr:  17%|███████████████████▌                                                                                                  | 68/410 [08:02<40:42,  7.14s/it]
+
mmlu_fr:  17%|███████████████████▊                                                                                                  | 69/410 [08:09<40:50,  7.19s/it]
+
mmlu_fr:  17%|████████████████████▏                                                                                                 | 70/410 [08:16<40:14,  7.10s/it]
+
mmlu_fr:  17%|████████████████████▍                                                                                                 | 71/410 [08:24<40:27,  7.16s/it]
+
mmlu_fr:  18%|████████████████████▋                                                                                                 | 72/410 [08:31<40:26,  7.18s/it]
+
mmlu_fr:  18%|█████████████████████                                                                                                 | 73/410 [08:38<40:09,  7.15s/it]
+
mmlu_fr:  18%|█████████████████████▎                                                                                                | 74/410 [08:45<40:06,  7.16s/it]
+
mmlu_fr:  18%|█████████████████████▌                                                                                                | 75/410 [08:53<41:14,  7.39s/it]
+
mmlu_fr:  19%|█████████████████████▊                                                                                                | 76/410 [09:00<39:46,  7.15s/it]
+
mmlu_fr:  19%|██████████████████████▏                                                                                               | 77/410 [09:06<38:55,  7.01s/it]
+
mmlu_fr:  19%|██████████████████████▍                                                                                               | 78/410 [09:13<38:08,  6.89s/it]
+
mmlu_fr:  19%|██████████████████████▋                                                                                               | 79/410 [09:20<38:08,  6.91s/it]
+
mmlu_fr:  20%|███████████████████████                                                                                               | 80/410 [09:27<38:35,  7.02s/it]
+
mmlu_fr:  20%|███████████████████████▎                                                                                              | 81/410 [09:35<39:36,  7.22s/it]
+
mmlu_fr:  20%|███████████████████████▌                                                                                              | 82/410 [09:41<38:20,  7.01s/it]
+
mmlu_fr:  20%|███████████████████████▉                                                                                              | 83/410 [09:49<38:38,  7.09s/it]
+
mmlu_fr:  20%|████████████████████████▏                                                                                             | 84/410 [09:56<38:33,  7.10s/it]
+
mmlu_fr:  21%|████████████████████████▍                                                                                             | 85/410 [10:03<38:57,  7.19s/it]
+
mmlu_fr:  21%|████████████████████████▊                                                                                             | 86/410 [10:10<37:40,  6.98s/it]
+
mmlu_fr:  21%|█████████████████████████                                                                                             | 87/410 [10:17<38:02,  7.07s/it]
+
mmlu_fr:  21%|█████████████████████████▎                                                                                            | 88/410 [10:24<38:30,  7.18s/it]
+
mmlu_fr:  22%|█████████████████████████▌                                                                                            | 89/410 [10:31<37:46,  7.06s/it]
+
mmlu_fr:  22%|█████████████████████████▉                                                                                            | 90/410 [10:38<37:23,  7.01s/it]
+
mmlu_fr:  22%|██████████████████████████▏                                                                                           | 91/410 [10:45<36:42,  6.91s/it]
+
mmlu_fr:  22%|██████████████████████████▍                                                                                           | 92/410 [10:51<36:23,  6.87s/it]
+
mmlu_fr:  23%|██████████████████████████▊                                                                                           | 93/410 [10:59<37:25,  7.08s/it]
+
mmlu_fr:  23%|███████████████████████████                                                                                           | 94/410 [11:06<37:07,  7.05s/it]
+
mmlu_fr:  23%|███████████████████████████▎                                                                                          | 95/410 [11:13<36:20,  6.92s/it]
+
mmlu_fr:  23%|███████████████████████████▋                                                                                          | 96/410 [11:19<36:08,  6.91s/it]
+
mmlu_fr:  24%|███████████████████████████▉                                                                                          | 97/410 [11:27<36:55,  7.08s/it]
+
mmlu_fr:  24%|████████████████████████████▏                                                                                         | 98/410 [11:34<36:00,  6.92s/it]
+
mmlu_fr:  24%|████████████████████████████▍                                                                                         | 99/410 [11:40<35:17,  6.81s/it]
+
mmlu_fr:  24%|████████████████████████████▌                                                                                        | 100/410 [11:47<35:23,  6.85s/it]
+
mmlu_fr:  25%|████████████████████████████▊                                                                                        | 101/410 [11:54<35:38,  6.92s/it]
+
mmlu_fr:  25%|█████████████████████████████                                                                                        | 102/410 [12:02<37:12,  7.25s/it]
+
mmlu_fr:  25%|█████████████████████████████▍                                                                                       | 103/410 [12:09<37:08,  7.26s/it]
+
mmlu_fr:  25%|█████████████████████████████▋                                                                                       | 104/410 [12:17<36:56,  7.24s/it]
+
mmlu_fr:  26%|█████████████████████████████▉                                                                                       | 105/410 [12:24<36:29,  7.18s/it]
+
mmlu_fr:  26%|██████████████████████████████▏                                                                                      | 106/410 [12:31<36:25,  7.19s/it]
+
mmlu_fr:  26%|██████████████████████████████▌                                                                                      | 107/410 [12:38<35:49,  7.09s/it]
+
mmlu_fr:  26%|██████████████████████████████▊                                                                                      | 108/410 [12:45<35:26,  7.04s/it]
+
mmlu_fr:  27%|███████████████████████████████                                                                                      | 109/410 [12:51<34:25,  6.86s/it]
+
mmlu_fr:  27%|███████████████████████████████▍                                                                                     | 110/410 [12:58<34:17,  6.86s/it]
+
mmlu_fr:  27%|███████████████████████████████▋                                                                                     | 111/410 [13:05<34:27,  6.92s/it]
+
mmlu_fr:  27%|███████████████████████████████▉                                                                                     | 112/410 [13:12<34:33,  6.96s/it]
+
mmlu_fr:  28%|████████████████████████████████▏                                                                                    | 113/410 [13:19<34:44,  7.02s/it]
+
mmlu_fr:  28%|████████████████████████████████▌                                                                                    | 114/410 [13:26<34:30,  6.99s/it]
+
mmlu_fr:  28%|████████████████████████████████▊                                                                                    | 115/410 [13:33<33:57,  6.91s/it]
+
mmlu_fr:  28%|█████████████████████████████████                                                                                    | 116/410 [13:40<34:20,  7.01s/it]
+
mmlu_fr:  29%|█████████████████████████████████▍                                                                                   | 117/410 [13:46<32:56,  6.74s/it]
+
mmlu_fr:  29%|█████████████████████████████████▋                                                                                   | 118/410 [13:54<33:44,  6.93s/it]
+
mmlu_fr:  29%|█████████████████████████████████▉                                                                                   | 119/410 [14:02<35:19,  7.28s/it]
+
mmlu_fr:  29%|██████████████████████████████████▏                                                                                  | 120/410 [14:09<35:28,  7.34s/it]
+
mmlu_fr:  30%|██████████████████████████████████▌                                                                                  | 121/410 [14:17<35:29,  7.37s/it]
+
mmlu_fr:  30%|██████████████████████████████████▊                                                                                  | 122/410 [14:24<35:34,  7.41s/it]
+
mmlu_fr:  30%|███████████████████████████████████                                                                                  | 123/410 [14:31<34:24,  7.19s/it]
+
mmlu_fr:  30%|███████████████████████████████████▍                                                                                 | 124/410 [14:39<35:10,  7.38s/it]
+
mmlu_fr:  30%|███████████████████████████████████▋                                                                                 | 125/410 [14:45<33:56,  7.15s/it]
+
mmlu_fr:  31%|███████████████████████████████████▉                                                                                 | 126/410 [14:51<32:15,  6.81s/it]
+
mmlu_fr:  31%|████████████████████████████████████▏                                                                                | 127/410 [14:59<33:19,  7.07s/it]
+
mmlu_fr:  31%|████████████████████████████████████▌                                                                                | 128/410 [15:06<33:55,  7.22s/it]
+
mmlu_fr:  31%|████████████████████████████████████▊                                                                                | 129/410 [15:14<33:41,  7.20s/it]
+
mmlu_fr:  32%|█████████████████████████████████████                                                                                | 130/410 [15:21<33:18,  7.14s/it]
+
mmlu_fr:  32%|█████████████████████████████████████▍                                                                               | 131/410 [15:28<33:58,  7.31s/it]
+
mmlu_fr:  32%|█████████████████████████████████████▋                                                                               | 132/410 [15:35<33:10,  7.16s/it]
+
mmlu_fr:  32%|█████████████████████████████████████▉                                                                               | 133/410 [15:42<32:32,  7.05s/it]
+
mmlu_fr:  33%|██████████████████████████████████████▏                                                                              | 134/410 [15:49<32:02,  6.96s/it]
+
mmlu_fr:  33%|██████████████████████████████████████▌                                                                              | 135/410 [15:56<32:24,  7.07s/it]
+
mmlu_fr:  33%|██████████████████████████████████████▊                                                                              | 136/410 [16:03<31:45,  6.95s/it]
+
mmlu_fr:  33%|███████████████████████████████████████                                                                              | 137/410 [16:11<32:53,  7.23s/it]
+
mmlu_fr:  34%|███████████████████████████████████████▍                                                                             | 138/410 [16:17<31:26,  6.94s/it]
+
mmlu_fr:  34%|███████████████████████████████████████▋                                                                             | 139/410 [16:24<32:09,  7.12s/it]
+
mmlu_fr:  34%|███████████████████████████████████████▉                                                                             | 140/410 [16:31<31:36,  7.03s/it]
+
mmlu_fr:  34%|████████████████████████████████████████▏                                                                            | 141/410 [16:38<31:17,  6.98s/it]
+
mmlu_fr:  35%|████████████████████████████████████████▌                                                                            | 142/410 [16:46<31:50,  7.13s/it]
+
mmlu_fr:  35%|████████████████████████████████████████▊                                                                            | 143/410 [16:53<31:37,  7.11s/it]
+
mmlu_fr:  35%|█████████████████████████████████████████                                                                            | 144/410 [17:00<31:48,  7.17s/it]
+
mmlu_fr:  35%|█████████████████████████████████████████▍                                                                           | 145/410 [17:07<31:42,  7.18s/it]
+
mmlu_fr:  36%|█████████████████████████████████████████▋                                                                           | 146/410 [17:14<31:03,  7.06s/it]
+
mmlu_fr:  36%|█████████████████████████████████████████▉                                                                           | 147/410 [17:21<30:49,  7.03s/it]
+
mmlu_fr:  36%|██████████████████████████████████████████▏                                                                          | 148/410 [17:27<30:05,  6.89s/it]
+
mmlu_fr:  36%|██████████████████████████████████████████▌                                                                          | 149/410 [17:34<29:46,  6.84s/it]
+
mmlu_fr:  37%|██████████████████████████████████████████▊                                                                          | 150/410 [17:42<30:36,  7.06s/it]
+
mmlu_fr:  37%|███████████████████████████████████████████                                                                          | 151/410 [17:49<30:46,  7.13s/it]
+
mmlu_fr:  37%|███████████████████████████████████████████▍                                                                         | 152/410 [17:56<30:05,  7.00s/it]
+
mmlu_fr:  37%|███████████████████████████████████████████▋                                                                         | 153/410 [18:04<31:37,  7.38s/it]
+
mmlu_fr:  38%|███████████████████████████████████████████▉                                                                         | 154/410 [18:11<31:39,  7.42s/it]
+
mmlu_fr:  38%|████████████████████████████████████████████▏                                                                        | 155/410 [18:18<30:37,  7.21s/it]
+
mmlu_fr:  38%|████████████████████████████████████████████▌                                                                        | 156/410 [18:26<31:11,  7.37s/it]
+
mmlu_fr:  38%|████████████████████████████████████████████▊                                                                        | 157/410 [18:33<30:22,  7.20s/it]
+
mmlu_fr:  39%|█████████████████████████████████████████████                                                                        | 158/410 [18:40<30:45,  7.32s/it]
+
mmlu_fr:  39%|█████████████████████████████████████████████▎                                                                       | 159/410 [18:47<30:06,  7.20s/it]
+
mmlu_fr:  39%|█████████████████████████████████████████████▋                                                                       | 160/410 [18:56<31:29,  7.56s/it]
+
mmlu_fr:  39%|█████████████████████████████████████████████▉                                                                       | 161/410 [19:03<30:40,  7.39s/it]
+
mmlu_fr:  40%|██████████████████████████████████████████████▏                                                                      | 162/410 [19:11<31:17,  7.57s/it]
+
mmlu_fr:  40%|██████████████████████████████████████████████▌                                                                      | 163/410 [19:17<30:06,  7.32s/it]
+
mmlu_fr:  40%|██████████████████████████████████████████████▊                                                                      | 164/410 [19:25<29:49,  7.27s/it]
+
mmlu_fr:  40%|███████████████████████████████████████████████                                                                      | 165/410 [19:31<28:58,  7.10s/it]
+
mmlu_fr:  40%|███████████████████████████████████████████████▎                                                                     | 166/410 [19:38<28:15,  6.95s/it]
+
mmlu_fr:  41%|███████████████████████████████████████████████▋                                                                     | 167/410 [19:45<28:51,  7.13s/it]
+
mmlu_fr:  41%|███████████████████████████████████████████████▉                                                                     | 168/410 [19:52<28:10,  6.99s/it]
+
mmlu_fr:  41%|████████████████████████████████████████████████▏                                                                    | 169/410 [19:59<28:12,  7.02s/it]
+
mmlu_fr:  41%|████████████████████████████████████████████████▌                                                                    | 170/410 [20:06<27:46,  6.95s/it]
+
mmlu_fr:  42%|████████████████████████████████████████████████▊                                                                    | 171/410 [20:13<28:01,  7.03s/it]
+
mmlu_fr:  42%|█████████████████████████████████████████████████                                                                    | 172/410 [20:20<27:36,  6.96s/it]
+
mmlu_fr:  42%|█████████████████████████████████████████████████▎                                                                   | 173/410 [20:27<27:34,  6.98s/it]
+
mmlu_fr:  42%|█████████████████████████████████████████████████▋                                                                   | 174/410 [20:34<27:16,  6.94s/it]
+
mmlu_fr:  43%|█████████████████████████████████████████████████▉                                                                   | 175/410 [20:41<27:16,  6.96s/it]
+
mmlu_fr:  43%|██████████████████████████████████████████████████▏                                                                  | 176/410 [20:48<27:49,  7.14s/it]
+
mmlu_fr:  43%|██████████████████████████████████████████████████▌                                                                  | 177/410 [20:56<27:47,  7.16s/it]
+
mmlu_fr:  43%|██████████████████████████████████████████████████▊                                                                  | 178/410 [21:04<28:37,  7.40s/it]
+
mmlu_fr:  44%|███████████████████████████████████████████████████                                                                  | 179/410 [21:10<27:22,  7.11s/it]
+
mmlu_fr:  44%|███████████████████████████████████████████████████▎                                                                 | 180/410 [21:17<27:43,  7.23s/it]
+
mmlu_fr:  44%|███████████████████████████████████████████████████▋                                                                 | 181/410 [21:25<27:45,  7.27s/it]
+
mmlu_fr:  44%|███████████████████████████████████████████████████▉                                                                 | 182/410 [21:32<27:24,  7.21s/it]
+
mmlu_fr:  45%|████████████████████████████████████████████████████▏                                                                | 183/410 [21:39<26:44,  7.07s/it]
+
mmlu_fr:  45%|████████████████████████████████████████████████████▌                                                                | 184/410 [21:46<26:56,  7.15s/it]
+
mmlu_fr:  45%|████████████████████████████████████████████████████▊                                                                | 185/410 [21:53<26:49,  7.15s/it]
+
mmlu_fr:  45%|█████████████████████████████████████████████████████                                                                | 186/410 [22:00<26:08,  7.00s/it]
+
mmlu_fr:  46%|█████████████████████████████████████████████████████▎                                                               | 187/410 [22:07<25:58,  6.99s/it]
+
mmlu_fr:  46%|█████████████████████████████████████████████████████▋                                                               | 188/410 [22:13<25:22,  6.86s/it]
+
mmlu_fr:  46%|█████████████████████████████████████████████████████▉                                                               | 189/410 [22:20<24:44,  6.72s/it]
+
mmlu_fr:  46%|██████████████████████████████████████████████████████▏                                                              | 190/410 [22:27<25:11,  6.87s/it]
+
mmlu_fr:  47%|██████████████████████████████████████████████████████▌                                                              | 191/410 [22:34<25:31,  6.99s/it]
+
mmlu_fr:  47%|██████████████████████████████████████████████████████▊                                                              | 192/410 [22:41<25:22,  6.98s/it]
+
mmlu_fr:  47%|███████████████████████████████████████████████████████                                                              | 193/410 [22:48<24:51,  6.87s/it]
+
mmlu_fr:  47%|███████████████████████████████████████████████████████▎                                                             | 194/410 [22:55<24:47,  6.89s/it]
+
mmlu_fr:  48%|███████████████████████████████████████████████████████▋                                                             | 195/410 [23:01<24:32,  6.85s/it]
+
mmlu_fr:  48%|███████████████████████████████████████████████████████▉                                                             | 196/410 [23:09<24:48,  6.96s/it]
+
mmlu_fr:  48%|████████████████████████████████████████████████████████▏                                                            | 197/410 [23:15<23:52,  6.72s/it]
+
mmlu_fr:  48%|████████████████████████████████████████████████████████▌                                                            | 198/410 [23:21<23:38,  6.69s/it]
+
mmlu_fr:  49%|████████████████████████████████████████████████████████▊                                                            | 199/410 [23:28<23:43,  6.75s/it]
+
mmlu_fr:  49%|█████████████████████████████████████████████████████████                                                            | 200/410 [23:34<22:49,  6.52s/it]
+
mmlu_fr:  49%|█████████████████████████████████████████████████████████▎                                                           | 201/410 [23:41<23:07,  6.64s/it]
+
mmlu_fr:  49%|█████████████████████████████████████████████████████████▋                                                           | 202/410 [23:48<22:38,  6.53s/it]
+
mmlu_fr:  50%|█████████████████████████████████████████████████████████▉                                                           | 203/410 [23:54<22:49,  6.61s/it]
+
mmlu_fr:  50%|██████████████████████████████████████████████████████████▏                                                          | 204/410 [24:01<23:04,  6.72s/it]
+
mmlu_fr:  50%|██████████████████████████████████████████████████████████▌                                                          | 205/410 [24:08<22:36,  6.62s/it]
+
mmlu_fr:  50%|██████████████████████████████████████████████████████████▊                                                          | 206/410 [24:15<23:18,  6.85s/it]
+
mmlu_fr:  50%|███████████████████████████████████████████████████████████                                                          | 207/410 [24:21<22:19,  6.60s/it]
+
mmlu_fr:  51%|███████████████████████████████████████████████████████████▎                                                         | 208/410 [24:28<22:58,  6.82s/it]
+
mmlu_fr:  51%|███████████████████████████████████████████████████████████▋                                                         | 209/410 [24:36<23:36,  7.05s/it]
+
mmlu_fr:  51%|███████████████████████████████████████████████████████████▉                                                         | 210/410 [24:43<23:12,  6.96s/it]
+
mmlu_fr:  51%|████████████████████████████████████████████████████████████▏                                                        | 211/410 [24:50<22:52,  6.90s/it]
+
mmlu_fr:  52%|████████████████████████████████████████████████████████████▍                                                        | 212/410 [24:57<23:05,  7.00s/it]
+
mmlu_fr:  52%|████████████████████████████████████████████████████████████▊                                                        | 213/410 [25:04<23:00,  7.01s/it]
+
mmlu_fr:  52%|█████████████████████████████████████████████████████████████                                                        | 214/410 [25:12<23:37,  7.23s/it]
+
mmlu_fr:  52%|█████████████████████████████████████████████████████████████▎                                                       | 215/410 [25:19<23:22,  7.19s/it]
+
mmlu_fr:  53%|█████████████████████████████████████████████████████████████▋                                                       | 216/410 [25:25<22:33,  6.98s/it]
+
mmlu_fr:  53%|█████████████████████████████████████████████████████████████▉                                                       | 217/410 [25:32<22:07,  6.88s/it]
+
mmlu_fr:  53%|██████████████████████████████████████████████████████████████▏                                                      | 218/410 [25:39<22:33,  7.05s/it]
+
mmlu_fr:  53%|██████████████████████████████████████████████████████████████▍                                                      | 219/410 [25:46<22:14,  6.99s/it]
+
mmlu_fr:  54%|██████████████████████████████████████████████████████████████▊                                                      | 220/410 [25:52<21:34,  6.81s/it]
+
mmlu_fr:  54%|███████████████████████████████████████████████████████████████                                                      | 221/410 [25:59<21:36,  6.86s/it]
+
mmlu_fr:  54%|███████████████████████████████████████████████████████████████▎                                                     | 222/410 [26:06<21:26,  6.84s/it]
+
mmlu_fr:  54%|███████████████████████████████████████████████████████████████▋                                                     | 223/410 [26:13<21:15,  6.82s/it]
+
mmlu_fr:  55%|███████████████████████████████████████████████████████████████▉                                                     | 224/410 [26:21<21:56,  7.08s/it]
+
mmlu_fr:  55%|████████████████████████████████████████████████████████████████▏                                                    | 225/410 [26:27<21:33,  6.99s/it]
+
mmlu_fr:  55%|████████████████████████████████████████████████████████████████▍                                                    | 226/410 [26:34<21:13,  6.92s/it]
+
mmlu_fr:  55%|████████████████████████████████████████████████████████████████▊                                                    | 227/410 [26:41<21:18,  6.99s/it]
+
mmlu_fr:  56%|█████████████████████████████████████████████████████████████████                                                    | 228/410 [26:48<20:54,  6.89s/it]
+
mmlu_fr:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 229/410 [26:55<20:28,  6.79s/it]
+
mmlu_fr:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 230/410 [27:04<22:17,  7.43s/it]
+
mmlu_fr:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 231/410 [27:11<22:16,  7.47s/it]
+
mmlu_fr:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 232/410 [27:18<21:48,  7.35s/it]
+
mmlu_fr:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 233/410 [27:25<21:19,  7.23s/it]
+
mmlu_fr:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 234/410 [27:34<22:15,  7.59s/it]
+
mmlu_fr:  57%|███████████████████████████████████████████████████████████████████                                                  | 235/410 [27:40<21:01,  7.21s/it]
+
mmlu_fr:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 236/410 [27:47<20:35,  7.10s/it]
+
mmlu_fr:  58%|███████████████████████████████████████████████████████████████████▋                                                 | 237/410 [27:53<20:13,  7.01s/it]
+
mmlu_fr:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 238/410 [28:00<19:33,  6.82s/it]
+
mmlu_fr:  58%|████████████████████████████████████████████████████████████████████▏                                                | 239/410 [28:07<19:24,  6.81s/it]
+
mmlu_fr:  59%|████████████████████████████████████████████████████████████████████▍                                                | 240/410 [28:14<19:32,  6.90s/it]
+
mmlu_fr:  59%|████████████████████████████████████████████████████████████████████▊                                                | 241/410 [28:21<19:25,  6.90s/it]
+
mmlu_fr:  59%|█████████████████████████████████████████████████████████████████████                                                | 242/410 [28:28<19:46,  7.06s/it]
+
mmlu_fr:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 243/410 [28:36<20:05,  7.22s/it]
+
mmlu_fr:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 244/410 [28:43<20:15,  7.32s/it]
+
mmlu_fr:  60%|█████████████████████████████████████████████████████████████████████▉                                               | 245/410 [28:50<20:04,  7.30s/it]
+
mmlu_fr:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 246/410 [28:58<20:23,  7.46s/it]
+
mmlu_fr:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 247/410 [29:04<19:08,  7.05s/it]
+
mmlu_fr:  60%|██████████████████████████████████████████████████████████████████████▊                                              | 248/410 [29:11<18:35,  6.89s/it]
+
mmlu_fr:  61%|███████████████████████████████████████████████████████████████████████                                              | 249/410 [29:19<19:17,  7.19s/it]
+
mmlu_fr:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 250/410 [29:25<18:16,  6.85s/it]
+
mmlu_fr:  61%|███████████████████████████████████████████████████████████████████████▋                                             | 251/410 [29:32<17:59,  6.79s/it]
+
mmlu_fr:  61%|███████████████████████████████████████████████████████████████████████▉                                             | 252/410 [29:38<17:52,  6.79s/it]
+
mmlu_fr:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 253/410 [29:45<17:27,  6.67s/it]
+
mmlu_fr:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 254/410 [29:51<17:17,  6.65s/it]
+
mmlu_fr:  62%|████████████████████████████████████████████████████████████████████████▊                                            | 255/410 [29:58<17:07,  6.63s/it]
+
mmlu_fr:  62%|█████████████████████████████████████████████████████████████████████████                                            | 256/410 [30:05<17:37,  6.87s/it]
+
mmlu_fr:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 257/410 [30:12<17:36,  6.90s/it]
+
mmlu_fr:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 258/410 [30:20<17:43,  7.00s/it]
+
mmlu_fr:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 259/410 [30:27<17:51,  7.10s/it]
+
mmlu_fr:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 260/410 [30:34<17:25,  6.97s/it]
+
mmlu_fr:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 261/410 [30:40<17:17,  6.96s/it]
+
mmlu_fr:  64%|██████████████████████████████████████████████████████████████████████████▊                                          | 262/410 [30:47<17:07,  6.94s/it]
+
mmlu_fr:  64%|███████████████████████████████████████████████████████████████████████████                                          | 263/410 [30:54<16:51,  6.88s/it]
+
mmlu_fr:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 264/410 [31:01<17:05,  7.02s/it]
+
mmlu_fr:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 265/410 [31:09<17:03,  7.06s/it]
+
mmlu_fr:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 266/410 [31:15<16:35,  6.92s/it]
+
mmlu_fr:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 267/410 [31:22<16:11,  6.79s/it]
+
mmlu_fr:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 268/410 [31:28<15:57,  6.74s/it]
+
mmlu_fr:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 269/410 [31:36<16:10,  6.88s/it]
+
mmlu_fr:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 270/410 [31:43<16:24,  7.03s/it]
+
mmlu_fr:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 271/410 [31:50<16:06,  6.95s/it]
+
mmlu_fr:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 272/410 [31:56<15:49,  6.88s/it]
+
mmlu_fr:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 273/410 [32:03<15:29,  6.79s/it]
+
mmlu_fr:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 274/410 [32:11<15:57,  7.04s/it]
+
mmlu_fr:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 275/410 [32:17<15:40,  6.97s/it]
+
mmlu_fr:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 276/410 [32:24<15:32,  6.96s/it]
+
mmlu_fr:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 277/410 [32:33<16:31,  7.46s/it]
+
mmlu_fr:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 278/410 [32:40<16:22,  7.44s/it]
+
mmlu_fr:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 279/410 [32:48<16:07,  7.38s/it]
+
mmlu_fr:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 280/410 [32:55<16:10,  7.46s/it]
+
mmlu_fr:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 281/410 [33:01<15:15,  7.09s/it]
+
mmlu_fr:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 282/410 [33:08<14:52,  6.98s/it]
+
mmlu_fr:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 283/410 [33:15<14:33,  6.87s/it]
+
mmlu_fr:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 284/410 [33:21<14:17,  6.81s/it]
+
mmlu_fr:  70%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 285/410 [33:27<13:33,  6.51s/it]
+
mmlu_fr:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 286/410 [33:34<13:48,  6.68s/it]
+
mmlu_fr:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 287/410 [33:41<13:30,  6.59s/it]
+
mmlu_fr:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 288/410 [33:48<13:56,  6.85s/it]
+
mmlu_fr:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 289/410 [33:55<13:52,  6.88s/it]
+
mmlu_fr:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 290/410 [34:01<13:03,  6.53s/it]
+
mmlu_fr:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 291/410 [34:08<13:15,  6.69s/it]
+
mmlu_fr:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 292/410 [34:16<13:52,  7.06s/it]
+
mmlu_fr:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 293/410 [34:22<13:12,  6.78s/it]
+
mmlu_fr:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 294/410 [34:29<13:19,  6.89s/it]
+
mmlu_fr:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 295/410 [34:36<13:17,  6.93s/it]
+
mmlu_fr:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 296/410 [34:42<12:40,  6.67s/it]
+
mmlu_fr:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 297/410 [34:49<12:26,  6.61s/it]
+
mmlu_fr:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 298/410 [34:56<12:39,  6.78s/it]
+
mmlu_fr:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 299/410 [35:03<12:55,  6.99s/it]
+
mmlu_fr:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 300/410 [35:10<12:36,  6.88s/it]
+
mmlu_fr:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 301/410 [35:17<12:29,  6.88s/it]
+
mmlu_fr:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 302/410 [35:24<12:30,  6.95s/it]
+
mmlu_fr:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 303/410 [35:31<12:16,  6.89s/it]
+
mmlu_fr:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 304/410 [35:39<12:47,  7.24s/it]
+
mmlu_fr:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 305/410 [35:45<12:09,  6.95s/it]
+
mmlu_fr:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 306/410 [35:52<12:09,  7.01s/it]
+
mmlu_fr:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 307/410 [35:59<11:54,  6.94s/it]
+
mmlu_fr:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 308/410 [36:06<11:39,  6.86s/it]
+
mmlu_fr:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 309/410 [36:13<12:03,  7.16s/it]
+
mmlu_fr:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 310/410 [36:22<12:23,  7.43s/it]
+
mmlu_fr:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 311/410 [36:28<11:51,  7.18s/it]
+
mmlu_fr:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 312/410 [36:35<11:38,  7.13s/it]
+
mmlu_fr:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 313/410 [36:43<11:40,  7.22s/it]
+
mmlu_fr:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 314/410 [36:51<12:06,  7.57s/it]
+
mmlu_fr:  77%|█████████████████████████████████████████████████████████████████████████████████████████▉                           | 315/410 [36:58<11:41,  7.38s/it]
+
mmlu_fr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 316/410 [37:07<12:12,  7.79s/it]
+
mmlu_fr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 317/410 [37:13<11:19,  7.30s/it]
+
mmlu_fr:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 318/410 [37:20<11:06,  7.24s/it]
+
mmlu_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 319/410 [37:27<11:02,  7.28s/it]
+
mmlu_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 320/410 [37:34<10:47,  7.19s/it]
+
mmlu_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 321/410 [37:41<10:18,  6.94s/it]
+
mmlu_fr:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 322/410 [37:47<10:06,  6.90s/it]
+
mmlu_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 323/410 [37:55<10:16,  7.09s/it]
+
mmlu_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 324/410 [38:02<10:20,  7.21s/it]
+
mmlu_fr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 325/410 [38:09<09:57,  7.03s/it]
+
mmlu_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████                        | 326/410 [38:16<09:46,  6.99s/it]
+
mmlu_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 327/410 [38:23<09:36,  6.95s/it]
+
mmlu_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 328/410 [38:30<09:37,  7.05s/it]
+
mmlu_fr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 329/410 [38:37<09:37,  7.13s/it]
+
mmlu_fr:  80%|██████████████████████████████████████████████████████████████████████████████████████████████▏                      | 330/410 [38:44<09:26,  7.08s/it]
+
mmlu_fr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 331/410 [38:52<09:21,  7.10s/it]
+
mmlu_fr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 332/410 [38:58<09:07,  7.02s/it]
+
mmlu_fr:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 333/410 [39:06<09:06,  7.09s/it]
+
mmlu_fr:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 334/410 [39:12<08:48,  6.95s/it]
+
mmlu_fr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 335/410 [39:19<08:30,  6.81s/it]
+
mmlu_fr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 336/410 [39:26<08:27,  6.86s/it]
+
mmlu_fr:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 337/410 [39:32<08:17,  6.82s/it]
+
mmlu_fr:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 338/410 [39:40<08:27,  7.04s/it]
+
mmlu_fr:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 339/410 [39:47<08:21,  7.07s/it]
+
mmlu_fr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 340/410 [39:54<08:14,  7.06s/it]
+
mmlu_fr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 341/410 [40:01<08:00,  6.96s/it]
+
mmlu_fr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 342/410 [40:08<07:54,  6.97s/it]
+
mmlu_fr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 343/410 [40:15<07:43,  6.91s/it]
+
mmlu_fr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 344/410 [40:21<07:34,  6.89s/it]
+
mmlu_fr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 345/410 [40:28<07:20,  6.78s/it]
+
mmlu_fr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 346/410 [40:35<07:24,  6.94s/it]
+
mmlu_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 347/410 [40:42<07:12,  6.86s/it]
+
mmlu_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 348/410 [40:49<07:04,  6.85s/it]
+
mmlu_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 349/410 [40:55<06:54,  6.80s/it]
+
mmlu_fr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 350/410 [41:03<07:06,  7.11s/it]
+
mmlu_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 351/410 [41:10<06:52,  6.99s/it]
+
mmlu_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 352/410 [41:17<06:37,  6.85s/it]
+
mmlu_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 353/410 [41:24<06:47,  7.16s/it]
+
mmlu_fr:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 354/410 [41:31<06:30,  6.98s/it]
+
mmlu_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 355/410 [41:38<06:16,  6.85s/it]
+
mmlu_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 356/410 [41:45<06:21,  7.06s/it]
+
mmlu_fr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 357/410 [41:52<06:14,  7.06s/it]
+
mmlu_fr:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 358/410 [41:59<05:56,  6.85s/it]
+
mmlu_fr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 359/410 [42:05<05:47,  6.81s/it]
+
mmlu_fr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 360/410 [42:12<05:43,  6.88s/it]
+
mmlu_fr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 361/410 [42:20<05:44,  7.03s/it]
+
mmlu_fr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 362/410 [42:27<05:44,  7.17s/it]
+
mmlu_fr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 363/410 [42:34<05:35,  7.13s/it]
+
mmlu_fr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 364/410 [42:41<05:19,  6.94s/it]
+
mmlu_fr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 365/410 [42:47<05:08,  6.87s/it]
+
mmlu_fr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/410 [42:56<05:28,  7.46s/it]
+
mmlu_fr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 367/410 [43:04<05:27,  7.62s/it]
+
mmlu_fr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 368/410 [43:12<05:25,  7.75s/it]
+
mmlu_fr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 369/410 [43:20<05:19,  7.79s/it]
+
mmlu_fr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 370/410 [43:27<04:58,  7.47s/it]
+
mmlu_fr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 371/410 [43:34<04:43,  7.28s/it]
+
mmlu_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 372/410 [43:41<04:31,  7.15s/it]
+
mmlu_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 373/410 [43:47<04:19,  7.00s/it]
+
mmlu_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 374/410 [43:55<04:19,  7.21s/it]
+
mmlu_fr:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 375/410 [44:03<04:19,  7.42s/it]
+
mmlu_fr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 376/410 [44:10<04:05,  7.22s/it]
+
mmlu_fr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 377/410 [44:17<04:01,  7.32s/it]
+
mmlu_fr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 378/410 [44:24<03:54,  7.32s/it]
+
mmlu_fr:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 379/410 [44:32<03:49,  7.42s/it]
+
mmlu_fr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 380/410 [44:39<03:41,  7.38s/it]
+
mmlu_fr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 381/410 [44:46<03:30,  7.26s/it]
+
mmlu_fr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 382/410 [44:54<03:23,  7.26s/it]
+
mmlu_fr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 383/410 [45:01<03:13,  7.16s/it]
+
mmlu_fr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 384/410 [45:07<03:04,  7.09s/it]
+
mmlu_fr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 385/410 [45:14<02:56,  7.05s/it]
+
mmlu_fr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 386/410 [45:21<02:47,  6.99s/it]
+
mmlu_fr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 387/410 [45:29<02:47,  7.30s/it]
+
mmlu_fr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 388/410 [45:36<02:38,  7.22s/it]
+
mmlu_fr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 389/410 [45:43<02:30,  7.15s/it]
+
mmlu_fr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 390/410 [45:50<02:20,  7.02s/it]
+
mmlu_fr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 391/410 [45:57<02:11,  6.93s/it]
+
mmlu_fr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 392/410 [46:04<02:05,  6.97s/it]
+
mmlu_fr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 393/410 [46:11<01:57,  6.90s/it]
+
mmlu_fr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 394/410 [46:18<01:53,  7.09s/it]
+
mmlu_fr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 395/410 [46:25<01:47,  7.14s/it]
+
mmlu_fr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 396/410 [46:32<01:38,  7.04s/it]
+
mmlu_fr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 397/410 [46:40<01:36,  7.42s/it]
+
mmlu_fr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 398/410 [46:48<01:29,  7.45s/it]
+
mmlu_fr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 399/410 [46:55<01:19,  7.20s/it]
+
mmlu_fr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 400/410 [47:01<01:10,  7.10s/it]
+
mmlu_fr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 401/410 [47:10<01:07,  7.52s/it]
+
mmlu_fr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 402/410 [47:17<00:58,  7.36s/it]
+
mmlu_fr:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 403/410 [47:24<00:50,  7.20s/it]
+
mmlu_fr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/410 [47:32<00:44,  7.36s/it]
+
mmlu_fr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 405/410 [47:39<00:37,  7.47s/it]
+
mmlu_fr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 406/410 [47:46<00:29,  7.26s/it]
+
mmlu_fr:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 407/410 [47:53<00:21,  7.06s/it]
+
mmlu_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 408/410 [48:00<00:14,  7.17s/it]
+
mmlu_fr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 409/410 [48:07<00:07,  7.01s/it]
+
mmlu_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [48:11<00:00,  6.32s/it]
mmlu_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [48:11<00:00,  7.05s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_fr_acc 0.39439309449239934
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_fr_acc_norm 0.34886563287754946
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:58:47,010 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:58:47,010 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:47,133 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:58:47,133 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:47,254 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:58:47,254 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:47,375 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:58:47,376 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 22:58:47,376 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 22:58:47,499 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 22:58:47,499 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_fr_acc'}
+2024-05-30 22:58:47,561 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 22:58:47,561 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1217, 'value': 0.39439309449239934}
+2024-05-30 22:58:47,623 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:58:48,240 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:58:48,240 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:48,362 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:58:48,362 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:48,483 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:58:48,483 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:48,604 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:58:48,605 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-30 22:58:48,605 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-30 22:58:48,727 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-30 22:58:48,727 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_fr_acc_norm'}
+2024-05-30 22:58:48,789 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-30 22:58:48,789 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1218, 'value': 0.34886563287754946}
+2024-05-30 22:58:48,850 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  56%|████████████████████████████████████████████████████████████▉                                               | 70/124 [40:11:18<46:53:35, 3126.21s/it]['mmlu_gu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-30 22:58:49,503 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-30 22:58:49,503 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:49,632 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-30 22:58:49,632 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:49,761 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-30 22:58:49,761 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-30 22:58:49,890 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-30 22:58:49,891 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-30 22:58:49,891 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_gu'}
+2024-05-30 22:58:50,021 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_gu task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  9.98 examples/s]
+
Generating test split: 3283 examples [00:00, 19293.22 examples/s]
+
Generating test split: 6789 examples [00:00, 26071.31 examples/s]
+
Generating test split: 10000 examples [00:00, 28287.22 examples/s]
Generating test split: 11635 examples [00:00, 25243.56 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 243 examples [00:00, 25559.63 examples/s]
+Running loglikelihood requests
+
+
mmlu_gu:   0%|                                                                                                                               | 0/364 [00:00<?, ?it/s]
+
mmlu_gu:   0%|▎                                                                                                                    | 1/364 [00:21<2:10:48, 21.62s/it]
+
mmlu_gu:   1%|▋                                                                                                                    | 2/364 [00:40<1:59:17, 19.77s/it]
+
mmlu_gu:   1%|▉                                                                                                                    | 3/364 [01:04<2:10:49, 21.74s/it]
+
mmlu_gu:   1%|█▎                                                                                                                   | 4/364 [01:19<1:55:52, 19.31s/it]
+
mmlu_gu:   1%|█▌                                                                                                                   | 5/364 [01:53<2:25:42, 24.35s/it]
+
mmlu_gu:   2%|█▉                                                                                                                   | 6/364 [02:09<2:09:44, 21.74s/it]
+
mmlu_gu:   2%|██▎                                                                                                                  | 7/364 [02:28<2:04:08, 20.86s/it]
+
mmlu_gu:   2%|██▌                                                                                                                  | 8/364 [02:50<2:05:29, 21.15s/it]
+
mmlu_gu:   2%|██▉                                                                                                                  | 9/364 [03:12<2:07:04, 21.48s/it]
+
mmlu_gu:   3%|███▏                                                                                                                | 10/364 [03:37<2:12:23, 22.44s/it]
+
mmlu_gu:   3%|███▌                                                                                                                | 11/364 [03:56<2:06:50, 21.56s/it]
+
mmlu_gu:   3%|███▊                                                                                                                | 12/364 [04:26<2:21:18, 24.09s/it]
+
mmlu_gu:   4%|████▏                                                                                                               | 13/364 [04:48<2:15:49, 23.22s/it]
+
mmlu_gu:   4%|████▍                                                                                                               | 14/364 [05:08<2:10:41, 22.40s/it]
+
mmlu_gu:   4%|████▊                                                                                                               | 15/364 [05:27<2:04:16, 21.37s/it]
+
mmlu_gu:   4%|█████                                                                                                               | 16/364 [05:46<1:59:11, 20.55s/it]
+
mmlu_gu:   5%|█████▍                                                                                                              | 17/364 [06:06<1:58:20, 20.46s/it]
+
mmlu_gu:   5%|█████▋                                                                                                              | 18/364 [06:30<2:04:43, 21.63s/it]
+
mmlu_gu:   5%|██████                                                                                                              | 19/364 [06:53<2:05:58, 21.91s/it]
+
mmlu_gu:   5%|██████▎                                                                                                             | 20/364 [07:14<2:03:54, 21.61s/it]
+
mmlu_gu:   6%|██████▋                                                                                                             | 21/364 [07:39<2:10:01, 22.75s/it]
+
mmlu_gu:   6%|███████                                                                                                             | 22/364 [08:02<2:10:06, 22.83s/it]
+
mmlu_gu:   6%|███████▎                                                                                                            | 23/364 [08:21<2:02:38, 21.58s/it]
+
mmlu_gu:   7%|███████▋                                                                                                            | 24/364 [08:38<1:54:38, 20.23s/it]
+
mmlu_gu:   7%|███████▉                                                                                                            | 25/364 [08:56<1:50:56, 19.64s/it]
+
mmlu_gu:   7%|████████▎                                                                                                           | 26/364 [09:22<2:00:41, 21.42s/it]
+
mmlu_gu:   7%|████████▌                                                                                                           | 27/364 [09:39<1:53:52, 20.28s/it]
+
mmlu_gu:   8%|████████▉                                                                                                           | 28/364 [10:01<1:56:28, 20.80s/it]
+
mmlu_gu:   8%|█████████▏                                                                                                          | 29/364 [10:22<1:56:10, 20.81s/it]
+
mmlu_gu:   8%|█████████▌                                                                                                          | 30/364 [10:41<1:51:59, 20.12s/it]
+
mmlu_gu:   9%|█████████▉                                                                                                          | 31/364 [11:09<2:05:02, 22.53s/it]
+
mmlu_gu:   9%|██████████▏                                                                                                         | 32/364 [11:30<2:01:58, 22.04s/it]
+
mmlu_gu:   9%|██████████▌                                                                                                         | 33/364 [11:50<1:57:56, 21.38s/it]
+
mmlu_gu:   9%|██████████▊                                                                                                         | 34/364 [12:09<1:54:36, 20.84s/it]
+
mmlu_gu:  10%|███████████▏                                                                                                        | 35/364 [12:26<1:48:20, 19.76s/it]
+
mmlu_gu:  10%|███████████▍                                                                                                        | 36/364 [12:53<1:59:38, 21.88s/it]
+
mmlu_gu:  10%|███████████▊                                                                                                        | 37/364 [13:15<1:58:27, 21.73s/it]
+
mmlu_gu:  10%|████████████                                                                                                        | 38/364 [13:35<1:56:20, 21.41s/it]
+
mmlu_gu:  11%|████████████▍                                                                                                       | 39/364 [13:57<1:56:46, 21.56s/it]
+
mmlu_gu:  11%|████████████▋                                                                                                       | 40/364 [14:19<1:56:14, 21.52s/it]
+
mmlu_gu:  11%|█████████████                                                                                                       | 41/364 [14:37<1:51:19, 20.68s/it]
+
mmlu_gu:  12%|█████████████▍                                                                                                      | 42/364 [15:02<1:58:03, 22.00s/it]
+
mmlu_gu:  12%|█████████████▋                                                                                                      | 43/364 [15:27<2:01:29, 22.71s/it]
+
mmlu_gu:  12%|██████████████                                                                                                      | 44/364 [15:46<1:55:50, 21.72s/it]
+
mmlu_gu:  12%|██████████████▎                                                                                                     | 45/364 [16:04<1:50:01, 20.69s/it]
+
mmlu_gu:  13%|██████████████▋                                                                                                     | 46/364 [16:37<2:08:21, 24.22s/it]
+
mmlu_gu:  13%|██████████████▉                                                                                                     | 47/364 [17:02<2:08:42, 24.36s/it]
+
mmlu_gu:  13%|███████████████▎                                                                                                    | 48/364 [17:28<2:11:21, 24.94s/it]
+
mmlu_gu:  13%|███████████████▌                                                                                                    | 49/364 [17:49<2:04:39, 23.75s/it]
+
mmlu_gu:  14%|███████████████▉                                                                                                    | 50/364 [18:11<2:02:11, 23.35s/it]
+
mmlu_gu:  14%|████████████████▎                                                                                                   | 51/364 [18:38<2:07:34, 24.46s/it]
+
mmlu_gu:  14%|████████████████▌                                                                                                   | 52/364 [19:00<2:02:15, 23.51s/it]
+
mmlu_gu:  15%|████████████████▉                                                                                                   | 53/364 [19:18<1:53:05, 21.82s/it]
+
mmlu_gu:  15%|█████████████████▏                                                                                                  | 54/364 [19:37<1:49:10, 21.13s/it]
+
mmlu_gu:  15%|█████████████████▌                                                                                                  | 55/364 [20:07<2:02:43, 23.83s/it]
+
mmlu_gu:  15%|█████████████████▊                                                                                                  | 56/364 [20:31<2:02:07, 23.79s/it]
+
mmlu_gu:  16%|██████████████████▏                                                                                                 | 57/364 [20:53<1:59:00, 23.26s/it]
+
mmlu_gu:  16%|██████████████████▍                                                                                                 | 58/364 [21:13<1:53:31, 22.26s/it]
+
mmlu_gu:  16%|██████████████████▊                                                                                                 | 59/364 [21:35<1:52:56, 22.22s/it]
+
mmlu_gu:  16%|███████████████████                                                                                                 | 60/364 [22:01<1:58:21, 23.36s/it]
+
mmlu_gu:  17%|███████████████████▍                                                                                                | 61/364 [22:21<1:52:58, 22.37s/it]
+
mmlu_gu:  17%|███████████████████▊                                                                                                | 62/364 [22:41<1:48:13, 21.50s/it]
+
mmlu_gu:  17%|████████████████████                                                                                                | 63/364 [22:58<1:42:30, 20.43s/it]
+
mmlu_gu:  18%|████████████████████▍                                                                                               | 64/364 [23:25<1:50:39, 22.13s/it]
+
mmlu_gu:  18%|████████████████████▋                                                                                               | 65/364 [23:49<1:53:29, 22.77s/it]
+
mmlu_gu:  18%|█████████████████████                                                                                               | 66/364 [24:15<1:58:16, 23.81s/it]
+
mmlu_gu:  18%|█████████████████████▎                                                                                              | 67/364 [24:34<1:50:27, 22.32s/it]
+
mmlu_gu:  19%|█████████████████████▋                                                                                              | 68/364 [24:51<1:42:59, 20.88s/it]
+
mmlu_gu:  19%|█████████████████████▉                                                                                              | 69/364 [25:06<1:33:34, 19.03s/it]
+
mmlu_gu:  19%|██████████████████████▎                                                                                             | 70/364 [25:28<1:37:03, 19.81s/it]
+
mmlu_gu:  20%|██████████████████████▋                                                                                             | 71/364 [25:53<1:45:11, 21.54s/it]
+
mmlu_gu:  20%|██████████████████████▉                                                                                             | 72/364 [26:20<1:53:01, 23.22s/it]
+
mmlu_gu:  20%|███████████████████████▎                                                                                            | 73/364 [26:40<1:47:21, 22.13s/it]
+
mmlu_gu:  20%|███████████████████████▌                                                                                            | 74/364 [27:04<1:49:31, 22.66s/it]
+
mmlu_gu:  21%|███████████████████████▉                                                                                            | 75/364 [27:24<1:46:05, 22.02s/it]
+
mmlu_gu:  21%|████████████████████████▏                                                                                           | 76/364 [27:46<1:45:09, 21.91s/it]
+
mmlu_gu:  21%|████████████████████████▌                                                                                           | 77/364 [28:11<1:48:36, 22.71s/it]
+
mmlu_gu:  21%|████████████████████████▊                                                                                           | 78/364 [28:27<1:38:40, 20.70s/it]
+
mmlu_gu:  22%|█████████████████████████▏                                                                                          | 79/364 [28:46<1:35:37, 20.13s/it]
+
mmlu_gu:  22%|█████████████████████████▍                                                                                          | 80/364 [29:03<1:31:33, 19.34s/it]
+
mmlu_gu:  22%|█████████████████████████▊                                                                                          | 81/364 [29:25<1:35:34, 20.26s/it]
+
mmlu_gu:  23%|██████████████████████████▏                                                                                         | 82/364 [29:48<1:39:06, 21.09s/it]
+
mmlu_gu:  23%|██████████████████████████▍                                                                                         | 83/364 [30:08<1:36:29, 20.60s/it]
+
mmlu_gu:  23%|██████████████████████████▊                                                                                         | 84/364 [30:25<1:31:45, 19.66s/it]
+
mmlu_gu:  23%|███████████████████████████                                                                                         | 85/364 [30:43<1:29:14, 19.19s/it]
+
mmlu_gu:  24%|███████████████████████████▍                                                                                        | 86/364 [31:05<1:32:49, 20.03s/it]
+
mmlu_gu:  24%|███████████████████████████▋                                                                                        | 87/364 [31:27<1:35:02, 20.59s/it]
+
mmlu_gu:  24%|████████████████████████████                                                                                        | 88/364 [31:51<1:38:40, 21.45s/it]
+
mmlu_gu:  24%|████████████████████████████▎                                                                                       | 89/364 [32:10<1:35:19, 20.80s/it]
+
mmlu_gu:  25%|████████████████████████████▋                                                                                       | 90/364 [32:28<1:31:22, 20.01s/it]
+
mmlu_gu:  25%|█████████████████████████████                                                                                       | 91/364 [32:51<1:34:46, 20.83s/it]
+
mmlu_gu:  25%|█████████████████████████████▎                                                                                      | 92/364 [33:19<1:43:39, 22.87s/it]
+
mmlu_gu:  26%|█████████████████████████████▋                                                                                      | 93/364 [33:44<1:46:54, 23.67s/it]
+
mmlu_gu:  26%|█████████████████████████████▉                                                                                      | 94/364 [34:02<1:39:05, 22.02s/it]
+
mmlu_gu:  26%|██████████████████████████████▎                                                                                     | 95/364 [34:27<1:42:39, 22.90s/it]
+
mmlu_gu:  26%|██████████████████████████████▌                                                                                     | 96/364 [34:45<1:35:07, 21.30s/it]
+
mmlu_gu:  27%|██████████████████████████████▉                                                                                     | 97/364 [35:05<1:33:21, 20.98s/it]
+
mmlu_gu:  27%|███████████████████████████████▏                                                                                    | 98/364 [35:27<1:34:12, 21.25s/it]
+
mmlu_gu:  27%|███████████████████████████████▌                                                                                    | 99/364 [35:47<1:32:10, 20.87s/it]
+
mmlu_gu:  27%|███████████████████████████████▌                                                                                   | 100/364 [36:06<1:29:07, 20.26s/it]
+
mmlu_gu:  28%|███████████████████████████████▉                                                                                   | 101/364 [36:22<1:23:24, 19.03s/it]
+
mmlu_gu:  28%|████████████████████████████████▏                                                                                  | 102/364 [36:51<1:36:22, 22.07s/it]
+
mmlu_gu:  28%|████████████████████████████████▌                                                                                  | 103/364 [37:18<1:41:42, 23.38s/it]
+
mmlu_gu:  29%|████████████████████████████████▊                                                                                  | 104/364 [37:44<1:44:47, 24.18s/it]
+
mmlu_gu:  29%|█████████████████████████████████▏                                                                                 | 105/364 [38:05<1:40:43, 23.34s/it]
+
mmlu_gu:  29%|█████████████████████████████████▍                                                                                 | 106/364 [38:25<1:36:43, 22.49s/it]
+
mmlu_gu:  29%|█████████████████████████████████▊                                                                                 | 107/364 [38:49<1:37:25, 22.75s/it]
+
mmlu_gu:  30%|██████████████████████████████████                                                                                 | 108/364 [39:08<1:32:15, 21.62s/it]
+
mmlu_gu:  30%|██████████████████████████████████▍                                                                                | 109/364 [39:35<1:38:39, 23.21s/it]
+
mmlu_gu:  30%|██████████████████████████████████▊                                                                                | 110/364 [40:00<1:41:03, 23.87s/it]
+
mmlu_gu:  30%|███████████████████████████████████                                                                                | 111/364 [40:30<1:47:35, 25.51s/it]
+
mmlu_gu:  31%|███████████████████████████████████▍                                                                               | 112/364 [40:50<1:41:10, 24.09s/it]
+
mmlu_gu:  31%|███████████████████████████████████▋                                                                               | 113/364 [41:09<1:33:39, 22.39s/it]
+
mmlu_gu:  31%|████████████████████████████████████                                                                               | 114/364 [41:32<1:34:33, 22.69s/it]
+
mmlu_gu:  32%|████████████████████████████████████▎                                                                              | 115/364 [41:50<1:28:36, 21.35s/it]
+
mmlu_gu:  32%|████████████████████████████████████▋                                                                              | 116/364 [42:10<1:25:44, 20.74s/it]
+
mmlu_gu:  32%|████████████████████████████████████▉                                                                              | 117/364 [42:32<1:27:40, 21.30s/it]
+
mmlu_gu:  32%|█████████████████████████████████████▎                                                                             | 118/364 [42:58<1:32:24, 22.54s/it]
+
mmlu_gu:  33%|█████████████████████████████████████▌                                                                             | 119/364 [43:17<1:27:30, 21.43s/it]
+
mmlu_gu:  33%|█████████████████████████████████████▉                                                                             | 120/364 [43:41<1:30:47, 22.33s/it]
+
mmlu_gu:  33%|██████████████████████████████████████▏                                                                            | 121/364 [44:05<1:32:21, 22.80s/it]
+
mmlu_gu:  34%|██████████████████████████████████████▌                                                                            | 122/364 [44:26<1:29:26, 22.18s/it]
+
mmlu_gu:  34%|██████████████████████████████████████▊                                                                            | 123/364 [44:48<1:29:00, 22.16s/it]
+
mmlu_gu:  34%|███████████████████████████████████████▏                                                                           | 124/364 [45:06<1:24:16, 21.07s/it]
+
mmlu_gu:  34%|███████████████████████████████████████▍                                                                           | 125/364 [45:31<1:27:51, 22.06s/it]
+
mmlu_gu:  35%|███████████████████████████████████████▊                                                                           | 126/364 [45:49<1:23:20, 21.01s/it]
+
mmlu_gu:  35%|████████████████████████████████████████                                                                           | 127/364 [46:09<1:22:06, 20.79s/it]
+
mmlu_gu:  35%|████████████████████████████████████████▍                                                                          | 128/364 [46:30<1:21:31, 20.73s/it]
+
mmlu_gu:  35%|████████████████████████████████████████▊                                                                          | 129/364 [46:56<1:27:55, 22.45s/it]
+
mmlu_gu:  36%|█████████████████████████████████████████                                                                          | 130/364 [47:13<1:20:31, 20.65s/it]
+
mmlu_gu:  36%|█████████████████████████████████████████▍                                                                         | 131/364 [47:37<1:24:15, 21.70s/it]
+
mmlu_gu:  36%|█████████████████████████████████████████▋                                                                         | 132/364 [48:00<1:25:45, 22.18s/it]
+
mmlu_gu:  37%|██████████████████████████████████████████                                                                         | 133/364 [48:22<1:24:37, 21.98s/it]
+
mmlu_gu:  37%|██████████████████████████████████████████▎                                                                        | 134/364 [48:38<1:17:47, 20.29s/it]
+
mmlu_gu:  37%|██████████████████████████████████████████▋                                                                        | 135/364 [48:58<1:16:58, 20.17s/it]
+
mmlu_gu:  37%|██████████████████████████████████████████▉                                                                        | 136/364 [49:20<1:19:10, 20.83s/it]
+
mmlu_gu:  38%|███████████████████████████████████████████▎                                                                       | 137/364 [49:39<1:15:37, 19.99s/it]
+
mmlu_gu:  38%|███████████████████████████████████████████▌                                                                       | 138/364 [49:59<1:15:50, 20.13s/it]
+
mmlu_gu:  38%|███████████████████████████████████████████▉                                                                       | 139/364 [50:21<1:17:32, 20.68s/it]
+
mmlu_gu:  38%|████████████████████████████████████████████▏                                                                      | 140/364 [50:36<1:10:53, 18.99s/it]
+
mmlu_gu:  39%|████████████████████████████████████████████▌                                                                      | 141/364 [50:55<1:10:07, 18.87s/it]
+
mmlu_gu:  39%|████████████████████████████████████████████▊                                                                      | 142/364 [51:16<1:13:01, 19.73s/it]
+
mmlu_gu:  39%|█████████████████████████████████████████████▏                                                                     | 143/364 [51:43<1:20:41, 21.91s/it]
+
mmlu_gu:  40%|█████████████████████████████████████████████▍                                                                     | 144/364 [52:08<1:23:07, 22.67s/it]
+
mmlu_gu:  40%|█████████████████████████████████████████████▊                                                                     | 145/364 [52:27<1:18:41, 21.56s/it]
+
mmlu_gu:  40%|██████████████████████████████████████████████▏                                                                    | 146/364 [52:48<1:17:29, 21.33s/it]
+
mmlu_gu:  40%|██████████████████████████████████████████████▍                                                                    | 147/364 [53:10<1:18:51, 21.80s/it]
+
mmlu_gu:  41%|██████████████████████████████████████████████▊                                                                    | 148/364 [53:34<1:20:31, 22.37s/it]
+
mmlu_gu:  41%|███████████████████████████████████████████████                                                                    | 149/364 [53:57<1:21:08, 22.64s/it]
+
mmlu_gu:  41%|███████████████████████████████████████████████▍                                                                   | 150/364 [54:16<1:16:22, 21.41s/it]
+
mmlu_gu:  41%|███████████████████████████████████████████████▋                                                                   | 151/364 [54:33<1:10:52, 19.96s/it]
+
mmlu_gu:  42%|████████████████████████████████████████████████                                                                   | 152/364 [54:50<1:07:23, 19.07s/it]
+
mmlu_gu:  42%|████████████████████████████████████████████████▎                                                                  | 153/364 [55:08<1:06:04, 18.79s/it]
+
mmlu_gu:  42%|████████████████████████████████████████████████▋                                                                  | 154/364 [55:31<1:10:44, 20.21s/it]
+
mmlu_gu:  43%|████████████████████████████████████████████████▉                                                                  | 155/364 [55:53<1:12:07, 20.70s/it]
+
mmlu_gu:  43%|█████████████████████████████████████████████████▎                                                                 | 156/364 [56:14<1:12:34, 20.93s/it]
+
mmlu_gu:  43%|█████████████████████████████████████████████████▌                                                                 | 157/364 [56:35<1:12:12, 20.93s/it]
+
mmlu_gu:  43%|█████████████████████████████████████████████████▉                                                                 | 158/364 [57:01<1:16:37, 22.32s/it]
+
mmlu_gu:  44%|██████████████████████████████████████████████████▏                                                                | 159/364 [57:21<1:14:19, 21.75s/it]
+
mmlu_gu:  44%|██████████████████████████████████████████████████▌                                                                | 160/364 [57:46<1:16:41, 22.56s/it]
+
mmlu_gu:  44%|██████████████████████████████████████████████████▊                                                                | 161/364 [58:07<1:14:31, 22.03s/it]
+
mmlu_gu:  45%|███████████████████████████████████████████████████▏                                                               | 162/364 [58:28<1:13:26, 21.82s/it]
+
mmlu_gu:  45%|███████████████████████████████████████████████████▍                                                               | 163/364 [58:48<1:11:43, 21.41s/it]
+
mmlu_gu:  45%|███████████████████████████████████████████████████▊                                                               | 164/364 [59:06<1:07:38, 20.29s/it]
+
mmlu_gu:  45%|████████████████████████████████████████████████████▏                                                              | 165/364 [59:33<1:13:35, 22.19s/it]
+
mmlu_gu:  46%|████████████████████████████████████████████████████▍                                                              | 166/364 [59:50<1:08:29, 20.76s/it]
+
mmlu_gu:  46%|███████████████████████████████████████████████████▊                                                             | 167/364 [1:00:11<1:07:47, 20.65s/it]
+
mmlu_gu:  46%|████████████████████████████████████████████████████▏                                                            | 168/364 [1:00:35<1:10:58, 21.73s/it]
+
mmlu_gu:  46%|████████████████████████████████████████████████████▍                                                            | 169/364 [1:00:59<1:12:51, 22.42s/it]
+
mmlu_gu:  47%|████████████████████████████████████████████████████▊                                                            | 170/364 [1:01:20<1:10:50, 21.91s/it]
+
mmlu_gu:  47%|█████████████████████████████████████████████████████                                                            | 171/364 [1:01:37<1:06:10, 20.57s/it]
+
mmlu_gu:  47%|█████████████████████████████████████████████████████▍                                                           | 172/364 [1:01:56<1:04:07, 20.04s/it]
+
mmlu_gu:  48%|█████████████████████████████████████████████████████▋                                                           | 173/364 [1:02:13<1:00:45, 19.09s/it]
+
mmlu_gu:  48%|██████████████████████████████████████████████████████▉                                                            | 174/364 [1:02:30<58:25, 18.45s/it]
+
mmlu_gu:  48%|██████████████████████████████████████████████████████▎                                                          | 175/364 [1:02:52<1:01:41, 19.58s/it]
+
mmlu_gu:  48%|███████████████████████████████████████████████████████▌                                                           | 176/364 [1:03:08<58:26, 18.65s/it]
+
mmlu_gu:  49%|███████████████████████████████████████████████████████▉                                                           | 177/364 [1:03:24<55:32, 17.82s/it]
+
mmlu_gu:  49%|███████████████████████████████████████████████████████▎                                                         | 178/364 [1:03:50<1:02:19, 20.11s/it]
+
mmlu_gu:  49%|███████████████████████████████████████████████████████▌                                                         | 179/364 [1:04:12<1:04:10, 20.81s/it]
+
mmlu_gu:  49%|███████████████████████████████████████████████████████▉                                                         | 180/364 [1:04:33<1:03:49, 20.81s/it]
+
mmlu_gu:  50%|████████████████████████████████████████████████████████▏                                                        | 181/364 [1:04:55<1:04:46, 21.24s/it]
+
mmlu_gu:  50%|████████████████████████████████████████████████████████▌                                                        | 182/364 [1:05:17<1:04:50, 21.38s/it]
+
mmlu_gu:  50%|████████████████████████████████████████████████████████▊                                                        | 183/364 [1:05:38<1:04:00, 21.22s/it]
+
mmlu_gu:  51%|█████████████████████████████████████████████████████████                                                        | 184/364 [1:05:57<1:02:22, 20.79s/it]
+
mmlu_gu:  51%|█████████████████████████████████████████████████████████▍                                                       | 185/364 [1:06:21<1:04:35, 21.65s/it]
+
mmlu_gu:  51%|█████████████████████████████████████████████████████████▋                                                       | 186/364 [1:06:39<1:01:14, 20.64s/it]
+
mmlu_gu:  51%|██████████████████████████████████████████████████████████                                                       | 187/364 [1:07:00<1:01:16, 20.77s/it]
+
mmlu_gu:  52%|██████████████████████████████████████████████████████████▎                                                      | 188/364 [1:07:21<1:00:20, 20.57s/it]
+
mmlu_gu:  52%|██████████████████████████████████████████████████████████▋                                                      | 189/364 [1:07:47<1:05:09, 22.34s/it]
+
mmlu_gu:  52%|██████████████████████████████████████████████████████████▉                                                      | 190/364 [1:08:08<1:03:56, 22.05s/it]
+
mmlu_gu:  52%|███████████████████████████████████████████████████████████▎                                                     | 191/364 [1:08:32<1:04:43, 22.45s/it]
+
mmlu_gu:  53%|███████████████████████████████████████████████████████████▌                                                     | 192/364 [1:08:52<1:02:13, 21.71s/it]
+
mmlu_gu:  53%|███████████████████████████████████████████████████████████▉                                                     | 193/364 [1:09:14<1:02:10, 21.82s/it]
+
mmlu_gu:  53%|████████████████████████████████████████████████████████████▏                                                    | 194/364 [1:09:38<1:04:10, 22.65s/it]
+
mmlu_gu:  54%|████████████████████████████████████████████████████████████▌                                                    | 195/364 [1:09:58<1:01:29, 21.83s/it]
+
mmlu_gu:  54%|████████████████████████████████████████████████████████████▊                                                    | 196/364 [1:10:22<1:02:57, 22.49s/it]
+
mmlu_gu:  54%|█████████████████████████████████████████████████████████████▏                                                   | 197/364 [1:10:44<1:02:10, 22.34s/it]
+
mmlu_gu:  54%|█████████████████████████████████████████████████████████████▍                                                   | 198/364 [1:11:08<1:02:37, 22.64s/it]
+
mmlu_gu:  55%|█████████████████████████████████████████████████████████████▊                                                   | 199/364 [1:11:28<1:00:15, 21.91s/it]
+
mmlu_gu:  55%|███████████████████████████████████████████████████████████████▏                                                   | 200/364 [1:11:47<57:57, 21.21s/it]
+
mmlu_gu:  55%|██████████████████████████████████████████████████████████████▍                                                  | 201/364 [1:12:12<1:00:04, 22.11s/it]
+
mmlu_gu:  55%|███████████████████████████████████████████████████████████████▊                                                   | 202/364 [1:12:31<57:12, 21.19s/it]
+
mmlu_gu:  56%|████████████████████████████████████████████████████████████████▏                                                  | 203/364 [1:12:55<59:40, 22.24s/it]
+
mmlu_gu:  56%|████████████████████████████████████████████████████████████████▍                                                  | 204/364 [1:13:16<57:59, 21.75s/it]
+
mmlu_gu:  56%|████████████████████████████████████████████████████████████████▊                                                  | 205/364 [1:13:35<55:47, 21.06s/it]
+
mmlu_gu:  57%|█████████████████████████████████████████████████████████████████                                                  | 206/364 [1:13:55<54:09, 20.57s/it]
+
mmlu_gu:  57%|█████████████████████████████████████████████████████████████████▍                                                 | 207/364 [1:14:15<53:31, 20.46s/it]
+
mmlu_gu:  57%|█████████████████████████████████████████████████████████████████▋                                                 | 208/364 [1:14:35<52:34, 20.22s/it]
+
mmlu_gu:  57%|██████████████████████████████████████████████████████████████████                                                 | 209/364 [1:14:53<50:57, 19.73s/it]
+
mmlu_gu:  58%|██████████████████████████████████████████████████████████████████▎                                                | 210/364 [1:15:14<51:24, 20.03s/it]
+
mmlu_gu:  58%|██████████████████████████████████████████████████████████████████▋                                                | 211/364 [1:15:35<52:01, 20.40s/it]
+
mmlu_gu:  58%|██████████████████████████████████████████████████████████████████▉                                                | 212/364 [1:15:52<48:44, 19.24s/it]
+
mmlu_gu:  59%|███████████████████████████████████████████████████████████████████▎                                               | 213/364 [1:16:10<47:47, 18.99s/it]
+
mmlu_gu:  59%|███████████████████████████████████████████████████████████████████▌                                               | 214/364 [1:16:31<48:41, 19.47s/it]
+
mmlu_gu:  59%|███████████████████████████████████████████████████████████████████▉                                               | 215/364 [1:16:57<52:57, 21.32s/it]
+
mmlu_gu:  59%|████████████████████████████████████████████████████████████████████▏                                              | 216/364 [1:17:22<55:50, 22.64s/it]
+
mmlu_gu:  60%|████████████████████████████████████████████████████████████████████▌                                              | 217/364 [1:17:41<52:45, 21.53s/it]
+
mmlu_gu:  60%|████████████████████████████████████████████████████████████████████▊                                              | 218/364 [1:18:02<51:49, 21.30s/it]
+
mmlu_gu:  60%|█████████████████████████████████████████████████████████████████████▏                                             | 219/364 [1:18:23<50:58, 21.09s/it]
+
mmlu_gu:  60%|█████████████████████████████████████████████████████████████████████▌                                             | 220/364 [1:18:46<52:13, 21.76s/it]
+
mmlu_gu:  61%|█████████████████████████████████████████████████████████████████████▊                                             | 221/364 [1:19:06<50:55, 21.37s/it]
+
mmlu_gu:  61%|██████████████████████████████████████████████████████████████████████▏                                            | 222/364 [1:19:25<48:22, 20.44s/it]
+
mmlu_gu:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 223/364 [1:19:45<48:02, 20.44s/it]
+
mmlu_gu:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 224/364 [1:20:04<46:33, 19.95s/it]
+
mmlu_gu:  62%|███████████████████████████████████████████████████████████████████████                                            | 225/364 [1:20:20<43:32, 18.79s/it]
+
mmlu_gu:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 226/364 [1:20:41<44:35, 19.39s/it]
+
mmlu_gu:  62%|███████████████████████████████████████████████████████████████████████▋                                           | 227/364 [1:21:07<48:58, 21.45s/it]
+
mmlu_gu:  63%|████████████████████████████████████████████████████████████████████████                                           | 228/364 [1:21:28<48:28, 21.39s/it]
+
mmlu_gu:  63%|████████████████████████████████████████████████████████████████████████▎                                          | 229/364 [1:21:50<48:02, 21.36s/it]
+
mmlu_gu:  63%|████████████████████████████████████████████████████████████████████████▋                                          | 230/364 [1:22:12<48:38, 21.78s/it]
+
mmlu_gu:  63%|████████████████████████████████████████████████████████████████████████▉                                          | 231/364 [1:22:30<45:31, 20.54s/it]
+
mmlu_gu:  64%|█████████████████████████████████████████████████████████████████████████▎                                         | 232/364 [1:22:49<43:58, 19.99s/it]
+
mmlu_gu:  64%|█████████████████████████████████████████████████████████████████████████▌                                         | 233/364 [1:23:12<45:42, 20.94s/it]
+
mmlu_gu:  64%|█████████████████████████████████████████████████████████████████████████▉                                         | 234/364 [1:23:34<46:31, 21.47s/it]
+
mmlu_gu:  65%|██████████████████████████████████████████████████████████████████████████▏                                        | 235/364 [1:24:01<49:39, 23.09s/it]
+
mmlu_gu:  65%|██████████████████████████████████████████████████████████████████████████▌                                        | 236/364 [1:24:27<50:36, 23.72s/it]
+
mmlu_gu:  65%|██████████████████████████████████████████████████████████████████████████▉                                        | 237/364 [1:24:48<48:27, 22.90s/it]
+
mmlu_gu:  65%|███████████████████████████████████████████████████████████████████████████▏                                       | 238/364 [1:25:09<47:26, 22.59s/it]
+
mmlu_gu:  66%|███████████████████████████████████████████████████████████████████████████▌                                       | 239/364 [1:25:31<46:16, 22.21s/it]
+
mmlu_gu:  66%|███████████████████████████████████████████████████████████████████████████▊                                       | 240/364 [1:25:48<43:04, 20.84s/it]
+
mmlu_gu:  66%|████████████████████████████████████████████████████████████████████████████▏                                      | 241/364 [1:26:12<44:24, 21.66s/it]
+
mmlu_gu:  66%|████████████████████████████████████████████████████████████████████████████▍                                      | 242/364 [1:26:31<42:26, 20.87s/it]
+
mmlu_gu:  67%|████████████████████████████████████████████████████████████████████████████▊                                      | 243/364 [1:26:55<43:54, 21.77s/it]
+
mmlu_gu:  67%|█████████████████████████████████████████████████████████████████████████████                                      | 244/364 [1:27:16<43:06, 21.55s/it]
+
mmlu_gu:  67%|█████████████████████████████████████████████████████████████████████████████▍                                     | 245/364 [1:27:41<45:05, 22.73s/it]
+
mmlu_gu:  68%|█████████████████████████████████████████████████████████████████████████████▋                                     | 246/364 [1:28:03<43:47, 22.27s/it]
+
mmlu_gu:  68%|██████████████████████████████████████████████████████████████████████████████                                     | 247/364 [1:28:29<45:56, 23.56s/it]
+
mmlu_gu:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 248/364 [1:28:47<42:22, 21.92s/it]
+
mmlu_gu:  68%|██████████████████████████████████████████████████████████████████████████████▋                                    | 249/364 [1:29:07<40:32, 21.15s/it]
+
mmlu_gu:  69%|██████████████████████████████████████████████████████████████████████████████▉                                    | 250/364 [1:29:30<41:28, 21.83s/it]
+
mmlu_gu:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 251/364 [1:29:52<41:11, 21.87s/it]
+
mmlu_gu:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 252/364 [1:30:14<41:05, 22.01s/it]
+
mmlu_gu:  70%|███████████████████████████████████████████████████████████████████████████████▉                                   | 253/364 [1:30:36<40:42, 22.00s/it]
+
mmlu_gu:  70%|████████████████████████████████████████████████████████████████████████████████▏                                  | 254/364 [1:30:54<38:08, 20.81s/it]
+
mmlu_gu:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 255/364 [1:31:15<37:42, 20.76s/it]
+
mmlu_gu:  70%|████████████████████████████████████████████████████████████████████████████████▉                                  | 256/364 [1:31:36<37:42, 20.95s/it]
+
mmlu_gu:  71%|█████████████████████████████████████████████████████████████████████████████████▏                                 | 257/364 [1:31:54<35:30, 19.91s/it]
+
mmlu_gu:  71%|█████████████████████████████████████████████████████████████████████████████████▌                                 | 258/364 [1:32:19<37:47, 21.39s/it]
+
mmlu_gu:  71%|█████████████████████████████████████████████████████████████████████████████████▊                                 | 259/364 [1:32:46<40:20, 23.05s/it]
+
mmlu_gu:  71%|██████████████████████████████████████████████████████████████████████████████████▏                                | 260/364 [1:33:02<36:31, 21.07s/it]
+
mmlu_gu:  72%|██████████████████████████████████████████████████████████████████████████████████▍                                | 261/364 [1:33:22<35:40, 20.78s/it]
+
mmlu_gu:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 262/364 [1:33:45<36:36, 21.53s/it]
+
mmlu_gu:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 263/364 [1:34:08<36:34, 21.73s/it]
+
mmlu_gu:  73%|███████████████████████████████████████████████████████████████████████████████████▍                               | 264/364 [1:34:30<36:43, 22.03s/it]
+
mmlu_gu:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 265/364 [1:34:51<35:41, 21.63s/it]
+
mmlu_gu:  73%|████████████████████████████████████████████████████████████████████████████████████                               | 266/364 [1:35:11<34:44, 21.27s/it]
+
mmlu_gu:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 267/364 [1:35:31<33:24, 20.66s/it]
+
mmlu_gu:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 268/364 [1:35:50<32:18, 20.19s/it]
+
mmlu_gu:  74%|████████████████████████████████████████████████████████████████████████████████████▉                              | 269/364 [1:36:10<32:12, 20.34s/it]
+
mmlu_gu:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 270/364 [1:36:35<33:57, 21.67s/it]
+
mmlu_gu:  74%|█████████████████████████████████████████████████████████████████████████████████████▌                             | 271/364 [1:36:55<32:38, 21.06s/it]
+
mmlu_gu:  75%|█████████████████████████████████████████████████████████████████████████████████████▉                             | 272/364 [1:37:19<33:49, 22.06s/it]
+
mmlu_gu:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 273/364 [1:37:42<33:36, 22.16s/it]
+
mmlu_gu:  75%|██████████████████████████████████████████████████████████████████████████████████████▌                            | 274/364 [1:38:06<34:23, 22.92s/it]
+
mmlu_gu:  76%|██████████████████████████████████████████████████████████████████████████████████████▉                            | 275/364 [1:38:26<32:25, 21.85s/it]
+
mmlu_gu:  76%|███████████████████████████████████████████████████████████████████████████████████████▏                           | 276/364 [1:38:48<32:02, 21.85s/it]
+
mmlu_gu:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 277/364 [1:39:08<31:10, 21.50s/it]
+
mmlu_gu:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 278/364 [1:39:27<29:46, 20.77s/it]
+
mmlu_gu:  77%|████████████████████████████████████████████████████████████████████████████████████████▏                          | 279/364 [1:39:49<29:36, 20.90s/it]
+
mmlu_gu:  77%|████████████████████████████████████████████████████████████████████████████████████████▍                          | 280/364 [1:40:08<28:42, 20.50s/it]
+
mmlu_gu:  77%|████████████████████████████████████████████████████████████████████████████████████████▊                          | 281/364 [1:40:35<30:50, 22.29s/it]
+
mmlu_gu:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 282/364 [1:40:58<30:52, 22.59s/it]
+
mmlu_gu:  78%|█████████████████████████████████████████████████████████████████████████████████████████▍                         | 283/364 [1:41:17<28:56, 21.44s/it]
+
mmlu_gu:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 284/364 [1:41:41<29:36, 22.20s/it]
+
mmlu_gu:  78%|██████████████████████████████████████████████████████████████████████████████████████████                         | 285/364 [1:42:00<28:00, 21.27s/it]
+
mmlu_gu:  79%|██████████████████████████████████████████████████████████████████████████████████████████▎                        | 286/364 [1:42:21<27:36, 21.24s/it]
+
mmlu_gu:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 287/364 [1:42:49<29:49, 23.25s/it]
+
mmlu_gu:  79%|██████████████████████████████████████████████████████████████████████████████████████████▉                        | 288/364 [1:43:14<30:08, 23.79s/it]
+
mmlu_gu:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 289/364 [1:43:32<27:47, 22.23s/it]
+
mmlu_gu:  80%|███████████████████████████████████████████████████████████████████████████████████████████▌                       | 290/364 [1:43:50<25:39, 20.81s/it]
+
mmlu_gu:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 291/364 [1:44:16<27:16, 22.41s/it]
+
mmlu_gu:  80%|████████████████████████████████████████████████████████████████████████████████████████████▎                      | 292/364 [1:44:38<26:42, 22.26s/it]
+
mmlu_gu:  80%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 293/364 [1:45:02<26:55, 22.76s/it]
+
mmlu_gu:  81%|████████████████████████████████████████████████████████████████████████████████████████████▉                      | 294/364 [1:45:24<26:12, 22.47s/it]
+
mmlu_gu:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▏                     | 295/364 [1:45:41<23:52, 20.77s/it]
+
mmlu_gu:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▌                     | 296/364 [1:46:03<24:10, 21.33s/it]
+
mmlu_gu:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▊                     | 297/364 [1:46:31<25:51, 23.16s/it]
+
mmlu_gu:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▏                    | 298/364 [1:46:53<25:14, 22.94s/it]
+
mmlu_gu:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▍                    | 299/364 [1:47:13<23:48, 21.97s/it]
+
mmlu_gu:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▊                    | 300/364 [1:47:33<22:56, 21.51s/it]
+
mmlu_gu:  83%|███████████████████████████████████████████████████████████████████████████████████████████████                    | 301/364 [1:47:56<22:53, 21.80s/it]
+
mmlu_gu:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▍                   | 302/364 [1:48:18<22:37, 21.89s/it]
+
mmlu_gu:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▋                   | 303/364 [1:48:37<21:33, 21.21s/it]
+
mmlu_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 304/364 [1:49:00<21:43, 21.73s/it]
+
mmlu_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 305/364 [1:49:25<22:18, 22.69s/it]
+
mmlu_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 306/364 [1:49:44<20:45, 21.47s/it]
+
mmlu_gu:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 307/364 [1:50:04<20:04, 21.14s/it]
+
mmlu_gu:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 308/364 [1:50:24<19:14, 20.61s/it]
+
mmlu_gu:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 309/364 [1:50:44<18:51, 20.56s/it]
+
mmlu_gu:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 310/364 [1:51:02<17:53, 19.89s/it]
+
mmlu_gu:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                | 311/364 [1:51:20<16:58, 19.21s/it]
+
mmlu_gu:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                | 312/364 [1:51:42<17:16, 19.93s/it]
+
mmlu_gu:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                | 313/364 [1:51:58<15:57, 18.78s/it]
+
mmlu_gu:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏               | 314/364 [1:52:17<15:53, 19.06s/it]
+
mmlu_gu:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▌               | 315/364 [1:52:39<16:14, 19.88s/it]
+
mmlu_gu:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊               | 316/364 [1:53:01<16:24, 20.51s/it]
+
mmlu_gu:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 317/364 [1:53:19<15:29, 19.78s/it]
+
mmlu_gu:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 318/364 [1:53:41<15:34, 20.30s/it]
+
mmlu_gu:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 319/364 [1:54:08<16:49, 22.43s/it]
+
mmlu_gu:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 320/364 [1:54:28<15:57, 21.77s/it]
+
mmlu_gu:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 321/364 [1:54:49<15:17, 21.35s/it]
+
mmlu_gu:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 322/364 [1:55:10<14:57, 21.37s/it]
+
mmlu_gu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 323/364 [1:55:28<13:47, 20.18s/it]
+
mmlu_gu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 324/364 [1:55:46<13:09, 19.74s/it]
+
mmlu_gu:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 325/364 [1:56:08<13:17, 20.46s/it]
+
mmlu_gu:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 326/364 [1:56:28<12:41, 20.04s/it]
+
mmlu_gu:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 327/364 [1:56:45<11:54, 19.32s/it]
+
mmlu_gu:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 328/364 [1:57:04<11:32, 19.22s/it]
+
mmlu_gu:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 329/364 [1:57:28<11:58, 20.51s/it]
+
mmlu_gu:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 330/364 [1:57:50<11:52, 20.95s/it]
+
mmlu_gu:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 331/364 [1:58:17<12:36, 22.92s/it]
+
mmlu_gu:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 332/364 [1:58:37<11:46, 22.08s/it]
+
mmlu_gu:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 333/364 [1:59:01<11:38, 22.55s/it]
+
mmlu_gu:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 334/364 [1:59:22<11:06, 22.23s/it]
+
mmlu_gu:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 335/364 [1:59:43<10:30, 21.76s/it]
+
mmlu_gu:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 336/364 [2:00:03<09:50, 21.10s/it]
+
mmlu_gu:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 337/364 [2:00:17<08:39, 19.23s/it]
+
mmlu_gu:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 338/364 [2:00:37<08:18, 19.16s/it]
+
mmlu_gu:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 339/364 [2:01:00<08:32, 20.49s/it]
+
mmlu_gu:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 340/364 [2:01:22<08:20, 20.84s/it]
+
mmlu_gu:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 341/364 [2:01:37<07:23, 19.27s/it]
+
mmlu_gu:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 342/364 [2:02:03<07:44, 21.10s/it]
+
mmlu_gu:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 343/364 [2:02:26<07:37, 21.76s/it]
+
mmlu_gu:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 344/364 [2:02:50<07:30, 22.52s/it]
+
mmlu_gu:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 345/364 [2:03:11<06:58, 22.04s/it]
+
mmlu_gu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 346/364 [2:03:30<06:18, 21.01s/it]
+
mmlu_gu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 347/364 [2:03:50<05:50, 20.60s/it]
+
mmlu_gu:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 348/364 [2:04:12<05:37, 21.10s/it]
+
mmlu_gu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 349/364 [2:04:35<05:26, 21.74s/it]
+
mmlu_gu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 350/364 [2:05:00<05:16, 22.62s/it]
+
mmlu_gu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 351/364 [2:05:23<04:58, 22.95s/it]
+
mmlu_gu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 352/364 [2:05:44<04:26, 22.23s/it]
+
mmlu_gu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 353/364 [2:06:07<04:07, 22.48s/it]
+
mmlu_gu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 354/364 [2:06:26<03:35, 21.51s/it]
+
mmlu_gu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 355/364 [2:06:52<03:25, 22.87s/it]
+
mmlu_gu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 356/364 [2:07:14<03:01, 22.64s/it]
+
mmlu_gu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 357/364 [2:07:35<02:33, 21.95s/it]
+
mmlu_gu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 358/364 [2:07:56<02:11, 21.86s/it]
+
mmlu_gu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 359/364 [2:08:22<01:55, 23.03s/it]
+
mmlu_gu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 360/364 [2:08:42<01:28, 22.03s/it]
+
mmlu_gu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 361/364 [2:09:02<01:04, 21.51s/it]
+
mmlu_gu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 362/364 [2:09:23<00:42, 21.27s/it]
+
mmlu_gu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 363/364 [2:09:47<00:22, 22.02s/it]
+
mmlu_gu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 364/364 [2:10:02<00:00, 19.89s/it]
mmlu_gu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 364/364 [2:10:02<00:00, 21.43s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_gu_acc 0.25612376450365276
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_gu_acc_norm 0.2795015040825097
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 01:08:54,367 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 01:08:54,367 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:54,494 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 01:08:54,494 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:54,621 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 01:08:54,621 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:54,747 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 01:08:54,748 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 01:08:54,748 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 01:08:54,876 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 01:08:54,876 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_gu_acc'}
+2024-05-31 01:08:54,941 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 01:08:54,941 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1219, 'value': 0.25612376450365276}
+2024-05-31 01:08:55,005 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 01:08:55,639 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 01:08:55,639 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:55,764 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 01:08:55,764 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:55,888 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 01:08:55,889 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:56,013 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 01:08:56,014 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 01:08:56,014 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 01:08:56,139 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 01:08:56,139 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_gu_acc_norm'}
+2024-05-31 01:08:56,203 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 01:08:56,203 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1220, 'value': 0.2795015040825097}
+2024-05-31 01:08:56,266 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  57%|█████████████████████████████████████████████████████████████▊                                              | 71/124 [42:21:25<66:42:00, 4530.57s/it]['mmlu_hi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 01:08:56,920 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 01:08:56,920 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:57,049 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 01:08:57,049 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:57,178 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 01:08:57,179 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 01:08:57,308 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hi'}
+2024-05-31 01:08:57,438 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_hi task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1656 examples [00:00, 13266.45 examples/s]
+
Generating test split: 4960 examples [00:00, 23815.29 examples/s]
+
Generating test split: 8062 examples [00:00, 26926.93 examples/s]
+
Generating test split: 11400 examples [00:00, 29389.48 examples/s]
Generating test split: 12437 examples [00:00, 26675.80 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 235 examples [00:00, 26435.87 examples/s]
+Running loglikelihood requests
+
+
mmlu_hi:   0%|                                                                                                                               | 0/389 [00:00<?, ?it/s]
+
mmlu_hi:   0%|▎                                                                                                                    | 1/389 [00:14<1:30:45, 14.04s/it]
+
mmlu_hi:   1%|▌                                                                                                                    | 2/389 [00:28<1:33:35, 14.51s/it]
+
mmlu_hi:   1%|▉                                                                                                                    | 3/389 [00:47<1:45:52, 16.46s/it]
+
mmlu_hi:   1%|█▏                                                                                                                   | 4/389 [01:03<1:44:55, 16.35s/it]
+
mmlu_hi:   1%|█▌                                                                                                                   | 5/389 [01:21<1:46:51, 16.70s/it]
+
mmlu_hi:   2%|█▊                                                                                                                   | 6/389 [01:36<1:44:37, 16.39s/it]
+
mmlu_hi:   2%|██                                                                                                                   | 7/389 [01:53<1:44:03, 16.35s/it]
+
mmlu_hi:   2%|██▍                                                                                                                  | 8/389 [02:06<1:36:55, 15.26s/it]
+
mmlu_hi:   2%|██▋                                                                                                                  | 9/389 [02:20<1:34:02, 14.85s/it]
+
mmlu_hi:   3%|██▉                                                                                                                 | 10/389 [02:39<1:42:41, 16.26s/it]
+
mmlu_hi:   3%|███▎                                                                                                                | 11/389 [02:56<1:43:57, 16.50s/it]
+
mmlu_hi:   3%|███▌                                                                                                                | 12/389 [03:11<1:40:52, 16.05s/it]
+
mmlu_hi:   3%|███▉                                                                                                                | 13/389 [03:25<1:37:06, 15.50s/it]
+
mmlu_hi:   4%|████▏                                                                                                               | 14/389 [03:44<1:43:18, 16.53s/it]
+
mmlu_hi:   4%|████▍                                                                                                               | 15/389 [03:59<1:40:23, 16.10s/it]
+
mmlu_hi:   4%|████▊                                                                                                               | 16/389 [04:13<1:35:49, 15.41s/it]
+
mmlu_hi:   4%|█████                                                                                                               | 17/389 [04:33<1:43:19, 16.67s/it]
+
mmlu_hi:   5%|█████▎                                                                                                              | 18/389 [04:51<1:45:11, 17.01s/it]
+
mmlu_hi:   5%|█████▋                                                                                                              | 19/389 [05:05<1:39:22, 16.12s/it]
+
mmlu_hi:   5%|█████▉                                                                                                              | 20/389 [05:20<1:38:38, 16.04s/it]
+
mmlu_hi:   5%|██████▎                                                                                                             | 21/389 [05:37<1:39:10, 16.17s/it]
+
mmlu_hi:   6%|██████▌                                                                                                             | 22/389 [05:52<1:36:42, 15.81s/it]
+
mmlu_hi:   6%|██████▊                                                                                                             | 23/389 [06:08<1:37:50, 16.04s/it]
+
mmlu_hi:   6%|███████▏                                                                                                            | 24/389 [06:23<1:34:42, 15.57s/it]
+
mmlu_hi:   6%|███████▍                                                                                                            | 25/389 [06:38<1:33:27, 15.40s/it]
+
mmlu_hi:   7%|███████▊                                                                                                            | 26/389 [06:56<1:38:08, 16.22s/it]
+
mmlu_hi:   7%|████████                                                                                                            | 27/389 [07:13<1:38:36, 16.34s/it]
+
mmlu_hi:   7%|████████▎                                                                                                           | 28/389 [07:28<1:35:35, 15.89s/it]
+
mmlu_hi:   7%|████████▋                                                                                                           | 29/389 [07:45<1:37:33, 16.26s/it]
+
mmlu_hi:   8%|████████▉                                                                                                           | 30/389 [07:59<1:34:38, 15.82s/it]
+
mmlu_hi:   8%|█████████▏                                                                                                          | 31/389 [08:15<1:34:13, 15.79s/it]
+
mmlu_hi:   8%|█████████▌                                                                                                          | 32/389 [08:33<1:37:19, 16.36s/it]
+
mmlu_hi:   8%|█████████▊                                                                                                          | 33/389 [08:50<1:38:04, 16.53s/it]
+
mmlu_hi:   9%|██████████▏                                                                                                         | 34/389 [09:06<1:37:38, 16.50s/it]
+
mmlu_hi:   9%|██████████▍                                                                                                         | 35/389 [09:24<1:38:59, 16.78s/it]
+
mmlu_hi:   9%|██████████▋                                                                                                         | 36/389 [09:36<1:30:52, 15.45s/it]
+
mmlu_hi:  10%|███████████                                                                                                         | 37/389 [09:52<1:31:28, 15.59s/it]
+
mmlu_hi:  10%|███████████▎                                                                                                        | 38/389 [10:07<1:29:35, 15.31s/it]
+
mmlu_hi:  10%|███████████▋                                                                                                        | 39/389 [10:22<1:29:33, 15.35s/it]
+
mmlu_hi:  10%|███████████▉                                                                                                        | 40/389 [10:40<1:34:14, 16.20s/it]
+
mmlu_hi:  11%|████████████▏                                                                                                       | 41/389 [10:57<1:34:56, 16.37s/it]
+
mmlu_hi:  11%|████████████▌                                                                                                       | 42/389 [11:12<1:33:01, 16.08s/it]
+
mmlu_hi:  11%|████████████▊                                                                                                       | 43/389 [11:27<1:30:46, 15.74s/it]
+
mmlu_hi:  11%|█████████████                                                                                                       | 44/389 [11:46<1:35:06, 16.54s/it]
+
mmlu_hi:  12%|█████████████▍                                                                                                      | 45/389 [12:01<1:32:10, 16.08s/it]
+
mmlu_hi:  12%|█████████████▋                                                                                                      | 46/389 [12:19<1:35:04, 16.63s/it]
+
mmlu_hi:  12%|██████████████                                                                                                      | 47/389 [12:36<1:35:47, 16.80s/it]
+
mmlu_hi:  12%|██████████████▎                                                                                                     | 48/389 [12:52<1:35:14, 16.76s/it]
+
mmlu_hi:  13%|██████████████▌                                                                                                     | 49/389 [13:09<1:34:40, 16.71s/it]
+
mmlu_hi:  13%|██████████████▉                                                                                                     | 50/389 [13:23<1:29:37, 15.86s/it]
+
mmlu_hi:  13%|███████████████▏                                                                                                    | 51/389 [13:37<1:26:37, 15.38s/it]
+
mmlu_hi:  13%|███████████████▌                                                                                                    | 52/389 [13:51<1:23:19, 14.83s/it]
+
mmlu_hi:  14%|███████████████▊                                                                                                    | 53/389 [14:08<1:27:47, 15.68s/it]
+
mmlu_hi:  14%|████████████████                                                                                                    | 54/389 [14:25<1:29:44, 16.07s/it]
+
mmlu_hi:  14%|████████████████▍                                                                                                   | 55/389 [14:41<1:28:53, 15.97s/it]
+
mmlu_hi:  14%|████████████████▋                                                                                                   | 56/389 [14:57<1:28:34, 15.96s/it]
+
mmlu_hi:  15%|████████████████▉                                                                                                   | 57/389 [15:12<1:27:14, 15.77s/it]
+
mmlu_hi:  15%|█████████████████▎                                                                                                  | 58/389 [15:27<1:25:49, 15.56s/it]
+
mmlu_hi:  15%|█████████████████▌                                                                                                  | 59/389 [15:43<1:25:28, 15.54s/it]
+
mmlu_hi:  15%|█████████████████▉                                                                                                  | 60/389 [15:58<1:23:34, 15.24s/it]
+
mmlu_hi:  16%|██████████████████▏                                                                                                 | 61/389 [16:11<1:21:08, 14.84s/it]
+
mmlu_hi:  16%|██████████████████▍                                                                                                 | 62/389 [16:23<1:15:09, 13.79s/it]
+
mmlu_hi:  16%|██████████████████▊                                                                                                 | 63/389 [16:37<1:16:17, 14.04s/it]
+
mmlu_hi:  16%|███████████████████                                                                                                 | 64/389 [16:52<1:16:24, 14.11s/it]
+
mmlu_hi:  17%|███████████████████▍                                                                                                | 65/389 [17:08<1:19:03, 14.64s/it]
+
mmlu_hi:  17%|███████████████████▋                                                                                                | 66/389 [17:21<1:17:36, 14.42s/it]
+
mmlu_hi:  17%|███████████████████▉                                                                                                | 67/389 [17:37<1:19:55, 14.89s/it]
+
mmlu_hi:  17%|████████████████████▎                                                                                               | 68/389 [17:53<1:21:15, 15.19s/it]
+
mmlu_hi:  18%|████████████████████▌                                                                                               | 69/389 [18:07<1:19:10, 14.85s/it]
+
mmlu_hi:  18%|████████████████████▊                                                                                               | 70/389 [18:22<1:19:21, 14.93s/it]
+
mmlu_hi:  18%|█████████████████████▏                                                                                              | 71/389 [18:38<1:19:59, 15.09s/it]
+
mmlu_hi:  19%|█████████████████████▍                                                                                              | 72/389 [18:53<1:19:14, 15.00s/it]
+
mmlu_hi:  19%|█████████████████████▊                                                                                              | 73/389 [19:08<1:19:31, 15.10s/it]
+
mmlu_hi:  19%|██████████████████████                                                                                              | 74/389 [19:25<1:22:08, 15.65s/it]
+
mmlu_hi:  19%|██████████████████████▎                                                                                             | 75/389 [19:40<1:21:15, 15.53s/it]
+
mmlu_hi:  20%|██████████████████████▋                                                                                             | 76/389 [19:56<1:21:55, 15.71s/it]
+
mmlu_hi:  20%|██████████████████████▉                                                                                             | 77/389 [20:12<1:22:10, 15.80s/it]
+
mmlu_hi:  20%|███████████████████████▎                                                                                            | 78/389 [20:29<1:23:55, 16.19s/it]
+
mmlu_hi:  20%|███████████████████████▌                                                                                            | 79/389 [20:43<1:20:15, 15.53s/it]
+
mmlu_hi:  21%|███████████████████████▊                                                                                            | 80/389 [20:59<1:20:38, 15.66s/it]
+
mmlu_hi:  21%|████████████████████████▏                                                                                           | 81/389 [21:17<1:23:34, 16.28s/it]
+
mmlu_hi:  21%|████████████████████████▍                                                                                           | 82/389 [21:36<1:27:41, 17.14s/it]
+
mmlu_hi:  21%|████████████████████████▊                                                                                           | 83/389 [21:52<1:25:01, 16.67s/it]
+
mmlu_hi:  22%|█████████████████████████                                                                                           | 84/389 [22:07<1:23:07, 16.35s/it]
+
mmlu_hi:  22%|█████████████████████████▎                                                                                          | 85/389 [22:23<1:22:09, 16.21s/it]
+
mmlu_hi:  22%|█████████████████████████▋                                                                                          | 86/389 [22:40<1:23:07, 16.46s/it]
+
mmlu_hi:  22%|█████████████████████████▉                                                                                          | 87/389 [22:54<1:17:51, 15.47s/it]
+
mmlu_hi:  23%|██████████████████████████▏                                                                                         | 88/389 [23:11<1:20:09, 15.98s/it]
+
mmlu_hi:  23%|██████████████████████████▌                                                                                         | 89/389 [23:27<1:20:30, 16.10s/it]
+
mmlu_hi:  23%|██████████████████████████▊                                                                                         | 90/389 [23:41<1:16:10, 15.29s/it]
+
mmlu_hi:  23%|███████████████████████████▏                                                                                        | 91/389 [23:57<1:17:28, 15.60s/it]
+
mmlu_hi:  24%|███████████████████████████▍                                                                                        | 92/389 [24:17<1:24:28, 17.07s/it]
+
mmlu_hi:  24%|███████████████████████████▋                                                                                        | 93/389 [24:33<1:22:29, 16.72s/it]
+
mmlu_hi:  24%|████████████████████████████                                                                                        | 94/389 [24:50<1:22:14, 16.73s/it]
+
mmlu_hi:  24%|████████████████████████████▎                                                                                       | 95/389 [25:08<1:23:06, 16.96s/it]
+
mmlu_hi:  25%|████████████████████████████▋                                                                                       | 96/389 [25:22<1:18:57, 16.17s/it]
+
mmlu_hi:  25%|████████████████████████████▉                                                                                       | 97/389 [25:36<1:15:26, 15.50s/it]
+
mmlu_hi:  25%|█████████████████████████████▏                                                                                      | 98/389 [25:52<1:15:41, 15.61s/it]
+
mmlu_hi:  25%|█████████████████████████████▌                                                                                      | 99/389 [26:07<1:15:35, 15.64s/it]
+
mmlu_hi:  26%|█████████████████████████████▌                                                                                     | 100/389 [26:24<1:17:09, 16.02s/it]
+
mmlu_hi:  26%|█████████████████████████████▊                                                                                     | 101/389 [26:40<1:16:37, 15.96s/it]
+
mmlu_hi:  26%|██████████████████████████████▏                                                                                    | 102/389 [26:54<1:13:51, 15.44s/it]
+
mmlu_hi:  26%|██████████████████████████████▍                                                                                    | 103/389 [27:08<1:11:29, 15.00s/it]
+
mmlu_hi:  27%|██████████████████████████████▋                                                                                    | 104/389 [27:23<1:10:57, 14.94s/it]
+
mmlu_hi:  27%|███████████████████████████████                                                                                    | 105/389 [27:37<1:09:02, 14.59s/it]
+
mmlu_hi:  27%|███████████████████████████████▎                                                                                   | 106/389 [27:57<1:16:07, 16.14s/it]
+
mmlu_hi:  28%|███████████████████████████████▋                                                                                   | 107/389 [28:13<1:15:56, 16.16s/it]
+
mmlu_hi:  28%|███████████████████████████████▉                                                                                   | 108/389 [28:29<1:15:25, 16.11s/it]
+
mmlu_hi:  28%|████████████████████████████████▏                                                                                  | 109/389 [28:42<1:11:00, 15.22s/it]
+
mmlu_hi:  28%|████████████████████████████████▌                                                                                  | 110/389 [28:55<1:08:23, 14.71s/it]
+
mmlu_hi:  29%|████████████████████████████████▊                                                                                  | 111/389 [29:10<1:08:03, 14.69s/it]
+
mmlu_hi:  29%|█████████████████████████████████                                                                                  | 112/389 [29:24<1:06:25, 14.39s/it]
+
mmlu_hi:  29%|█████████████████████████████████▍                                                                                 | 113/389 [29:42<1:11:29, 15.54s/it]
+
mmlu_hi:  29%|█████████████████████████████████▋                                                                                 | 114/389 [30:00<1:14:34, 16.27s/it]
+
mmlu_hi:  30%|█████████████████████████████████▉                                                                                 | 115/389 [30:16<1:14:28, 16.31s/it]
+
mmlu_hi:  30%|██████████████████████████████████▎                                                                                | 116/389 [30:32<1:12:44, 15.99s/it]
+
mmlu_hi:  30%|██████████████████████████████████▌                                                                                | 117/389 [30:46<1:10:53, 15.64s/it]
+
mmlu_hi:  30%|██████████████████████████████████▉                                                                                | 118/389 [31:03<1:11:42, 15.88s/it]
+
mmlu_hi:  31%|███████████████████████████████████▏                                                                               | 119/389 [31:21<1:14:02, 16.46s/it]
+
mmlu_hi:  31%|███████████████████████████████████▍                                                                               | 120/389 [31:37<1:13:34, 16.41s/it]
+
mmlu_hi:  31%|███████████████████████████████████▊                                                                               | 121/389 [31:51<1:09:50, 15.64s/it]
+
mmlu_hi:  31%|████████████████████████████████████                                                                               | 122/389 [32:04<1:06:40, 14.98s/it]
+
mmlu_hi:  32%|████████████████████████████████████▎                                                                              | 123/389 [32:20<1:07:48, 15.29s/it]
+
mmlu_hi:  32%|████████████████████████████████████▋                                                                              | 124/389 [32:38<1:11:14, 16.13s/it]
+
mmlu_hi:  32%|████████████████████████████████████▉                                                                              | 125/389 [32:50<1:05:21, 14.85s/it]
+
mmlu_hi:  32%|█████████████████████████████████████▏                                                                             | 126/389 [33:07<1:07:28, 15.40s/it]
+
mmlu_hi:  33%|█████████████████████████████████████▌                                                                             | 127/389 [33:22<1:06:12, 15.16s/it]
+
mmlu_hi:  33%|█████████████████████████████████████▊                                                                             | 128/389 [33:38<1:07:13, 15.45s/it]
+
mmlu_hi:  33%|██████████████████████████████████████▏                                                                            | 129/389 [33:52<1:05:50, 15.19s/it]
+
mmlu_hi:  33%|██████████████████████████████████████▍                                                                            | 130/389 [34:08<1:06:30, 15.41s/it]
+
mmlu_hi:  34%|██████████████████████████████████████▋                                                                            | 131/389 [34:23<1:05:42, 15.28s/it]
+
mmlu_hi:  34%|███████████████████████████████████████                                                                            | 132/389 [34:39<1:06:51, 15.61s/it]
+
mmlu_hi:  34%|███████████████████████████████████████▎                                                                           | 133/389 [34:55<1:07:01, 15.71s/it]
+
mmlu_hi:  34%|███████████████████████████████████████▌                                                                           | 134/389 [35:11<1:06:16, 15.59s/it]
+
mmlu_hi:  35%|███████████████████████████████████████▉                                                                           | 135/389 [35:29<1:08:48, 16.26s/it]
+
mmlu_hi:  35%|████████████████████████████████████████▏                                                                          | 136/389 [35:44<1:07:25, 15.99s/it]
+
mmlu_hi:  35%|████████████████████████████████████████▌                                                                          | 137/389 [36:03<1:10:42, 16.83s/it]
+
mmlu_hi:  35%|████████████████████████████████████████▊                                                                          | 138/389 [36:19<1:09:57, 16.72s/it]
+
mmlu_hi:  36%|█████████████████████████████████████████                                                                          | 139/389 [36:36<1:09:56, 16.79s/it]
+
mmlu_hi:  36%|█████████████████████████████████████████▍                                                                         | 140/389 [36:52<1:08:43, 16.56s/it]
+
mmlu_hi:  36%|█████████████████████████████████████████▋                                                                         | 141/389 [37:08<1:07:41, 16.38s/it]
+
mmlu_hi:  37%|█████████████████████████████████████████▉                                                                         | 142/389 [37:24<1:06:32, 16.16s/it]
+
mmlu_hi:  37%|██████████████████████████████████████████▎                                                                        | 143/389 [37:39<1:05:33, 15.99s/it]
+
mmlu_hi:  37%|██████████████████████████████████████████▌                                                                        | 144/389 [37:55<1:04:30, 15.80s/it]
+
mmlu_hi:  37%|██████████████████████████████████████████▊                                                                        | 145/389 [38:11<1:04:57, 15.97s/it]
+
mmlu_hi:  38%|███████████████████████████████████████████▏                                                                       | 146/389 [38:28<1:06:05, 16.32s/it]
+
mmlu_hi:  38%|███████████████████████████████████████████▍                                                                       | 147/389 [38:43<1:03:58, 15.86s/it]
+
mmlu_hi:  38%|███████████████████████████████████████████▊                                                                       | 148/389 [38:57<1:01:56, 15.42s/it]
+
mmlu_hi:  38%|████████████████████████████████████████████                                                                       | 149/389 [39:14<1:03:04, 15.77s/it]
+
mmlu_hi:  39%|████████████████████████████████████████████▎                                                                      | 150/389 [39:30<1:03:01, 15.82s/it]
+
mmlu_hi:  39%|████████████████████████████████████████████▋                                                                      | 151/389 [39:44<1:00:08, 15.16s/it]
+
mmlu_hi:  39%|████████████████████████████████████████████▉                                                                      | 152/389 [39:59<1:00:41, 15.37s/it]
+
mmlu_hi:  39%|██████████████████████████████████████████████                                                                       | 153/389 [40:13<58:52, 14.97s/it]
+
mmlu_hi:  40%|█████████████████████████████████████████████▌                                                                     | 154/389 [40:31<1:01:39, 15.74s/it]
+
mmlu_hi:  40%|█████████████████████████████████████████████▊                                                                     | 155/389 [40:47<1:01:40, 15.81s/it]
+
mmlu_hi:  40%|██████████████████████████████████████████████                                                                     | 156/389 [41:04<1:02:56, 16.21s/it]
+
mmlu_hi:  40%|██████████████████████████████████████████████▍                                                                    | 157/389 [41:21<1:03:47, 16.50s/it]
+
mmlu_hi:  41%|██████████████████████████████████████████████▋                                                                    | 158/389 [41:39<1:04:33, 16.77s/it]
+
mmlu_hi:  41%|███████████████████████████████████████████████                                                                    | 159/389 [41:57<1:06:35, 17.37s/it]
+
mmlu_hi:  41%|███████████████████████████████████████████████▎                                                                   | 160/389 [42:14<1:05:01, 17.04s/it]
+
mmlu_hi:  41%|███████████████████████████████████████████████▌                                                                   | 161/389 [42:36<1:10:54, 18.66s/it]
+
mmlu_hi:  42%|███████████████████████████████████████████████▉                                                                   | 162/389 [42:53<1:08:17, 18.05s/it]
+
mmlu_hi:  42%|████████████████████████████████████████████████▏                                                                  | 163/389 [43:10<1:07:33, 17.94s/it]
+
mmlu_hi:  42%|████████████████████████████████████████████████▍                                                                  | 164/389 [43:29<1:07:25, 17.98s/it]
+
mmlu_hi:  42%|████████████████████████████████████████████████▊                                                                  | 165/389 [43:43<1:02:54, 16.85s/it]
+
mmlu_hi:  43%|█████████████████████████████████████████████████                                                                  | 166/389 [43:58<1:00:54, 16.39s/it]
+
mmlu_hi:  43%|█████████████████████████████████████████████████▎                                                                 | 167/389 [44:15<1:01:46, 16.70s/it]
+
mmlu_hi:  43%|██████████████████████████████████████████████████▌                                                                  | 168/389 [44:31<59:57, 16.28s/it]
+
mmlu_hi:  43%|██████████████████████████████████████████████████▊                                                                  | 169/389 [44:45<57:16, 15.62s/it]
+
mmlu_hi:  44%|███████████████████████████████████████████████████▏                                                                 | 170/389 [45:01<57:57, 15.88s/it]
+
mmlu_hi:  44%|███████████████████████████████████████████████████▍                                                                 | 171/389 [45:18<58:26, 16.08s/it]
+
mmlu_hi:  44%|███████████████████████████████████████████████████▋                                                                 | 172/389 [45:35<59:05, 16.34s/it]
+
mmlu_hi:  44%|████████████████████████████████████████████████████                                                                 | 173/389 [45:50<57:23, 15.94s/it]
+
mmlu_hi:  45%|████████████████████████████████████████████████████▎                                                                | 174/389 [46:05<56:06, 15.66s/it]
+
mmlu_hi:  45%|████████████████████████████████████████████████████▋                                                                | 175/389 [46:21<55:57, 15.69s/it]
+
mmlu_hi:  45%|████████████████████████████████████████████████████▉                                                                | 176/389 [46:37<55:58, 15.77s/it]
+
mmlu_hi:  46%|█████████████████████████████████████████████████████▏                                                               | 177/389 [46:53<55:58, 15.84s/it]
+
mmlu_hi:  46%|█████████████████████████████████████████████████████▌                                                               | 178/389 [47:09<56:22, 16.03s/it]
+
mmlu_hi:  46%|█████████████████████████████████████████████████████▊                                                               | 179/389 [47:22<53:22, 15.25s/it]
+
mmlu_hi:  46%|██████████████████████████████████████████████████████▏                                                              | 180/389 [47:37<52:08, 14.97s/it]
+
mmlu_hi:  47%|██████████████████████████████████████████████████████▍                                                              | 181/389 [47:53<52:50, 15.24s/it]
+
mmlu_hi:  47%|██████████████████████████████████████████████████████▋                                                              | 182/389 [48:08<52:29, 15.22s/it]
+
mmlu_hi:  47%|███████████████████████████████████████████████████████                                                              | 183/389 [48:23<52:37, 15.33s/it]
+
mmlu_hi:  47%|███████████████████████████████████████████████████████▎                                                             | 184/389 [48:42<55:35, 16.27s/it]
+
mmlu_hi:  48%|███████████████████████████████████████████████████████▋                                                             | 185/389 [48:56<52:50, 15.54s/it]
+
mmlu_hi:  48%|███████████████████████████████████████████████████████▉                                                             | 186/389 [49:10<51:09, 15.12s/it]
+
mmlu_hi:  48%|████████████████████████████████████████████████████████▏                                                            | 187/389 [49:23<48:36, 14.44s/it]
+
mmlu_hi:  48%|████████████████████████████████████████████████████████▌                                                            | 188/389 [49:38<49:24, 14.75s/it]
+
mmlu_hi:  49%|████████████████████████████████████████████████████████▊                                                            | 189/389 [49:55<50:50, 15.25s/it]
+
mmlu_hi:  49%|█████████████████████████████████████████████████████████▏                                                           | 190/389 [50:11<52:03, 15.70s/it]
+
mmlu_hi:  49%|█████████████████████████████████████████████████████████▍                                                           | 191/389 [50:28<52:15, 15.84s/it]
+
mmlu_hi:  49%|█████████████████████████████████████████████████████████▋                                                           | 192/389 [50:41<49:47, 15.17s/it]
+
mmlu_hi:  50%|██████████████████████████████████████████████████████████                                                           | 193/389 [50:59<52:41, 16.13s/it]
+
mmlu_hi:  50%|██████████████████████████████████████████████████████████▎                                                          | 194/389 [51:14<50:31, 15.55s/it]
+
mmlu_hi:  50%|██████████████████████████████████████████████████████████▋                                                          | 195/389 [51:29<49:38, 15.35s/it]
+
mmlu_hi:  50%|██████████████████████████████████████████████████████████▉                                                          | 196/389 [51:42<47:52, 14.88s/it]
+
mmlu_hi:  51%|███████████████████████████████████████████████████████████▎                                                         | 197/389 [51:58<48:26, 15.14s/it]
+
mmlu_hi:  51%|███████████████████████████████████████████████████████████▌                                                         | 198/389 [52:15<50:00, 15.71s/it]
+
mmlu_hi:  51%|███████████████████████████████████████████████████████████▊                                                         | 199/389 [52:32<51:10, 16.16s/it]
+
mmlu_hi:  51%|████████████████████████████████████████████████████████████▏                                                        | 200/389 [52:49<51:10, 16.25s/it]
+
mmlu_hi:  52%|████████████████████████████████████████████████████████████▍                                                        | 201/389 [53:04<49:55, 15.94s/it]
+
mmlu_hi:  52%|████████████████████████████████████████████████████████████▊                                                        | 202/389 [53:17<47:18, 15.18s/it]
+
mmlu_hi:  52%|█████████████████████████████████████████████████████████████                                                        | 203/389 [53:34<47:59, 15.48s/it]
+
mmlu_hi:  52%|█████████████████████████████████████████████████████████████▎                                                       | 204/389 [53:51<49:28, 16.04s/it]
+
mmlu_hi:  53%|█████████████████████████████████████████████████████████████▋                                                       | 205/389 [54:06<48:11, 15.71s/it]
+
mmlu_hi:  53%|█████████████████████████████████████████████████████████████▉                                                       | 206/389 [54:23<48:54, 16.04s/it]
+
mmlu_hi:  53%|██████████████████████████████████████████████████████████████▎                                                      | 207/389 [54:37<46:55, 15.47s/it]
+
mmlu_hi:  53%|██████████████████████████████████████████████████████████████▌                                                      | 208/389 [54:54<48:15, 16.00s/it]
+
mmlu_hi:  54%|██████████████████████████████████████████████████████████████▊                                                      | 209/389 [55:07<45:29, 15.16s/it]
+
mmlu_hi:  54%|███████████████████████████████████████████████████████████████▏                                                     | 210/389 [55:22<44:38, 14.96s/it]
+
mmlu_hi:  54%|███████████████████████████████████████████████████████████████▍                                                     | 211/389 [55:39<46:35, 15.70s/it]
+
mmlu_hi:  54%|███████████████████████████████████████████████████████████████▊                                                     | 212/389 [55:54<45:26, 15.41s/it]
+
mmlu_hi:  55%|████████████████████████████████████████████████████████████████                                                     | 213/389 [56:09<44:44, 15.25s/it]
+
mmlu_hi:  55%|████████████████████████████████████████████████████████████████▎                                                    | 214/389 [56:29<48:44, 16.71s/it]
+
mmlu_hi:  55%|████████████████████████████████████████████████████████████████▋                                                    | 215/389 [56:46<48:41, 16.79s/it]
+
mmlu_hi:  56%|████████████████████████████████████████████████████████████████▉                                                    | 216/389 [57:03<48:22, 16.78s/it]
+
mmlu_hi:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 217/389 [57:17<46:13, 16.12s/it]
+
mmlu_hi:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 218/389 [57:36<48:19, 16.96s/it]
+
mmlu_hi:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 219/389 [57:50<45:45, 16.15s/it]
+
mmlu_hi:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 220/389 [58:06<44:45, 15.89s/it]
+
mmlu_hi:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 221/389 [58:22<44:31, 15.90s/it]
+
mmlu_hi:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 222/389 [58:37<43:44, 15.71s/it]
+
mmlu_hi:  57%|███████████████████████████████████████████████████████████████████                                                  | 223/389 [58:53<43:53, 15.87s/it]
+
mmlu_hi:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 224/389 [59:07<42:22, 15.41s/it]
+
mmlu_hi:  58%|███████████████████████████████████████████████████████████████████▋                                                 | 225/389 [59:23<42:15, 15.46s/it]
+
mmlu_hi:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 226/389 [59:39<42:32, 15.66s/it]
+
mmlu_hi:  58%|████████████████████████████████████████████████████████████████████▎                                                | 227/389 [59:55<42:08, 15.61s/it]
+
mmlu_hi:  59%|███████████████████████████████████████████████████████████████████▍                                               | 228/389 [1:00:08<40:09, 14.97s/it]
+
mmlu_hi:  59%|███████████████████████████████████████████████████████████████████▋                                               | 229/389 [1:00:24<40:21, 15.14s/it]
+
mmlu_hi:  59%|███████████████████████████████████████████████████████████████████▉                                               | 230/389 [1:00:42<42:45, 16.13s/it]
+
mmlu_hi:  59%|████████████████████████████████████████████████████████████████████▎                                              | 231/389 [1:00:59<42:49, 16.26s/it]
+
mmlu_hi:  60%|████████████████████████████████████████████████████████████████████▌                                              | 232/389 [1:01:18<44:40, 17.07s/it]
+
mmlu_hi:  60%|████████████████████████████████████████████████████████████████████▉                                              | 233/389 [1:01:32<42:22, 16.30s/it]
+
mmlu_hi:  60%|█████████████████████████████████████████████████████████████████████▏                                             | 234/389 [1:01:50<43:38, 16.89s/it]
+
mmlu_hi:  60%|█████████████████████████████████████████████████████████████████████▍                                             | 235/389 [1:02:07<42:47, 16.67s/it]
+
mmlu_hi:  61%|█████████████████████████████████████████████████████████████████████▊                                             | 236/389 [1:02:20<40:16, 15.79s/it]
+
mmlu_hi:  61%|██████████████████████████████████████████████████████████████████████                                             | 237/389 [1:02:36<39:57, 15.77s/it]
+
mmlu_hi:  61%|██████████████████████████████████████████████████████████████████████▎                                            | 238/389 [1:02:49<37:28, 14.89s/it]
+
mmlu_hi:  61%|██████████████████████████████████████████████████████████████████████▋                                            | 239/389 [1:03:08<40:29, 16.19s/it]
+
mmlu_hi:  62%|██████████████████████████████████████████████████████████████████████▉                                            | 240/389 [1:03:23<39:15, 15.81s/it]
+
mmlu_hi:  62%|███████████████████████████████████████████████████████████████████████▏                                           | 241/389 [1:03:41<40:35, 16.45s/it]
+
mmlu_hi:  62%|███████████████████████████████████████████████████████████████████████▌                                           | 242/389 [1:03:57<40:09, 16.39s/it]
+
mmlu_hi:  62%|███████████████████████████████████████████████████████████████████████▊                                           | 243/389 [1:04:10<36:53, 15.16s/it]
+
mmlu_hi:  63%|████████████████████████████████████████████████████████████████████████▏                                          | 244/389 [1:04:28<38:45, 16.04s/it]
+
mmlu_hi:  63%|████████████████████████████████████████████████████████████████████████▍                                          | 245/389 [1:04:46<40:08, 16.72s/it]
+
mmlu_hi:  63%|████████████████████████████████████████████████████████████████████████▋                                          | 246/389 [1:05:04<40:48, 17.12s/it]
+
mmlu_hi:  63%|█████████████████████████████████████████████████████████████████████████                                          | 247/389 [1:05:19<39:01, 16.49s/it]
+
mmlu_hi:  64%|█████████████████████████████████████████████████████████████████████████▎                                         | 248/389 [1:05:38<40:14, 17.13s/it]
+
mmlu_hi:  64%|█████████████████████████████████████████████████████████████████████████▌                                         | 249/389 [1:05:51<37:14, 15.96s/it]
+
mmlu_hi:  64%|█████████████████████████████████████████████████████████████████████████▉                                         | 250/389 [1:06:08<37:38, 16.25s/it]
+
mmlu_hi:  65%|██████████████████████████████████████████████████████████████████████████▏                                        | 251/389 [1:06:23<36:59, 16.09s/it]
+
mmlu_hi:  65%|██████████████████████████████████████████████████████████████████████████▍                                        | 252/389 [1:06:38<35:55, 15.74s/it]
+
mmlu_hi:  65%|██████████████████████████████████████████████████████████████████████████▊                                        | 253/389 [1:06:56<37:12, 16.41s/it]
+
mmlu_hi:  65%|███████████████████████████████████████████████████████████████████████████                                        | 254/389 [1:07:15<38:14, 16.99s/it]
+
mmlu_hi:  66%|███████████████████████████████████████████████████████████████████████████▍                                       | 255/389 [1:07:32<37:59, 17.01s/it]
+
mmlu_hi:  66%|███████████████████████████████████████████████████████████████████████████▋                                       | 256/389 [1:07:46<35:38, 16.08s/it]
+
mmlu_hi:  66%|███████████████████████████████████████████████████████████████████████████▉                                       | 257/389 [1:08:00<34:30, 15.68s/it]
+
mmlu_hi:  66%|████████████████████████████████████████████████████████████████████████████▎                                      | 258/389 [1:08:16<33:53, 15.52s/it]
+
mmlu_hi:  67%|████████████████████████████████████████████████████████████████████████████▌                                      | 259/389 [1:08:32<34:23, 15.87s/it]
+
mmlu_hi:  67%|████████████████████████████████████████████████████████████████████████████▊                                      | 260/389 [1:08:50<35:32, 16.53s/it]
+
mmlu_hi:  67%|█████████████████████████████████████████████████████████████████████████████▏                                     | 261/389 [1:09:04<33:09, 15.54s/it]
+
mmlu_hi:  67%|█████████████████████████████████████████████████████████████████████████████▍                                     | 262/389 [1:09:19<32:53, 15.54s/it]
+
mmlu_hi:  68%|█████████████████████████████████████████████████████████████████████████████▊                                     | 263/389 [1:09:35<32:42, 15.57s/it]
+
mmlu_hi:  68%|██████████████████████████████████████████████████████████████████████████████                                     | 264/389 [1:09:47<30:31, 14.65s/it]
+
mmlu_hi:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 265/389 [1:09:59<28:15, 13.68s/it]
+
mmlu_hi:  68%|██████████████████████████████████████████████████████████████████████████████▋                                    | 266/389 [1:10:13<28:27, 13.88s/it]
+
mmlu_hi:  69%|██████████████████████████████████████████████████████████████████████████████▉                                    | 267/389 [1:10:31<30:28, 14.99s/it]
+
mmlu_hi:  69%|███████████████████████████████████████████████████████████████████████████████▏                                   | 268/389 [1:10:46<30:38, 15.19s/it]
+
mmlu_hi:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 269/389 [1:11:04<31:59, 16.00s/it]
+
mmlu_hi:  69%|███████████████████████████████████████████████████████████████████████████████▊                                   | 270/389 [1:11:19<30:47, 15.52s/it]
+
mmlu_hi:  70%|████████████████████████████████████████████████████████████████████████████████                                   | 271/389 [1:11:34<30:25, 15.47s/it]
+
mmlu_hi:  70%|████████████████████████████████████████████████████████████████████████████████▍                                  | 272/389 [1:11:48<29:32, 15.15s/it]
+
mmlu_hi:  70%|████████████████████████████████████████████████████████████████████████████████▋                                  | 273/389 [1:12:06<30:44, 15.90s/it]
+
mmlu_hi:  70%|█████████████████████████████████████████████████████████████████████████████████                                  | 274/389 [1:12:20<29:26, 15.36s/it]
+
mmlu_hi:  71%|█████████████████████████████████████████████████████████████████████████████████▎                                 | 275/389 [1:12:35<28:58, 15.25s/it]
+
mmlu_hi:  71%|█████████████████████████████████████████████████████████████████████████████████▌                                 | 276/389 [1:12:51<29:16, 15.55s/it]
+
mmlu_hi:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 277/389 [1:13:06<28:47, 15.42s/it]
+
mmlu_hi:  71%|██████████████████████████████████████████████████████████████████████████████████▏                                | 278/389 [1:13:22<28:28, 15.39s/it]
+
mmlu_hi:  72%|██████████████████████████████████████████████████████████████████████████████████▍                                | 279/389 [1:13:36<27:48, 15.17s/it]
+
mmlu_hi:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 280/389 [1:13:54<28:47, 15.85s/it]
+
mmlu_hi:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 281/389 [1:14:08<27:33, 15.31s/it]
+
mmlu_hi:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 282/389 [1:14:21<26:14, 14.72s/it]
+
mmlu_hi:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 283/389 [1:14:40<28:02, 15.87s/it]
+
mmlu_hi:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 284/389 [1:14:56<27:42, 15.84s/it]
+
mmlu_hi:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 285/389 [1:15:12<27:56, 16.12s/it]
+
mmlu_hi:  74%|████████████████████████████████████████████████████████████████████████████████████▌                              | 286/389 [1:15:31<29:05, 16.95s/it]
+
mmlu_hi:  74%|████████████████████████████████████████████████████████████████████████████████████▊                              | 287/389 [1:15:48<28:42, 16.88s/it]
+
mmlu_hi:  74%|█████████████████████████████████████████████████████████████████████████████████████▏                             | 288/389 [1:16:03<27:20, 16.24s/it]
+
mmlu_hi:  74%|█████████████████████████████████████████████████████████████████████████████████████▍                             | 289/389 [1:16:19<26:59, 16.19s/it]
+
mmlu_hi:  75%|█████████████████████████████████████████████████████████████████████████████████████▋                             | 290/389 [1:16:35<26:46, 16.22s/it]
+
mmlu_hi:  75%|██████████████████████████████████████████████████████████████████████████████████████                             | 291/389 [1:16:50<25:52, 15.84s/it]
+
mmlu_hi:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 292/389 [1:17:10<27:45, 17.17s/it]
+
mmlu_hi:  75%|██████████████████████████████████████████████████████████████████████████████████████▌                            | 293/389 [1:17:27<27:09, 16.97s/it]
+
mmlu_hi:  76%|██████████████████████████████████████████████████████████████████████████████████████▉                            | 294/389 [1:17:40<25:09, 15.89s/it]
+
mmlu_hi:  76%|███████████████████████████████████████████████████████████████████████████████████████▏                           | 295/389 [1:17:55<24:28, 15.63s/it]
+
mmlu_hi:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 296/389 [1:18:09<23:21, 15.07s/it]
+
mmlu_hi:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 297/389 [1:18:23<22:48, 14.88s/it]
+
mmlu_hi:  77%|████████████████████████████████████████████████████████████████████████████████████████                           | 298/389 [1:18:39<23:07, 15.24s/it]
+
mmlu_hi:  77%|████████████████████████████████████████████████████████████████████████████████████████▍                          | 299/389 [1:18:55<23:03, 15.37s/it]
+
mmlu_hi:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 300/389 [1:19:08<21:49, 14.72s/it]
+
mmlu_hi:  77%|████████████████████████████████████████████████████████████████████████████████████████▉                          | 301/389 [1:19:22<20:55, 14.26s/it]
+
mmlu_hi:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 302/389 [1:19:37<21:11, 14.62s/it]
+
mmlu_hi:  78%|█████████████████████████████████████████████████████████████████████████████████████████▌                         | 303/389 [1:19:51<20:41, 14.44s/it]
+
mmlu_hi:  78%|█████████████████████████████████████████████████████████████████████████████████████████▊                         | 304/389 [1:20:06<20:37, 14.56s/it]
+
mmlu_hi:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 305/389 [1:20:24<21:43, 15.52s/it]
+
mmlu_hi:  79%|██████████████████████████████████████████████████████████████████████████████████████████▍                        | 306/389 [1:20:39<21:16, 15.38s/it]
+
mmlu_hi:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 307/389 [1:20:54<21:06, 15.45s/it]
+
mmlu_hi:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 308/389 [1:21:12<21:41, 16.07s/it]
+
mmlu_hi:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 309/389 [1:21:27<20:53, 15.67s/it]
+
mmlu_hi:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 310/389 [1:21:41<20:19, 15.44s/it]
+
mmlu_hi:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 311/389 [1:21:56<19:49, 15.25s/it]
+
mmlu_hi:  80%|████████████████████████████████████████████████████████████████████████████████████████████▏                      | 312/389 [1:22:13<20:15, 15.79s/it]
+
mmlu_hi:  80%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 313/389 [1:22:28<19:32, 15.43s/it]
+
mmlu_hi:  81%|████████████████████████████████████████████████████████████████████████████████████████████▊                      | 314/389 [1:22:42<18:58, 15.18s/it]
+
mmlu_hi:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 315/389 [1:22:58<19:00, 15.42s/it]
+
mmlu_hi:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▍                     | 316/389 [1:23:12<18:15, 15.01s/it]
+
mmlu_hi:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 317/389 [1:23:33<19:56, 16.62s/it]
+
mmlu_hi:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 318/389 [1:23:48<19:01, 16.07s/it]
+
mmlu_hi:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 319/389 [1:24:04<18:51, 16.16s/it]
+
mmlu_hi:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▌                    | 320/389 [1:24:18<17:46, 15.45s/it]
+
mmlu_hi:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 321/389 [1:24:35<18:12, 16.07s/it]
+
mmlu_hi:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▏                   | 322/389 [1:24:51<17:42, 15.86s/it]
+
mmlu_hi:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▍                   | 323/389 [1:25:09<18:12, 16.55s/it]
+
mmlu_hi:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 324/389 [1:25:25<17:54, 16.53s/it]
+
mmlu_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 325/389 [1:25:43<18:03, 16.93s/it]
+
mmlu_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 326/389 [1:26:00<17:42, 16.87s/it]
+
mmlu_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 327/389 [1:26:21<18:34, 17.98s/it]
+
mmlu_hi:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 328/389 [1:26:36<17:34, 17.29s/it]
+
mmlu_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 329/389 [1:26:53<17:12, 17.20s/it]
+
mmlu_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 330/389 [1:27:12<17:16, 17.56s/it]
+
mmlu_hi:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 331/389 [1:27:27<16:12, 16.77s/it]
+
mmlu_hi:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 332/389 [1:27:45<16:28, 17.35s/it]
+
mmlu_hi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 333/389 [1:28:01<15:40, 16.80s/it]
+
mmlu_hi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                | 334/389 [1:28:22<16:41, 18.22s/it]
+
mmlu_hi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 335/389 [1:28:35<14:57, 16.61s/it]
+
mmlu_hi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 336/389 [1:28:52<14:45, 16.70s/it]
+
mmlu_hi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 337/389 [1:29:11<14:57, 17.26s/it]
+
mmlu_hi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉               | 338/389 [1:29:27<14:23, 16.92s/it]
+
mmlu_hi:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 339/389 [1:29:44<14:10, 17.02s/it]
+
mmlu_hi:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 340/389 [1:30:01<13:57, 17.10s/it]
+
mmlu_hi:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 341/389 [1:30:18<13:32, 16.93s/it]
+
mmlu_hi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 342/389 [1:30:34<13:00, 16.61s/it]
+
mmlu_hi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 343/389 [1:30:49<12:21, 16.12s/it]
+
mmlu_hi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 344/389 [1:31:06<12:16, 16.36s/it]
+
mmlu_hi:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 345/389 [1:31:22<11:59, 16.34s/it]
+
mmlu_hi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 346/389 [1:31:36<11:18, 15.77s/it]
+
mmlu_hi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 347/389 [1:31:51<10:46, 15.39s/it]
+
mmlu_hi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 348/389 [1:32:13<11:53, 17.40s/it]
+
mmlu_hi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 349/389 [1:32:26<10:49, 16.24s/it]
+
mmlu_hi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 350/389 [1:32:46<11:16, 17.35s/it]
+
mmlu_hi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 351/389 [1:33:03<10:53, 17.19s/it]
+
mmlu_hi:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████           | 352/389 [1:33:19<10:19, 16.75s/it]
+
mmlu_hi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 353/389 [1:33:33<09:31, 15.88s/it]
+
mmlu_hi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 354/389 [1:33:46<08:50, 15.15s/it]
+
mmlu_hi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 355/389 [1:34:04<08:59, 15.86s/it]
+
mmlu_hi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 356/389 [1:34:17<08:22, 15.23s/it]
+
mmlu_hi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 357/389 [1:34:32<07:59, 14.97s/it]
+
mmlu_hi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 358/389 [1:34:45<07:26, 14.39s/it]
+
mmlu_hi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 359/389 [1:35:02<07:34, 15.15s/it]
+
mmlu_hi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 360/389 [1:35:16<07:12, 14.91s/it]
+
mmlu_hi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 361/389 [1:35:32<07:09, 15.34s/it]
+
mmlu_hi:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 362/389 [1:35:48<06:58, 15.48s/it]
+
mmlu_hi:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 363/389 [1:36:05<06:51, 15.83s/it]
+
mmlu_hi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 364/389 [1:36:20<06:27, 15.51s/it]
+
mmlu_hi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 365/389 [1:36:38<06:34, 16.45s/it]
+
mmlu_hi:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 366/389 [1:36:54<06:12, 16.18s/it]
+
mmlu_hi:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 367/389 [1:37:09<05:50, 15.91s/it]
+
mmlu_hi:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 368/389 [1:37:25<05:34, 15.95s/it]
+
mmlu_hi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 369/389 [1:37:39<05:03, 15.19s/it]
+
mmlu_hi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 370/389 [1:37:54<04:52, 15.38s/it]
+
mmlu_hi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 371/389 [1:38:10<04:36, 15.38s/it]
+
mmlu_hi:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 372/389 [1:38:25<04:21, 15.36s/it]
+
mmlu_hi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 373/389 [1:38:40<04:00, 15.06s/it]
+
mmlu_hi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 374/389 [1:38:54<03:43, 14.90s/it]
+
mmlu_hi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 375/389 [1:39:11<03:37, 15.50s/it]
+
mmlu_hi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 376/389 [1:39:27<03:22, 15.55s/it]
+
mmlu_hi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 377/389 [1:39:45<03:18, 16.54s/it]
+
mmlu_hi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 378/389 [1:40:02<03:01, 16.49s/it]
+
mmlu_hi:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 379/389 [1:40:16<02:37, 15.76s/it]
+
mmlu_hi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 380/389 [1:40:32<02:23, 15.93s/it]
+
mmlu_hi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 381/389 [1:40:48<02:06, 15.81s/it]
+
mmlu_hi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 382/389 [1:41:02<01:47, 15.39s/it]
+
mmlu_hi:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 383/389 [1:41:18<01:32, 15.39s/it]
+
mmlu_hi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 384/389 [1:41:35<01:19, 15.95s/it]
+
mmlu_hi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 385/389 [1:41:50<01:02, 15.58s/it]
+
mmlu_hi:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 386/389 [1:42:04<00:45, 15.24s/it]
+
mmlu_hi:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 387/389 [1:42:25<00:33, 16.89s/it]
+
mmlu_hi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 388/389 [1:42:40<00:16, 16.28s/it]
+
mmlu_hi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 389/389 [1:42:53<00:00, 15.33s/it]
mmlu_hi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 389/389 [1:42:53<00:00, 15.87s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hi_acc 0.2652568947495377
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hi_acc_norm 0.2859210420519418
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 02:51:52,982 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 02:51:52,982 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:53,112 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 02:51:53,112 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:53,243 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 02:51:53,243 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:53,373 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 02:51:53,374 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 02:51:53,374 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 02:51:53,506 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 02:51:53,506 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_hi_acc'}
+2024-05-31 02:51:53,572 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 02:51:53,572 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'checkpoint_id': 14266, 'metric_id': 1221, 'value': 0.2652568947495377}
+2024-05-31 02:51:53,638 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 02:51:54,305 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 02:51:54,305 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:54,435 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 02:51:54,435 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:54,565 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 02:51:54,565 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:54,695 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 02:51:54,695 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 02:51:54,696 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 02:51:54,827 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 02:51:54,827 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_hi_acc_norm'}
+2024-05-31 02:51:54,893 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 02:51:54,893 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1222, 'value': 0.2859210420519418}
+2024-05-31 02:51:54,958 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  58%|██████████████████████████████████████████████████████████████▋                                             | 72/124 [44:04:24<72:35:00, 5025.01s/it]['mmlu_hr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 02:51:55,613 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 02:51:55,613 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:55,741 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 02:51:55,741 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:55,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 02:51:55,869 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 02:51:55,997 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 02:51:55,998 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 02:51:55,998 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hr'}
+2024-05-31 02:51:56,127 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_hr task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1763 examples [00:00, 15430.47 examples/s]
+
Generating test split: 5113 examples [00:00, 25463.89 examples/s]
+
Generating test split: 8608 examples [00:00, 29657.39 examples/s]
+
Generating test split: 12000 examples [00:00, 31118.65 examples/s]
Generating test split: 13148 examples [00:00, 28876.83 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 280 examples [00:00, 26572.66 examples/s]
+Running loglikelihood requests
+
+
mmlu_hr:   0%|                                                                                                                               | 0/411 [00:00<?, ?it/s]
+
mmlu_hr:   0%|▎                                                                                                                      | 1/411 [00:07<54:32,  7.98s/it]
+
mmlu_hr:   0%|▌                                                                                                                      | 2/411 [00:15<54:01,  7.93s/it]
+
mmlu_hr:   1%|▊                                                                                                                    | 3/411 [00:26<1:01:32,  9.05s/it]
+
mmlu_hr:   1%|█▏                                                                                                                     | 4/411 [00:34<59:32,  8.78s/it]
+
mmlu_hr:   1%|█▍                                                                                                                   | 5/411 [00:43<1:00:23,  8.93s/it]
+
mmlu_hr:   1%|█▋                                                                                                                   | 6/411 [00:53<1:02:46,  9.30s/it]
+
mmlu_hr:   2%|█▉                                                                                                                   | 7/411 [01:02<1:01:03,  9.07s/it]
+
mmlu_hr:   2%|██▎                                                                                                                  | 8/411 [01:12<1:02:57,  9.37s/it]
+
mmlu_hr:   2%|██▌                                                                                                                  | 9/411 [01:21<1:02:35,  9.34s/it]
+
mmlu_hr:   2%|██▊                                                                                                                 | 10/411 [01:30<1:00:41,  9.08s/it]
+
mmlu_hr:   3%|███▏                                                                                                                  | 11/411 [01:38<59:36,  8.94s/it]
+
mmlu_hr:   3%|███▍                                                                                                                  | 12/411 [01:46<57:07,  8.59s/it]
+
mmlu_hr:   3%|███▋                                                                                                                  | 13/411 [01:55<57:47,  8.71s/it]
+
mmlu_hr:   3%|████                                                                                                                  | 14/411 [02:03<56:28,  8.54s/it]
+
mmlu_hr:   4%|████▎                                                                                                                 | 15/411 [02:12<57:25,  8.70s/it]
+
mmlu_hr:   4%|████▌                                                                                                                 | 16/411 [02:21<58:09,  8.83s/it]
+
mmlu_hr:   4%|████▉                                                                                                                 | 17/411 [02:30<57:25,  8.74s/it]
+
mmlu_hr:   4%|█████▏                                                                                                                | 18/411 [02:40<59:32,  9.09s/it]
+
mmlu_hr:   5%|█████▍                                                                                                                | 19/411 [02:48<57:06,  8.74s/it]
+
mmlu_hr:   5%|█████▋                                                                                                                | 20/411 [02:55<54:13,  8.32s/it]
+
mmlu_hr:   5%|██████                                                                                                                | 21/411 [03:04<55:16,  8.50s/it]
+
mmlu_hr:   5%|██████▎                                                                                                               | 22/411 [03:13<55:02,  8.49s/it]
+
mmlu_hr:   6%|██████▌                                                                                                               | 23/411 [03:21<55:19,  8.56s/it]
+
mmlu_hr:   6%|██████▉                                                                                                               | 24/411 [03:30<54:52,  8.51s/it]
+
mmlu_hr:   6%|███████▏                                                                                                              | 25/411 [03:39<56:18,  8.75s/it]
+
mmlu_hr:   6%|███████▍                                                                                                              | 26/411 [03:47<54:24,  8.48s/it]
+
mmlu_hr:   7%|███████▊                                                                                                              | 27/411 [03:56<55:52,  8.73s/it]
+
mmlu_hr:   7%|████████                                                                                                              | 28/411 [04:06<57:56,  9.08s/it]
+
mmlu_hr:   7%|████████▎                                                                                                             | 29/411 [04:15<57:04,  8.96s/it]
+
mmlu_hr:   7%|████████▌                                                                                                             | 30/411 [04:23<55:19,  8.71s/it]
+
mmlu_hr:   8%|████████▉                                                                                                             | 31/411 [04:31<54:43,  8.64s/it]
+
mmlu_hr:   8%|█████████▏                                                                                                            | 32/411 [04:40<54:16,  8.59s/it]
+
mmlu_hr:   8%|█████████▍                                                                                                            | 33/411 [04:48<53:40,  8.52s/it]
+
mmlu_hr:   8%|█████████▊                                                                                                            | 34/411 [04:57<54:05,  8.61s/it]
+
mmlu_hr:   9%|██████████                                                                                                            | 35/411 [05:05<52:00,  8.30s/it]
+
mmlu_hr:   9%|██████████▎                                                                                                           | 36/411 [05:14<54:28,  8.72s/it]
+
mmlu_hr:   9%|██████████▌                                                                                                           | 37/411 [05:24<55:32,  8.91s/it]
+
mmlu_hr:   9%|██████████▉                                                                                                           | 38/411 [05:32<54:42,  8.80s/it]
+
mmlu_hr:   9%|███████████▏                                                                                                          | 39/411 [05:41<53:56,  8.70s/it]
+
mmlu_hr:  10%|███████████▍                                                                                                          | 40/411 [05:50<55:04,  8.91s/it]
+
mmlu_hr:  10%|███████████▊                                                                                                          | 41/411 [05:58<52:47,  8.56s/it]
+
mmlu_hr:  10%|████████████                                                                                                          | 42/411 [06:08<55:05,  8.96s/it]
+
mmlu_hr:  10%|████████████▎                                                                                                         | 43/411 [06:17<55:31,  9.05s/it]
+
mmlu_hr:  11%|████████████▋                                                                                                         | 44/411 [06:26<55:56,  9.14s/it]
+
mmlu_hr:  11%|████████████▉                                                                                                         | 45/411 [06:34<53:58,  8.85s/it]
+
mmlu_hr:  11%|█████████████▏                                                                                                        | 46/411 [06:43<54:00,  8.88s/it]
+
mmlu_hr:  11%|█████████████▍                                                                                                        | 47/411 [06:51<52:26,  8.64s/it]
+
mmlu_hr:  12%|█████████████▊                                                                                                        | 48/411 [07:01<53:18,  8.81s/it]
+
mmlu_hr:  12%|██████████████                                                                                                        | 49/411 [07:09<51:27,  8.53s/it]
+
mmlu_hr:  12%|██████████████▎                                                                                                       | 50/411 [07:17<51:24,  8.54s/it]
+
mmlu_hr:  12%|██████████████▋                                                                                                       | 51/411 [07:26<50:59,  8.50s/it]
+
mmlu_hr:  13%|██████████████▉                                                                                                       | 52/411 [07:36<53:50,  9.00s/it]
+
mmlu_hr:  13%|███████████████▏                                                                                                      | 53/411 [07:44<53:16,  8.93s/it]
+
mmlu_hr:  13%|███████████████▌                                                                                                      | 54/411 [07:53<53:14,  8.95s/it]
+
mmlu_hr:  13%|███████████████▊                                                                                                      | 55/411 [08:02<52:22,  8.83s/it]
+
mmlu_hr:  14%|████████████████                                                                                                      | 56/411 [08:11<51:53,  8.77s/it]
+
mmlu_hr:  14%|████████████████▎                                                                                                     | 57/411 [08:19<51:10,  8.67s/it]
+
mmlu_hr:  14%|████████████████▋                                                                                                     | 58/411 [08:28<50:40,  8.61s/it]
+
mmlu_hr:  14%|████████████████▉                                                                                                     | 59/411 [08:35<48:38,  8.29s/it]
+
mmlu_hr:  15%|█████████████████▏                                                                                                    | 60/411 [08:44<50:06,  8.57s/it]
+
mmlu_hr:  15%|█████████████████▌                                                                                                    | 61/411 [08:53<49:52,  8.55s/it]
+
mmlu_hr:  15%|█████████████████▊                                                                                                    | 62/411 [09:02<50:40,  8.71s/it]
+
mmlu_hr:  15%|██████████████████                                                                                                    | 63/411 [09:11<51:25,  8.87s/it]
+
mmlu_hr:  16%|██████████████████▎                                                                                                   | 64/411 [09:21<52:11,  9.02s/it]
+
mmlu_hr:  16%|██████████████████▋                                                                                                   | 65/411 [09:29<50:57,  8.84s/it]
+
mmlu_hr:  16%|██████████████████▉                                                                                                   | 66/411 [09:38<51:42,  8.99s/it]
+
mmlu_hr:  16%|███████████████████▏                                                                                                  | 67/411 [09:47<50:51,  8.87s/it]
+
mmlu_hr:  17%|███████████████████▌                                                                                                  | 68/411 [09:55<49:02,  8.58s/it]
+
mmlu_hr:  17%|███████████████████▊                                                                                                  | 69/411 [10:03<48:43,  8.55s/it]
+
mmlu_hr:  17%|████████████████████                                                                                                  | 70/411 [10:13<50:07,  8.82s/it]
+
mmlu_hr:  17%|████████████████████▍                                                                                                 | 71/411 [10:22<50:56,  8.99s/it]
+
mmlu_hr:  18%|████████████████████▋                                                                                                 | 72/411 [10:32<52:32,  9.30s/it]
+
mmlu_hr:  18%|████████████████████▉                                                                                                 | 73/411 [10:40<50:49,  9.02s/it]
+
mmlu_hr:  18%|█████████████████████▏                                                                                                | 74/411 [10:49<49:51,  8.88s/it]
+
mmlu_hr:  18%|█████████████████████▌                                                                                                | 75/411 [10:59<50:56,  9.10s/it]
+
mmlu_hr:  18%|█████████████████████▊                                                                                                | 76/411 [11:08<50:55,  9.12s/it]
+
mmlu_hr:  19%|██████████████████████                                                                                                | 77/411 [11:17<50:23,  9.05s/it]
+
mmlu_hr:  19%|██████████████████████▍                                                                                               | 78/411 [11:24<47:51,  8.62s/it]
+
mmlu_hr:  19%|██████████████████████▋                                                                                               | 79/411 [11:32<46:04,  8.33s/it]
+
mmlu_hr:  19%|██████████████████████▉                                                                                               | 80/411 [11:40<46:04,  8.35s/it]
+
mmlu_hr:  20%|███████████████████████▎                                                                                              | 81/411 [11:50<47:58,  8.72s/it]
+
mmlu_hr:  20%|███████████████████████▌                                                                                              | 82/411 [11:59<48:41,  8.88s/it]
+
mmlu_hr:  20%|███████████████████████▊                                                                                              | 83/411 [12:08<48:26,  8.86s/it]
+
mmlu_hr:  20%|████████████████████████                                                                                              | 84/411 [12:17<48:29,  8.90s/it]
+
mmlu_hr:  21%|████████████████████████▍                                                                                             | 85/411 [12:27<49:37,  9.13s/it]
+
mmlu_hr:  21%|████████████████████████▋                                                                                             | 86/411 [12:36<49:16,  9.10s/it]
+
mmlu_hr:  21%|████████████████████████▉                                                                                             | 87/411 [12:44<47:14,  8.75s/it]
+
mmlu_hr:  21%|█████████████████████████▎                                                                                            | 88/411 [12:52<46:30,  8.64s/it]
+
mmlu_hr:  22%|█████████████████████████▌                                                                                            | 89/411 [13:01<46:19,  8.63s/it]
+
mmlu_hr:  22%|█████████████████████████▊                                                                                            | 90/411 [13:09<45:28,  8.50s/it]
+
mmlu_hr:  22%|██████████████████████████▏                                                                                           | 91/411 [13:17<45:04,  8.45s/it]
+
mmlu_hr:  22%|██████████████████████████▍                                                                                           | 92/411 [13:26<45:04,  8.48s/it]
+
mmlu_hr:  23%|██████████████████████████▋                                                                                           | 93/411 [13:34<45:12,  8.53s/it]
+
mmlu_hr:  23%|██████████████████████████▉                                                                                           | 94/411 [13:42<43:31,  8.24s/it]
+
mmlu_hr:  23%|███████████████████████████▎                                                                                          | 95/411 [13:50<42:54,  8.15s/it]
+
mmlu_hr:  23%|███████████████████████████▌                                                                                          | 96/411 [13:58<43:23,  8.27s/it]
+
mmlu_hr:  24%|███████████████████████████▊                                                                                          | 97/411 [14:08<45:48,  8.75s/it]
+
mmlu_hr:  24%|████████████████████████████▏                                                                                         | 98/411 [14:17<45:09,  8.66s/it]
+
mmlu_hr:  24%|████████████████████████████▍                                                                                         | 99/411 [14:25<44:49,  8.62s/it]
+
mmlu_hr:  24%|████████████████████████████▍                                                                                        | 100/411 [14:33<43:45,  8.44s/it]
+
mmlu_hr:  25%|████████████████████████████▊                                                                                        | 101/411 [14:42<43:20,  8.39s/it]
+
mmlu_hr:  25%|█████████████████████████████                                                                                        | 102/411 [14:51<45:20,  8.80s/it]
+
mmlu_hr:  25%|█████████████████████████████▎                                                                                       | 103/411 [15:00<44:58,  8.76s/it]
+
mmlu_hr:  25%|█████████████████████████████▌                                                                                       | 104/411 [15:08<43:42,  8.54s/it]
+
mmlu_hr:  26%|█████████████████████████████▉                                                                                       | 105/411 [15:16<42:52,  8.41s/it]
+
mmlu_hr:  26%|██████████████████████████████▏                                                                                      | 106/411 [15:25<43:49,  8.62s/it]
+
mmlu_hr:  26%|██████████████████████████████▍                                                                                      | 107/411 [15:35<45:10,  8.92s/it]
+
mmlu_hr:  26%|██████████████████████████████▋                                                                                      | 108/411 [15:44<44:58,  8.91s/it]
+
mmlu_hr:  27%|███████████████████████████████                                                                                      | 109/411 [15:53<46:03,  9.15s/it]
+
mmlu_hr:  27%|███████████████████████████████▎                                                                                     | 110/411 [16:03<45:51,  9.14s/it]
+
mmlu_hr:  27%|███████████████████████████████▌                                                                                     | 111/411 [16:10<43:40,  8.74s/it]
+
mmlu_hr:  27%|███████████████████████████████▉                                                                                     | 112/411 [16:19<43:15,  8.68s/it]
+
mmlu_hr:  27%|████████████████████████████████▏                                                                                    | 113/411 [16:27<42:56,  8.65s/it]
+
mmlu_hr:  28%|████████████████████████████████▍                                                                                    | 114/411 [16:36<42:29,  8.59s/it]
+
mmlu_hr:  28%|████████████████████████████████▋                                                                                    | 115/411 [16:44<41:11,  8.35s/it]
+
mmlu_hr:  28%|█████████████████████████████████                                                                                    | 116/411 [16:53<42:36,  8.67s/it]
+
mmlu_hr:  28%|█████████████████████████████████▎                                                                                   | 117/411 [17:02<42:47,  8.73s/it]
+
mmlu_hr:  29%|█████████████████████████████████▌                                                                                   | 118/411 [17:12<44:02,  9.02s/it]
+
mmlu_hr:  29%|█████████████████████████████████▉                                                                                   | 119/411 [17:22<45:11,  9.29s/it]
+
mmlu_hr:  29%|██████████████████████████████████▏                                                                                  | 120/411 [17:30<43:57,  9.06s/it]
+
mmlu_hr:  29%|██████████████████████████████████▍                                                                                  | 121/411 [17:38<42:28,  8.79s/it]
+
mmlu_hr:  30%|██████████████████████████████████▋                                                                                  | 122/411 [17:46<40:17,  8.37s/it]
+
mmlu_hr:  30%|███████████████████████████████████                                                                                  | 123/411 [17:55<40:56,  8.53s/it]
+
mmlu_hr:  30%|███████████████████████████████████▎                                                                                 | 124/411 [18:03<40:47,  8.53s/it]
+
mmlu_hr:  30%|███████████████████████████████████▌                                                                                 | 125/411 [18:12<41:31,  8.71s/it]
+
mmlu_hr:  31%|███████████████████████████████████▊                                                                                 | 126/411 [18:21<41:22,  8.71s/it]
+
mmlu_hr:  31%|████████████████████████████████████▏                                                                                | 127/411 [18:30<41:43,  8.81s/it]
+
mmlu_hr:  31%|████████████████████████████████████▍                                                                                | 128/411 [18:39<41:30,  8.80s/it]
+
mmlu_hr:  31%|████████████████████████████████████▋                                                                                | 129/411 [18:48<42:30,  9.05s/it]
+
mmlu_hr:  32%|█████████████████████████████████████                                                                                | 130/411 [18:57<41:27,  8.85s/it]
+
mmlu_hr:  32%|█████████████████████████████████████▎                                                                               | 131/411 [19:05<39:47,  8.53s/it]
+
mmlu_hr:  32%|█████████████████████████████████████▌                                                                               | 132/411 [19:14<40:35,  8.73s/it]
+
mmlu_hr:  32%|█████████████████████████████████████▊                                                                               | 133/411 [19:22<39:29,  8.52s/it]
+
mmlu_hr:  33%|██████████████████████████████████████▏                                                                              | 134/411 [19:31<39:52,  8.64s/it]
+
mmlu_hr:  33%|██████████████████████████████████████▍                                                                              | 135/411 [19:39<39:20,  8.55s/it]
+
mmlu_hr:  33%|██████████████████████████████████████▋                                                                              | 136/411 [19:47<38:22,  8.37s/it]
+
mmlu_hr:  33%|███████████████████████████████████████                                                                              | 137/411 [19:56<38:38,  8.46s/it]
+
mmlu_hr:  34%|███████████████████████████████████████▎                                                                             | 138/411 [20:04<38:38,  8.49s/it]
+
mmlu_hr:  34%|███████████████████████████████████████▌                                                                             | 139/411 [20:13<38:34,  8.51s/it]
+
mmlu_hr:  34%|███████████████████████████████████████▊                                                                             | 140/411 [20:21<37:23,  8.28s/it]
+
mmlu_hr:  34%|████████████████████████████████████████▏                                                                            | 141/411 [20:29<37:16,  8.28s/it]
+
mmlu_hr:  35%|████████████████████████████████████████▍                                                                            | 142/411 [20:37<36:58,  8.25s/it]
+
mmlu_hr:  35%|████████████████████████████████████████▋                                                                            | 143/411 [20:45<36:59,  8.28s/it]
+
mmlu_hr:  35%|████████████████████████████████████████▉                                                                            | 144/411 [20:54<36:51,  8.28s/it]
+
mmlu_hr:  35%|█████████████████████████████████████████▎                                                                           | 145/411 [21:03<37:45,  8.52s/it]
+
mmlu_hr:  36%|█████████████████████████████████████████▌                                                                           | 146/411 [21:11<37:58,  8.60s/it]
+
mmlu_hr:  36%|█████████████████████████████████████████▊                                                                           | 147/411 [21:20<37:35,  8.54s/it]
+
mmlu_hr:  36%|██████████████████████████████████████████▏                                                                          | 148/411 [21:31<40:11,  9.17s/it]
+
mmlu_hr:  36%|██████████████████████████████████████████▍                                                                          | 149/411 [21:39<39:16,  8.99s/it]
+
mmlu_hr:  36%|██████████████████████████████████████████▋                                                                          | 150/411 [21:49<40:29,  9.31s/it]
+
mmlu_hr:  37%|██████████████████████████████████████████▉                                                                          | 151/411 [21:59<41:21,  9.54s/it]
+
mmlu_hr:  37%|███████████████████████████████████████████▎                                                                         | 152/411 [22:09<41:07,  9.53s/it]
+
mmlu_hr:  37%|███████████████████████████████████████████▌                                                                         | 153/411 [22:17<39:36,  9.21s/it]
+
mmlu_hr:  37%|███████████████████████████████████████████▊                                                                         | 154/411 [22:26<38:31,  8.99s/it]
+
mmlu_hr:  38%|████████████████████████████████████████████                                                                         | 155/411 [22:35<38:50,  9.10s/it]
+
mmlu_hr:  38%|████████████████████████████████████████████▍                                                                        | 156/411 [22:43<37:42,  8.87s/it]
+
mmlu_hr:  38%|████████████████████████████████████████████▋                                                                        | 157/411 [22:52<37:42,  8.91s/it]
+
mmlu_hr:  38%|████████████████████████████████████████████▉                                                                        | 158/411 [23:01<36:52,  8.74s/it]
+
mmlu_hr:  39%|█████████████████████████████████████████████▎                                                                       | 159/411 [23:11<38:21,  9.13s/it]
+
mmlu_hr:  39%|█████████████████████████████████████████████▌                                                                       | 160/411 [23:19<37:20,  8.93s/it]
+
mmlu_hr:  39%|█████████████████████████████████████████████▊                                                                       | 161/411 [23:28<36:39,  8.80s/it]
+
mmlu_hr:  39%|██████████████████████████████████████████████                                                                       | 162/411 [23:37<37:02,  8.93s/it]
+
mmlu_hr:  40%|██████████████████████████████████████████████▍                                                                      | 163/411 [23:46<36:32,  8.84s/it]
+
mmlu_hr:  40%|██████████████████████████████████████████████▋                                                                      | 164/411 [23:55<36:59,  8.98s/it]
+
mmlu_hr:  40%|██████████████████████████████████████████████▉                                                                      | 165/411 [24:04<36:57,  9.01s/it]
+
mmlu_hr:  40%|███████████████████████████████████████████████▎                                                                     | 166/411 [24:12<36:09,  8.86s/it]
+
mmlu_hr:  41%|███████████████████████████████████████████████▌                                                                     | 167/411 [24:21<35:30,  8.73s/it]
+
mmlu_hr:  41%|███████████████████████████████████████████████▊                                                                     | 168/411 [24:30<35:14,  8.70s/it]
+
mmlu_hr:  41%|████████████████████████████████████████████████                                                                     | 169/411 [24:38<35:04,  8.70s/it]
+
mmlu_hr:  41%|████████████████████████████████████████████████▍                                                                    | 170/411 [24:48<35:54,  8.94s/it]
+
mmlu_hr:  42%|████████████████████████████████████████████████▋                                                                    | 171/411 [24:56<34:59,  8.75s/it]
+
mmlu_hr:  42%|████████████████████████████████████████████████▉                                                                    | 172/411 [25:04<34:22,  8.63s/it]
+
mmlu_hr:  42%|█████████████████████████████████████████████████▏                                                                   | 173/411 [25:14<35:13,  8.88s/it]
+
mmlu_hr:  42%|█████████████████████████████████████████████████▌                                                                   | 174/411 [25:22<34:16,  8.68s/it]
+
mmlu_hr:  43%|█████████████████████████████████████████████████▊                                                                   | 175/411 [25:30<33:39,  8.56s/it]
+
mmlu_hr:  43%|██████████████████████████████████████████████████                                                                   | 176/411 [25:39<34:12,  8.73s/it]
+
mmlu_hr:  43%|██████████████████████████████████████████████████▍                                                                  | 177/411 [25:48<33:34,  8.61s/it]
+
mmlu_hr:  43%|██████████████████████████████████████████████████▋                                                                  | 178/411 [25:56<33:24,  8.60s/it]
+
mmlu_hr:  44%|██████████████████████████████████████████████████▉                                                                  | 179/411 [26:05<32:59,  8.53s/it]
+
mmlu_hr:  44%|███████████████████████████████████████████████████▏                                                                 | 180/411 [26:14<34:02,  8.84s/it]
+
mmlu_hr:  44%|███████████████████████████████████████████████████▌                                                                 | 181/411 [26:22<32:44,  8.54s/it]
+
mmlu_hr:  44%|███████████████████████████████████████████████████▊                                                                 | 182/411 [26:32<33:44,  8.84s/it]
+
mmlu_hr:  45%|████████████████████████████████████████████████████                                                                 | 183/411 [26:40<32:44,  8.62s/it]
+
mmlu_hr:  45%|████████████████████████████████████████████████████▍                                                                | 184/411 [26:49<32:57,  8.71s/it]
+
mmlu_hr:  45%|████████████████████████████████████████████████████▋                                                                | 185/411 [26:57<32:09,  8.54s/it]
+
mmlu_hr:  45%|████████████████████████████████████████████████████▉                                                                | 186/411 [27:05<31:07,  8.30s/it]
+
mmlu_hr:  45%|█████████████████████████████████████████████████████▏                                                               | 187/411 [27:15<33:19,  8.93s/it]
+
mmlu_hr:  46%|█████████████████████████████████████████████████████▌                                                               | 188/411 [27:24<33:04,  8.90s/it]
+
mmlu_hr:  46%|█████████████████████████████████████████████████████▊                                                               | 189/411 [27:32<31:38,  8.55s/it]
+
mmlu_hr:  46%|██████████████████████████████████████████████████████                                                               | 190/411 [27:40<31:54,  8.66s/it]
+
mmlu_hr:  46%|██████████████████████████████████████████████████████▎                                                              | 191/411 [27:50<32:31,  8.87s/it]
+
mmlu_hr:  47%|██████████████████████████████████████████████████████▋                                                              | 192/411 [27:59<33:09,  9.08s/it]
+
mmlu_hr:  47%|██████████████████████████████████████████████████████▉                                                              | 193/411 [28:09<33:24,  9.20s/it]
+
mmlu_hr:  47%|███████████████████████████████████████████████████████▏                                                             | 194/411 [28:17<32:24,  8.96s/it]
+
mmlu_hr:  47%|███████████████████████████████████████████████████████▌                                                             | 195/411 [28:27<32:33,  9.04s/it]
+
mmlu_hr:  48%|███████████████████████████████████████████████████████▊                                                             | 196/411 [28:35<32:14,  9.00s/it]
+
mmlu_hr:  48%|████████████████████████████████████████████████████████                                                             | 197/411 [28:44<31:10,  8.74s/it]
+
mmlu_hr:  48%|████████████████████████████████████████████████████████▎                                                            | 198/411 [28:52<30:28,  8.59s/it]
+
mmlu_hr:  48%|████████████████████████████████████████████████████████▋                                                            | 199/411 [29:01<30:37,  8.67s/it]
+
mmlu_hr:  49%|████████████████████████████████████████████████████████▉                                                            | 200/411 [29:09<30:07,  8.57s/it]
+
mmlu_hr:  49%|█████████████████████████████████████████████████████████▏                                                           | 201/411 [29:17<29:47,  8.51s/it]
+
mmlu_hr:  49%|█████████████████████████████████████████████████████████▌                                                           | 202/411 [29:27<31:03,  8.92s/it]
+
mmlu_hr:  49%|█████████████████████████████████████████████████████████▊                                                           | 203/411 [29:36<31:01,  8.95s/it]
+
mmlu_hr:  50%|██████████████████████████████████████████████████████████                                                           | 204/411 [29:46<31:34,  9.15s/it]
+
mmlu_hr:  50%|██████████████████████████████████████████████████████████▎                                                          | 205/411 [29:55<31:40,  9.23s/it]
+
mmlu_hr:  50%|██████████████████████████████████████████████████████████▋                                                          | 206/411 [30:04<30:55,  9.05s/it]
+
mmlu_hr:  50%|██████████████████████████████████████████████████████████▉                                                          | 207/411 [30:12<30:06,  8.86s/it]
+
mmlu_hr:  51%|███████████████████████████████████████████████████████████▏                                                         | 208/411 [30:22<30:38,  9.06s/it]
+
mmlu_hr:  51%|███████████████████████████████████████████████████████████▍                                                         | 209/411 [30:31<31:03,  9.23s/it]
+
mmlu_hr:  51%|███████████████████████████████████████████████████████████▊                                                         | 210/411 [30:40<29:43,  8.87s/it]
+
mmlu_hr:  51%|████████████████████████████████████████████████████████████                                                         | 211/411 [30:49<30:02,  9.01s/it]
+
mmlu_hr:  52%|████████████████████████████████████████████████████████████▎                                                        | 212/411 [30:57<29:19,  8.84s/it]
+
mmlu_hr:  52%|████████████████████████████████████████████████████████████▋                                                        | 213/411 [31:07<29:47,  9.03s/it]
+
mmlu_hr:  52%|████████████████████████████████████████████████████████████▉                                                        | 214/411 [31:16<30:02,  9.15s/it]
+
mmlu_hr:  52%|█████████████████████████████████████████████████████████████▏                                                       | 215/411 [31:25<29:30,  9.03s/it]
+
mmlu_hr:  53%|█████████████████████████████████████████████████████████████▍                                                       | 216/411 [31:33<28:28,  8.76s/it]
+
mmlu_hr:  53%|█████████████████████████████████████████████████████████████▊                                                       | 217/411 [31:41<27:52,  8.62s/it]
+
mmlu_hr:  53%|██████████████████████████████████████████████████████████████                                                       | 218/411 [31:49<27:12,  8.46s/it]
+
mmlu_hr:  53%|██████████████████████████████████████████████████████████████▎                                                      | 219/411 [31:58<27:37,  8.63s/it]
+
mmlu_hr:  54%|██████████████████████████████████████████████████████████████▋                                                      | 220/411 [32:09<28:52,  9.07s/it]
+
mmlu_hr:  54%|██████████████████████████████████████████████████████████████▉                                                      | 221/411 [32:18<28:43,  9.07s/it]
+
mmlu_hr:  54%|███████████████████████████████████████████████████████████████▏                                                     | 222/411 [32:27<29:14,  9.28s/it]
+
mmlu_hr:  54%|███████████████████████████████████████████████████████████████▍                                                     | 223/411 [32:37<29:03,  9.27s/it]
+
mmlu_hr:  55%|███████████████████████████████████████████████████████████████▊                                                     | 224/411 [32:45<28:17,  9.08s/it]
+
mmlu_hr:  55%|████████████████████████████████████████████████████████████████                                                     | 225/411 [32:55<28:28,  9.19s/it]
+
mmlu_hr:  55%|████████████████████████████████████████████████████████████████▎                                                    | 226/411 [33:04<28:26,  9.22s/it]
+
mmlu_hr:  55%|████████████████████████████████████████████████████████████████▌                                                    | 227/411 [33:13<27:36,  9.00s/it]
+
mmlu_hr:  55%|████████████████████████████████████████████████████████████████▉                                                    | 228/411 [33:22<27:32,  9.03s/it]
+
mmlu_hr:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 229/411 [33:31<27:41,  9.13s/it]
+
mmlu_hr:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 230/411 [33:39<26:37,  8.82s/it]
+
mmlu_hr:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 231/411 [33:48<26:19,  8.77s/it]
+
mmlu_hr:  56%|██████████████████████████████████████████████████████████████████                                                   | 232/411 [33:57<26:48,  8.98s/it]
+
mmlu_hr:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 233/411 [34:06<26:16,  8.85s/it]
+
mmlu_hr:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 234/411 [34:15<26:24,  8.95s/it]
+
mmlu_hr:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 235/411 [34:24<26:32,  9.05s/it]
+
mmlu_hr:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 236/411 [34:34<27:10,  9.32s/it]
+
mmlu_hr:  58%|███████████████████████████████████████████████████████████████████▍                                                 | 237/411 [34:44<27:06,  9.35s/it]
+
mmlu_hr:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 238/411 [34:53<26:55,  9.34s/it]
+
mmlu_hr:  58%|████████████████████████████████████████████████████████████████████                                                 | 239/411 [35:01<25:35,  8.93s/it]
+
mmlu_hr:  58%|████████████████████████████████████████████████████████████████████▎                                                | 240/411 [35:10<25:35,  8.98s/it]
+
mmlu_hr:  59%|████████████████████████████████████████████████████████████████████▌                                                | 241/411 [35:19<25:04,  8.85s/it]
+
mmlu_hr:  59%|████████████████████████████████████████████████████████████████████▉                                                | 242/411 [35:27<24:29,  8.69s/it]
+
mmlu_hr:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 243/411 [35:36<24:19,  8.69s/it]
+
mmlu_hr:  59%|█████████████████████████████████████████████████████████████████████▍                                               | 244/411 [35:45<24:36,  8.84s/it]
+
mmlu_hr:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 245/411 [35:53<24:16,  8.77s/it]
+
mmlu_hr:  60%|██████████████████████████████████████████████████████████████████████                                               | 246/411 [36:02<24:05,  8.76s/it]
+
mmlu_hr:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 247/411 [36:10<23:02,  8.43s/it]
+
mmlu_hr:  60%|██████████████████████████████████████████████████████████████████████▌                                              | 248/411 [36:18<22:23,  8.24s/it]
+
mmlu_hr:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 249/411 [36:27<23:32,  8.72s/it]
+
mmlu_hr:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 250/411 [36:35<22:42,  8.46s/it]
+
mmlu_hr:  61%|███████████████████████████████████████████████████████████████████████▍                                             | 251/411 [36:45<23:14,  8.71s/it]
+
mmlu_hr:  61%|███████████████████████████████████████████████████████████████████████▋                                             | 252/411 [36:54<23:22,  8.82s/it]
+
mmlu_hr:  62%|████████████████████████████████████████████████████████████████████████                                             | 253/411 [37:03<23:40,  8.99s/it]
+
mmlu_hr:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 254/411 [37:12<23:15,  8.89s/it]
+
mmlu_hr:  62%|████████████████████████████████████████████████████████████████████████▌                                            | 255/411 [37:21<23:24,  9.00s/it]
+
mmlu_hr:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 256/411 [37:30<23:14,  8.99s/it]
+
mmlu_hr:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 257/411 [37:39<22:47,  8.88s/it]
+
mmlu_hr:  63%|█████████████████████████████████████████████████████████████████████████▍                                           | 258/411 [37:47<22:26,  8.80s/it]
+
mmlu_hr:  63%|█████████████████████████████████████████████████████████████████████████▋                                           | 259/411 [37:56<22:06,  8.72s/it]
+
mmlu_hr:  63%|██████████████████████████████████████████████████████████████████████████                                           | 260/411 [38:04<21:52,  8.69s/it]
+
mmlu_hr:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 261/411 [38:12<20:46,  8.31s/it]
+
mmlu_hr:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 262/411 [38:22<21:53,  8.82s/it]
+
mmlu_hr:  64%|██████████████████████████████████████████████████████████████████████████▊                                          | 263/411 [38:30<21:28,  8.71s/it]
+
mmlu_hr:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 264/411 [38:38<20:31,  8.38s/it]
+
mmlu_hr:  64%|███████████████████████████████████████████████████████████████████████████▍                                         | 265/411 [38:47<21:22,  8.78s/it]
+
mmlu_hr:  65%|███████████████████████████████████████████████████████████████████████████▋                                         | 266/411 [38:55<20:22,  8.43s/it]
+
mmlu_hr:  65%|████████████████████████████████████████████████████████████████████████████                                         | 267/411 [39:05<21:16,  8.87s/it]
+
mmlu_hr:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 268/411 [39:14<21:22,  8.97s/it]
+
mmlu_hr:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 269/411 [39:23<21:02,  8.89s/it]
+
mmlu_hr:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 270/411 [39:32<20:58,  8.93s/it]
+
mmlu_hr:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 271/411 [39:41<21:12,  9.09s/it]
+
mmlu_hr:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 272/411 [39:50<20:46,  8.97s/it]
+
mmlu_hr:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 273/411 [40:00<21:18,  9.27s/it]
+
mmlu_hr:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 274/411 [40:10<21:44,  9.52s/it]
+
mmlu_hr:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 275/411 [40:19<20:56,  9.24s/it]
+
mmlu_hr:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 276/411 [40:27<20:05,  8.93s/it]
+
mmlu_hr:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 277/411 [40:36<19:52,  8.90s/it]
+
mmlu_hr:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 278/411 [40:44<19:11,  8.66s/it]
+
mmlu_hr:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 279/411 [40:52<18:32,  8.42s/it]
+
mmlu_hr:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 280/411 [41:02<19:39,  9.01s/it]
+
mmlu_hr:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 281/411 [41:10<18:34,  8.57s/it]
+
mmlu_hr:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 282/411 [41:19<18:52,  8.78s/it]
+
mmlu_hr:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 283/411 [41:27<18:31,  8.68s/it]
+
mmlu_hr:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 284/411 [41:36<18:16,  8.63s/it]
+
mmlu_hr:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 285/411 [41:45<18:34,  8.85s/it]
+
mmlu_hr:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 286/411 [41:53<18:00,  8.65s/it]
+
mmlu_hr:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 287/411 [42:02<17:42,  8.57s/it]
+
mmlu_hr:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 288/411 [42:11<18:02,  8.80s/it]
+
mmlu_hr:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 289/411 [42:20<17:48,  8.76s/it]
+
mmlu_hr:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 290/411 [42:27<16:55,  8.40s/it]
+
mmlu_hr:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 291/411 [42:35<16:25,  8.21s/it]
+
mmlu_hr:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 292/411 [42:44<16:37,  8.38s/it]
+
mmlu_hr:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 293/411 [42:53<16:59,  8.64s/it]
+
mmlu_hr:  72%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 294/411 [43:02<16:52,  8.66s/it]
+
mmlu_hr:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 295/411 [43:11<17:09,  8.87s/it]
+
mmlu_hr:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 296/411 [43:20<16:46,  8.75s/it]
+
mmlu_hr:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 297/411 [43:29<16:50,  8.86s/it]
+
mmlu_hr:  73%|████████████████████████████████████████████████████████████████████████████████████▊                                | 298/411 [43:38<16:44,  8.89s/it]
+
mmlu_hr:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 299/411 [43:47<17:01,  9.12s/it]
+
mmlu_hr:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 300/411 [43:56<16:42,  9.03s/it]
+
mmlu_hr:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 301/411 [44:05<16:09,  8.81s/it]
+
mmlu_hr:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 302/411 [44:13<15:58,  8.79s/it]
+
mmlu_hr:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 303/411 [44:21<15:23,  8.55s/it]
+
mmlu_hr:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 304/411 [44:30<15:24,  8.64s/it]
+
mmlu_hr:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 305/411 [44:39<15:24,  8.72s/it]
+
mmlu_hr:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 306/411 [44:48<15:14,  8.71s/it]
+
mmlu_hr:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 307/411 [44:56<15:03,  8.69s/it]
+
mmlu_hr:  75%|███████████████████████████████████████████████████████████████████████████████████████▋                             | 308/411 [45:06<15:11,  8.84s/it]
+
mmlu_hr:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 309/411 [45:15<15:15,  8.98s/it]
+
mmlu_hr:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 310/411 [45:26<16:03,  9.54s/it]
+
mmlu_hr:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 311/411 [45:34<15:23,  9.23s/it]
+
mmlu_hr:  76%|████████████████████████████████████████████████████████████████████████████████████████▊                            | 312/411 [45:44<15:24,  9.34s/it]
+
mmlu_hr:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 313/411 [45:53<15:11,  9.30s/it]
+
mmlu_hr:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 314/411 [46:01<14:36,  9.04s/it]
+
mmlu_hr:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 315/411 [46:10<14:17,  8.93s/it]
+
mmlu_hr:  77%|█████████████████████████████████████████████████████████████████████████████████████████▉                           | 316/411 [46:18<13:50,  8.75s/it]
+
mmlu_hr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 317/411 [46:27<13:44,  8.77s/it]
+
mmlu_hr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 318/411 [46:36<13:42,  8.84s/it]
+
mmlu_hr:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 319/411 [46:45<13:22,  8.73s/it]
+
mmlu_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 320/411 [46:54<13:18,  8.77s/it]
+
mmlu_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 321/411 [47:03<13:12,  8.81s/it]
+
mmlu_hr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 322/411 [47:12<13:32,  9.13s/it]
+
mmlu_hr:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 323/411 [47:22<13:37,  9.29s/it]
+
mmlu_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 324/411 [47:30<12:44,  8.78s/it]
+
mmlu_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 325/411 [47:38<12:30,  8.72s/it]
+
mmlu_hr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 326/411 [47:47<12:28,  8.80s/it]
+
mmlu_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████                        | 327/411 [47:55<12:05,  8.63s/it]
+
mmlu_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 328/411 [48:05<12:14,  8.85s/it]
+
mmlu_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 329/411 [48:15<12:31,  9.17s/it]
+
mmlu_hr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 330/411 [48:23<12:03,  8.94s/it]
+
mmlu_hr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▏                      | 331/411 [48:33<12:07,  9.09s/it]
+
mmlu_hr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 332/411 [48:42<12:16,  9.33s/it]
+
mmlu_hr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 333/411 [48:51<11:47,  9.08s/it]
+
mmlu_hr:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 334/411 [49:00<11:47,  9.19s/it]
+
mmlu_hr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 335/411 [49:09<11:29,  9.08s/it]
+
mmlu_hr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 336/411 [49:17<11:00,  8.81s/it]
+
mmlu_hr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 337/411 [49:27<11:17,  9.15s/it]
+
mmlu_hr:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 338/411 [49:36<11:00,  9.05s/it]
+
mmlu_hr:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 339/411 [49:45<10:57,  9.13s/it]
+
mmlu_hr:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 340/411 [49:56<11:11,  9.46s/it]
+
mmlu_hr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 341/411 [50:05<10:54,  9.35s/it]
+
mmlu_hr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 342/411 [50:13<10:16,  8.93s/it]
+
mmlu_hr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 343/411 [50:20<09:42,  8.57s/it]
+
mmlu_hr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 344/411 [50:28<09:12,  8.25s/it]
+
mmlu_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 345/411 [50:37<09:25,  8.57s/it]
+
mmlu_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 346/411 [50:46<09:20,  8.62s/it]
+
mmlu_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 347/411 [50:55<09:23,  8.81s/it]
+
mmlu_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 348/411 [51:04<09:22,  8.93s/it]
+
mmlu_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 349/411 [51:12<08:50,  8.56s/it]
+
mmlu_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 350/411 [51:21<08:47,  8.65s/it]
+
mmlu_hr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 351/411 [51:30<08:35,  8.60s/it]
+
mmlu_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 352/411 [51:38<08:29,  8.64s/it]
+
mmlu_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 353/411 [51:47<08:25,  8.72s/it]
+
mmlu_hr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 354/411 [51:56<08:16,  8.72s/it]
+
mmlu_hr:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 355/411 [52:04<07:56,  8.51s/it]
+
mmlu_hr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 356/411 [52:13<07:51,  8.57s/it]
+
mmlu_hr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 357/411 [52:20<07:28,  8.31s/it]
+
mmlu_hr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 358/411 [52:29<07:25,  8.41s/it]
+
mmlu_hr:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 359/411 [52:38<07:27,  8.61s/it]
+
mmlu_hr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 360/411 [52:47<07:20,  8.65s/it]
+
mmlu_hr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 361/411 [52:55<07:03,  8.46s/it]
+
mmlu_hr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 362/411 [53:04<07:02,  8.62s/it]
+
mmlu_hr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 363/411 [53:11<06:38,  8.29s/it]
+
mmlu_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 364/411 [53:21<06:47,  8.67s/it]
+
mmlu_hr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 365/411 [53:28<06:20,  8.28s/it]
+
mmlu_hr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 366/411 [53:36<06:03,  8.08s/it]
+
mmlu_hr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 367/411 [53:44<06:01,  8.23s/it]
+
mmlu_hr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 368/411 [53:53<05:59,  8.36s/it]
+
mmlu_hr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 369/411 [54:01<05:47,  8.27s/it]
+
mmlu_hr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 370/411 [54:11<05:53,  8.62s/it]
+
mmlu_hr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 371/411 [54:19<05:37,  8.44s/it]
+
mmlu_hr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 372/411 [54:28<05:40,  8.74s/it]
+
mmlu_hr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 373/411 [54:37<05:37,  8.89s/it]
+
mmlu_hr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 374/411 [54:47<05:34,  9.04s/it]
+
mmlu_hr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 375/411 [54:55<05:16,  8.78s/it]
+
mmlu_hr:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 376/411 [55:03<04:58,  8.52s/it]
+
mmlu_hr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 377/411 [55:12<04:54,  8.65s/it]
+
mmlu_hr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 378/411 [55:20<04:38,  8.45s/it]
+
mmlu_hr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 379/411 [55:27<04:23,  8.23s/it]
+
mmlu_hr:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 380/411 [55:36<04:20,  8.41s/it]
+
mmlu_hr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 381/411 [55:44<04:01,  8.06s/it]
+
mmlu_hr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 382/411 [55:53<04:08,  8.57s/it]
+
mmlu_hr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 383/411 [56:01<03:52,  8.29s/it]
+
mmlu_hr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 384/411 [56:10<03:48,  8.48s/it]
+
mmlu_hr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 385/411 [56:18<03:39,  8.42s/it]
+
mmlu_hr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 386/411 [56:28<03:39,  8.78s/it]
+
mmlu_hr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 387/411 [56:36<03:29,  8.74s/it]
+
mmlu_hr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 388/411 [56:46<03:24,  8.91s/it]
+
mmlu_hr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 389/411 [56:55<03:20,  9.09s/it]
+
mmlu_hr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 390/411 [57:04<03:07,  8.91s/it]
+
mmlu_hr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 391/411 [57:13<02:57,  8.90s/it]
+
mmlu_hr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 392/411 [57:22<02:53,  9.15s/it]
+
mmlu_hr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 393/411 [57:32<02:47,  9.32s/it]
+
mmlu_hr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 394/411 [57:41<02:34,  9.10s/it]
+
mmlu_hr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 395/411 [57:49<02:20,  8.79s/it]
+
mmlu_hr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 396/411 [57:59<02:18,  9.23s/it]
+
mmlu_hr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 397/411 [58:09<02:11,  9.36s/it]
+
mmlu_hr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 398/411 [58:16<01:55,  8.90s/it]
+
mmlu_hr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 399/411 [58:25<01:45,  8.83s/it]
+
mmlu_hr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 400/411 [58:33<01:34,  8.62s/it]
+
mmlu_hr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 401/411 [58:41<01:23,  8.33s/it]
+
mmlu_hr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 402/411 [58:49<01:14,  8.32s/it]
+
mmlu_hr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 403/411 [58:59<01:09,  8.68s/it]
+
mmlu_hr:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 404/411 [59:06<00:58,  8.37s/it]
+
mmlu_hr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 405/411 [59:15<00:50,  8.39s/it]
+
mmlu_hr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 406/411 [59:23<00:41,  8.28s/it]
+
mmlu_hr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 407/411 [59:31<00:33,  8.36s/it]
+
mmlu_hr:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 408/411 [59:41<00:26,  8.78s/it]
+
mmlu_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 409/411 [59:49<00:16,  8.39s/it]
+
mmlu_hr: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 410/411 [59:58<00:08,  8.62s/it]
+
mmlu_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 411/411 [1:00:06<00:00,  8.40s/it]
mmlu_hr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 411/411 [1:00:06<00:00,  8.77s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hr_acc 0.31327958624885915
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hr_acc_norm 0.30620626711286886
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 03:52:04,640 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 03:52:04,640 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:04,765 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 03:52:04,765 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:04,891 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 03:52:04,891 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:05,017 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 03:52:05,017 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 03:52:05,018 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 03:52:05,144 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 03:52:05,145 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hr_acc'}
+2024-05-31 03:52:05,208 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 03:52:05,209 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1223, 'value': 0.31327958624885915}
+2024-05-31 03:52:05,273 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 03:52:05,925 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 03:52:05,925 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:06,054 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 03:52:06,054 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:06,183 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 03:52:06,183 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:06,312 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 03:52:06,312 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 03:52:06,313 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 03:52:06,442 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 03:52:06,442 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hr_acc_norm'}
+2024-05-31 03:52:06,508 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 03:52:06,508 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1224, 'value': 0.30620626711286886}
+2024-05-31 03:52:06,573 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  59%|███████████████████████████████████████████████████████████████▌                                            | 73/124 [45:04:35<65:10:50, 4600.99s/it]['mmlu_hu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 03:52:07,226 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 03:52:07,226 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:07,354 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 03:52:07,354 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:07,483 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 03:52:07,483 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 03:52:07,611 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 03:52:07,612 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 03:52:07,612 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_hu'}
+2024-05-31 03:52:07,741 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_hu task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1740 examples [00:00, 14290.95 examples/s]
+
Generating test split: 5004 examples [00:00, 24194.19 examples/s]
+
Generating test split: 8450 examples [00:00, 28661.13 examples/s]
+
Generating test split: 11893 examples [00:00, 30871.17 examples/s]
Generating test split: 13024 examples [00:00, 27952.24 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 278 examples [00:00, 26657.90 examples/s]
+Running loglikelihood requests
+
+
mmlu_hu:   0%|                                                                                                                               | 0/407 [00:00<?, ?it/s]
+
mmlu_hu:   0%|▎                                                                                                                      | 1/407 [00:08<57:41,  8.53s/it]
+
mmlu_hu:   0%|▌                                                                                                                      | 2/407 [00:16<56:58,  8.44s/it]
+
mmlu_hu:   1%|▉                                                                                                                      | 3/407 [00:25<58:48,  8.73s/it]
+
mmlu_hu:   1%|█▏                                                                                                                   | 4/407 [00:36<1:04:32,  9.61s/it]
+
mmlu_hu:   1%|█▍                                                                                                                   | 5/407 [00:46<1:03:43,  9.51s/it]
+
mmlu_hu:   1%|█▋                                                                                                                   | 6/407 [00:55<1:02:01,  9.28s/it]
+
mmlu_hu:   2%|██                                                                                                                   | 7/407 [01:03<1:00:14,  9.04s/it]
+
mmlu_hu:   2%|██▎                                                                                                                  | 8/407 [01:13<1:01:15,  9.21s/it]
+
mmlu_hu:   2%|██▌                                                                                                                  | 9/407 [01:22<1:00:54,  9.18s/it]
+
mmlu_hu:   2%|██▊                                                                                                                 | 10/407 [01:31<1:00:08,  9.09s/it]
+
mmlu_hu:   3%|███▏                                                                                                                  | 11/407 [01:38<56:54,  8.62s/it]
+
mmlu_hu:   3%|███▍                                                                                                                  | 12/407 [01:47<57:34,  8.75s/it]
+
mmlu_hu:   3%|███▊                                                                                                                  | 13/407 [01:57<58:36,  8.93s/it]
+
mmlu_hu:   3%|████                                                                                                                  | 14/407 [02:06<59:21,  9.06s/it]
+
mmlu_hu:   4%|████▎                                                                                                               | 15/407 [02:16<1:01:15,  9.38s/it]
+
mmlu_hu:   4%|████▋                                                                                                                 | 16/407 [02:25<59:48,  9.18s/it]
+
mmlu_hu:   4%|████▉                                                                                                                 | 17/407 [02:33<58:27,  8.99s/it]
+
mmlu_hu:   4%|█████▏                                                                                                                | 18/407 [02:43<59:49,  9.23s/it]
+
mmlu_hu:   5%|█████▌                                                                                                                | 19/407 [02:51<57:24,  8.88s/it]
+
mmlu_hu:   5%|█████▋                                                                                                              | 20/407 [03:02<1:00:24,  9.37s/it]
+
mmlu_hu:   5%|██████                                                                                                                | 21/407 [03:10<58:46,  9.14s/it]
+
mmlu_hu:   5%|██████▍                                                                                                               | 22/407 [03:20<58:55,  9.18s/it]
+
mmlu_hu:   6%|██████▋                                                                                                               | 23/407 [03:29<59:20,  9.27s/it]
+
mmlu_hu:   6%|██████▊                                                                                                             | 24/407 [03:40<1:02:25,  9.78s/it]
+
mmlu_hu:   6%|███████▏                                                                                                            | 25/407 [03:49<1:01:00,  9.58s/it]
+
mmlu_hu:   6%|███████▌                                                                                                              | 26/407 [03:58<58:49,  9.26s/it]
+
mmlu_hu:   7%|███████▊                                                                                                              | 27/407 [04:07<58:04,  9.17s/it]
+
mmlu_hu:   7%|████████                                                                                                              | 28/407 [04:16<57:40,  9.13s/it]
+
mmlu_hu:   7%|████████▍                                                                                                             | 29/407 [04:25<57:04,  9.06s/it]
+
mmlu_hu:   7%|████████▋                                                                                                             | 30/407 [04:33<56:24,  8.98s/it]
+
mmlu_hu:   8%|████████▉                                                                                                             | 31/407 [04:42<55:16,  8.82s/it]
+
mmlu_hu:   8%|█████████▎                                                                                                            | 32/407 [04:53<59:28,  9.52s/it]
+
mmlu_hu:   8%|█████████▌                                                                                                            | 33/407 [05:01<56:44,  9.10s/it]
+
mmlu_hu:   8%|█████████▊                                                                                                            | 34/407 [05:12<59:11,  9.52s/it]
+
mmlu_hu:   9%|██████████▏                                                                                                           | 35/407 [05:21<58:23,  9.42s/it]
+
mmlu_hu:   9%|██████████▍                                                                                                           | 36/407 [05:30<57:59,  9.38s/it]
+
mmlu_hu:   9%|██████████▋                                                                                                           | 37/407 [05:39<56:55,  9.23s/it]
+
mmlu_hu:   9%|███████████                                                                                                           | 38/407 [05:47<55:21,  9.00s/it]
+
mmlu_hu:  10%|███████████▎                                                                                                          | 39/407 [05:56<54:29,  8.88s/it]
+
mmlu_hu:  10%|███████████▌                                                                                                          | 40/407 [06:06<55:24,  9.06s/it]
+
mmlu_hu:  10%|███████████▉                                                                                                          | 41/407 [06:15<56:54,  9.33s/it]
+
mmlu_hu:  10%|████████████▏                                                                                                         | 42/407 [06:25<57:51,  9.51s/it]
+
mmlu_hu:  11%|████████████▍                                                                                                         | 43/407 [06:34<56:43,  9.35s/it]
+
mmlu_hu:  11%|████████████▊                                                                                                         | 44/407 [06:45<58:13,  9.63s/it]
+
mmlu_hu:  11%|█████████████                                                                                                         | 45/407 [06:54<57:57,  9.61s/it]
+
mmlu_hu:  11%|█████████████▎                                                                                                        | 46/407 [07:03<56:24,  9.38s/it]
+
mmlu_hu:  12%|█████████████▋                                                                                                        | 47/407 [07:13<57:16,  9.55s/it]
+
mmlu_hu:  12%|█████████████▉                                                                                                        | 48/407 [07:23<57:09,  9.55s/it]
+
mmlu_hu:  12%|██████████████▏                                                                                                       | 49/407 [07:32<57:22,  9.62s/it]
+
mmlu_hu:  12%|██████████████▍                                                                                                       | 50/407 [07:41<55:14,  9.28s/it]
+
mmlu_hu:  13%|██████████████▊                                                                                                       | 51/407 [07:50<55:14,  9.31s/it]
+
mmlu_hu:  13%|███████████████                                                                                                       | 52/407 [07:58<52:42,  8.91s/it]
+
mmlu_hu:  13%|███████████████▎                                                                                                      | 53/407 [08:07<53:05,  9.00s/it]
+
mmlu_hu:  13%|███████████████▋                                                                                                      | 54/407 [08:17<53:11,  9.04s/it]
+
mmlu_hu:  14%|███████████████▉                                                                                                      | 55/407 [08:25<52:11,  8.90s/it]
+
mmlu_hu:  14%|████████████████▏                                                                                                     | 56/407 [08:34<52:30,  8.97s/it]
+
mmlu_hu:  14%|████████████████▌                                                                                                     | 57/407 [08:44<53:04,  9.10s/it]
+
mmlu_hu:  14%|████████████████▊                                                                                                     | 58/407 [08:54<54:50,  9.43s/it]
+
mmlu_hu:  14%|█████████████████                                                                                                     | 59/407 [09:05<57:55,  9.99s/it]
+
mmlu_hu:  15%|█████████████████▍                                                                                                    | 60/407 [09:14<55:35,  9.61s/it]
+
mmlu_hu:  15%|█████████████████▋                                                                                                    | 61/407 [09:24<55:56,  9.70s/it]
+
mmlu_hu:  15%|█████████████████▉                                                                                                    | 62/407 [09:32<52:23,  9.11s/it]
+
mmlu_hu:  15%|██████████████████▎                                                                                                   | 63/407 [09:41<52:51,  9.22s/it]
+
mmlu_hu:  16%|██████████████████▌                                                                                                   | 64/407 [09:51<54:31,  9.54s/it]
+
mmlu_hu:  16%|██████████████████▊                                                                                                   | 65/407 [10:00<53:19,  9.36s/it]
+
mmlu_hu:  16%|███████████████████▏                                                                                                  | 66/407 [10:10<53:23,  9.40s/it]
+
mmlu_hu:  16%|███████████████████▍                                                                                                  | 67/407 [10:18<50:55,  8.99s/it]
+
mmlu_hu:  17%|███████████████████▋                                                                                                  | 68/407 [10:28<52:22,  9.27s/it]
+
mmlu_hu:  17%|████████████████████                                                                                                  | 69/407 [10:38<53:13,  9.45s/it]
+
mmlu_hu:  17%|████████████████████▎                                                                                                 | 70/407 [10:48<54:57,  9.79s/it]
+
mmlu_hu:  17%|████████████████████▌                                                                                                 | 71/407 [10:57<53:59,  9.64s/it]
+
mmlu_hu:  18%|████████████████████▊                                                                                                 | 72/407 [11:07<53:27,  9.57s/it]
+
mmlu_hu:  18%|█████████████████████▏                                                                                                | 73/407 [11:15<50:52,  9.14s/it]
+
mmlu_hu:  18%|█████████████████████▍                                                                                                | 74/407 [11:24<50:38,  9.12s/it]
+
mmlu_hu:  18%|█████████████████████▋                                                                                                | 75/407 [11:34<51:07,  9.24s/it]
+
mmlu_hu:  19%|██████████████████████                                                                                                | 76/407 [11:42<49:43,  9.01s/it]
+
mmlu_hu:  19%|██████████████████████▎                                                                                               | 77/407 [11:51<49:19,  8.97s/it]
+
mmlu_hu:  19%|██████████████████████▌                                                                                               | 78/407 [11:59<48:04,  8.77s/it]
+
mmlu_hu:  19%|██████████████████████▉                                                                                               | 79/407 [12:09<49:05,  8.98s/it]
+
mmlu_hu:  20%|███████████████████████▏                                                                                              | 80/407 [12:18<49:24,  9.07s/it]
+
mmlu_hu:  20%|███████████████████████▍                                                                                              | 81/407 [12:27<49:57,  9.20s/it]
+
mmlu_hu:  20%|███████████████████████▊                                                                                              | 82/407 [12:36<48:35,  8.97s/it]
+
mmlu_hu:  20%|████████████████████████                                                                                              | 83/407 [12:45<48:43,  9.02s/it]
+
mmlu_hu:  21%|████████████████████████▎                                                                                             | 84/407 [12:55<49:57,  9.28s/it]
+
mmlu_hu:  21%|████████████████████████▋                                                                                             | 85/407 [13:03<48:41,  9.07s/it]
+
mmlu_hu:  21%|████████████████████████▉                                                                                             | 86/407 [13:14<50:17,  9.40s/it]
+
mmlu_hu:  21%|█████████████████████████▏                                                                                            | 87/407 [13:23<49:39,  9.31s/it]
+
mmlu_hu:  22%|█████████████████████████▌                                                                                            | 88/407 [13:32<49:09,  9.25s/it]
+
mmlu_hu:  22%|█████████████████████████▊                                                                                            | 89/407 [13:41<49:36,  9.36s/it]
+
mmlu_hu:  22%|██████████████████████████                                                                                            | 90/407 [13:51<50:15,  9.51s/it]
+
mmlu_hu:  22%|██████████████████████████▍                                                                                           | 91/407 [14:00<49:03,  9.31s/it]
+
mmlu_hu:  23%|██████████████████████████▋                                                                                           | 92/407 [14:10<49:57,  9.52s/it]
+
mmlu_hu:  23%|██████████████████████████▉                                                                                           | 93/407 [14:20<49:46,  9.51s/it]
+
mmlu_hu:  23%|███████████████████████████▎                                                                                          | 94/407 [14:29<49:34,  9.50s/it]
+
mmlu_hu:  23%|███████████████████████████▌                                                                                          | 95/407 [14:39<49:55,  9.60s/it]
+
mmlu_hu:  24%|███████████████████████████▊                                                                                          | 96/407 [14:50<51:30,  9.94s/it]
+
mmlu_hu:  24%|████████████████████████████                                                                                          | 97/407 [14:58<48:40,  9.42s/it]
+
mmlu_hu:  24%|████████████████████████████▍                                                                                         | 98/407 [15:07<48:24,  9.40s/it]
+
mmlu_hu:  24%|████████████████████████████▋                                                                                         | 99/407 [15:17<48:21,  9.42s/it]
+
mmlu_hu:  25%|████████████████████████████▋                                                                                        | 100/407 [15:26<47:47,  9.34s/it]
+
mmlu_hu:  25%|█████████████████████████████                                                                                        | 101/407 [15:35<47:35,  9.33s/it]
+
mmlu_hu:  25%|█████████████████████████████▎                                                                                       | 102/407 [15:44<46:53,  9.23s/it]
+
mmlu_hu:  25%|█████████████████████████████▌                                                                                       | 103/407 [15:53<46:40,  9.21s/it]
+
mmlu_hu:  26%|█████████████████████████████▉                                                                                       | 104/407 [16:02<45:30,  9.01s/it]
+
mmlu_hu:  26%|██████████████████████████████▏                                                                                      | 105/407 [16:11<46:01,  9.15s/it]
+
mmlu_hu:  26%|██████████████████████████████▍                                                                                      | 106/407 [16:20<44:21,  8.84s/it]
+
mmlu_hu:  26%|██████████████████████████████▊                                                                                      | 107/407 [16:29<44:27,  8.89s/it]
+
mmlu_hu:  27%|███████████████████████████████                                                                                      | 108/407 [16:38<44:29,  8.93s/it]
+
mmlu_hu:  27%|███████████████████████████████▎                                                                                     | 109/407 [16:46<43:37,  8.78s/it]
+
mmlu_hu:  27%|███████████████████████████████▌                                                                                     | 110/407 [16:54<43:04,  8.70s/it]
+
mmlu_hu:  27%|███████████████████████████████▉                                                                                     | 111/407 [17:03<43:14,  8.76s/it]
+
mmlu_hu:  28%|████████████████████████████████▏                                                                                    | 112/407 [17:13<43:45,  8.90s/it]
+
mmlu_hu:  28%|████████████████████████████████▍                                                                                    | 113/407 [17:23<45:28,  9.28s/it]
+
mmlu_hu:  28%|████████████████████████████████▊                                                                                    | 114/407 [17:34<48:47,  9.99s/it]
+
mmlu_hu:  28%|█████████████████████████████████                                                                                    | 115/407 [17:44<47:27,  9.75s/it]
+
mmlu_hu:  29%|█████████████████████████████████▎                                                                                   | 116/407 [17:53<46:30,  9.59s/it]
+
mmlu_hu:  29%|█████████████████████████████████▋                                                                                   | 117/407 [18:03<47:21,  9.80s/it]
+
mmlu_hu:  29%|█████████████████████████████████▉                                                                                   | 118/407 [18:13<46:58,  9.75s/it]
+
mmlu_hu:  29%|██████████████████████████████████▏                                                                                  | 119/407 [18:21<45:05,  9.39s/it]
+
mmlu_hu:  29%|██████████████████████████████████▍                                                                                  | 120/407 [18:30<44:17,  9.26s/it]
+
mmlu_hu:  30%|██████████████████████████████████▊                                                                                  | 121/407 [18:41<46:45,  9.81s/it]
+
mmlu_hu:  30%|███████████████████████████████████                                                                                  | 122/407 [18:50<45:01,  9.48s/it]
+
mmlu_hu:  30%|███████████████████████████████████▎                                                                                 | 123/407 [19:00<46:00,  9.72s/it]
+
mmlu_hu:  30%|███████████████████████████████████▋                                                                                 | 124/407 [19:10<45:16,  9.60s/it]
+
mmlu_hu:  31%|███████████████████████████████████▉                                                                                 | 125/407 [19:18<43:44,  9.31s/it]
+
mmlu_hu:  31%|████████████████████████████████████▏                                                                                | 126/407 [19:27<42:29,  9.07s/it]
+
mmlu_hu:  31%|████████████████████████████████████▌                                                                                | 127/407 [19:36<43:04,  9.23s/it]
+
mmlu_hu:  31%|████████████████████████████████████▊                                                                                | 128/407 [19:47<44:24,  9.55s/it]
+
mmlu_hu:  32%|█████████████████████████████████████                                                                                | 129/407 [19:56<43:49,  9.46s/it]
+
mmlu_hu:  32%|█████████████████████████████████████▎                                                                               | 130/407 [20:06<44:58,  9.74s/it]
+
mmlu_hu:  32%|█████████████████████████████████████▋                                                                               | 131/407 [20:15<43:32,  9.47s/it]
+
mmlu_hu:  32%|█████████████████████████████████████▉                                                                               | 132/407 [20:25<43:14,  9.43s/it]
+
mmlu_hu:  33%|██████████████████████████████████████▏                                                                              | 133/407 [20:35<44:01,  9.64s/it]
+
mmlu_hu:  33%|██████████████████████████████████████▌                                                                              | 134/407 [20:44<43:49,  9.63s/it]
+
mmlu_hu:  33%|██████████████████████████████████████▊                                                                              | 135/407 [20:53<42:47,  9.44s/it]
+
mmlu_hu:  33%|███████████████████████████████████████                                                                              | 136/407 [21:02<41:26,  9.18s/it]
+
mmlu_hu:  34%|███████████████████████████████████████▍                                                                             | 137/407 [21:10<40:14,  8.94s/it]
+
mmlu_hu:  34%|███████████████████████████████████████▋                                                                             | 138/407 [21:19<39:53,  8.90s/it]
+
mmlu_hu:  34%|███████████████████████████████████████▉                                                                             | 139/407 [21:28<39:37,  8.87s/it]
+
mmlu_hu:  34%|████████████████████████████████████████▏                                                                            | 140/407 [21:36<38:09,  8.57s/it]
+
mmlu_hu:  35%|████████████████████████████████████████▌                                                                            | 141/407 [21:44<38:10,  8.61s/it]
+
mmlu_hu:  35%|████████████████████████████████████████▊                                                                            | 142/407 [21:54<38:40,  8.76s/it]
+
mmlu_hu:  35%|█████████████████████████████████████████                                                                            | 143/407 [22:05<41:31,  9.44s/it]
+
mmlu_hu:  35%|█████████████████████████████████████████▍                                                                           | 144/407 [22:13<40:27,  9.23s/it]
+
mmlu_hu:  36%|█████████████████████████████████████████▋                                                                           | 145/407 [22:23<40:43,  9.33s/it]
+
mmlu_hu:  36%|█████████████████████████████████████████▉                                                                           | 146/407 [22:33<42:13,  9.71s/it]
+
mmlu_hu:  36%|██████████████████████████████████████████▎                                                                          | 147/407 [22:43<41:37,  9.61s/it]
+
mmlu_hu:  36%|██████████████████████████████████████████▌                                                                          | 148/407 [22:52<41:09,  9.54s/it]
+
mmlu_hu:  37%|██████████████████████████████████████████▊                                                                          | 149/407 [23:02<41:35,  9.67s/it]
+
mmlu_hu:  37%|███████████████████████████████████████████                                                                          | 150/407 [23:11<40:35,  9.48s/it]
+
mmlu_hu:  37%|███████████████████████████████████████████▍                                                                         | 151/407 [23:20<40:08,  9.41s/it]
+
mmlu_hu:  37%|███████████████████████████████████████████▋                                                                         | 152/407 [23:29<39:18,  9.25s/it]
+
mmlu_hu:  38%|███████████████████████████████████████████▉                                                                         | 153/407 [23:39<39:49,  9.41s/it]
+
mmlu_hu:  38%|████████████████████████████████████████████▎                                                                        | 154/407 [23:49<40:00,  9.49s/it]
+
mmlu_hu:  38%|████████████████████████████████████████████▌                                                                        | 155/407 [23:57<38:27,  9.16s/it]
+
mmlu_hu:  38%|████████████████████████████████████████████▊                                                                        | 156/407 [24:06<38:26,  9.19s/it]
+
mmlu_hu:  39%|█████████████████████████████████████████████▏                                                                       | 157/407 [24:16<38:37,  9.27s/it]
+
mmlu_hu:  39%|█████████████████████████████████████████████▍                                                                       | 158/407 [24:25<38:06,  9.18s/it]
+
mmlu_hu:  39%|█████████████████████████████████████████████▋                                                                       | 159/407 [24:34<37:29,  9.07s/it]
+
mmlu_hu:  39%|█████████████████████████████████████████████▉                                                                       | 160/407 [24:43<37:04,  9.01s/it]
+
mmlu_hu:  40%|██████████████████████████████████████████████▎                                                                      | 161/407 [24:50<35:24,  8.64s/it]
+
mmlu_hu:  40%|██████████████████████████████████████████████▌                                                                      | 162/407 [25:00<36:19,  8.89s/it]
+
mmlu_hu:  40%|██████████████████████████████████████████████▊                                                                      | 163/407 [25:08<35:39,  8.77s/it]
+
mmlu_hu:  40%|███████████████████████████████████████████████▏                                                                     | 164/407 [25:18<36:38,  9.05s/it]
+
mmlu_hu:  41%|███████████████████████████████████████████████▍                                                                     | 165/407 [25:28<37:26,  9.28s/it]
+
mmlu_hu:  41%|███████████████████████████████████████████████▋                                                                     | 166/407 [25:38<37:49,  9.42s/it]
+
mmlu_hu:  41%|████████████████████████████████████████████████                                                                     | 167/407 [25:46<36:32,  9.14s/it]
+
mmlu_hu:  41%|████████████████████████████████████████████████▎                                                                    | 168/407 [25:56<37:33,  9.43s/it]
+
mmlu_hu:  42%|████████████████████████████████████████████████▌                                                                    | 169/407 [26:06<38:23,  9.68s/it]
+
mmlu_hu:  42%|████████████████████████████████████████████████▊                                                                    | 170/407 [26:15<36:43,  9.30s/it]
+
mmlu_hu:  42%|█████████████████████████████████████████████████▏                                                                   | 171/407 [26:23<35:34,  9.04s/it]
+
mmlu_hu:  42%|█████████████████████████████████████████████████▍                                                                   | 172/407 [26:32<35:34,  9.08s/it]
+
mmlu_hu:  43%|█████████████████████████████████████████████████▋                                                                   | 173/407 [26:41<34:43,  8.90s/it]
+
mmlu_hu:  43%|██████████████████████████████████████████████████                                                                   | 174/407 [26:50<34:29,  8.88s/it]
+
mmlu_hu:  43%|██████████████████████████████████████████████████▎                                                                  | 175/407 [26:59<35:22,  9.15s/it]
+
mmlu_hu:  43%|██████████████████████████████████████████████████▌                                                                  | 176/407 [27:09<35:14,  9.15s/it]
+
mmlu_hu:  43%|██████████████████████████████████████████████████▉                                                                  | 177/407 [27:18<35:09,  9.17s/it]
+
mmlu_hu:  44%|███████████████████████████████████████████████████▏                                                                 | 178/407 [27:27<35:10,  9.22s/it]
+
mmlu_hu:  44%|███████████████████████████████████████████████████▍                                                                 | 179/407 [27:35<33:51,  8.91s/it]
+
mmlu_hu:  44%|███████████████████████████████████████████████████▋                                                                 | 180/407 [27:46<35:24,  9.36s/it]
+
mmlu_hu:  44%|████████████████████████████████████████████████████                                                                 | 181/407 [27:54<34:18,  9.11s/it]
+
mmlu_hu:  45%|████████████████████████████████████████████████████▎                                                                | 182/407 [28:04<34:37,  9.23s/it]
+
mmlu_hu:  45%|████████████████████████████████████████████████████▌                                                                | 183/407 [28:12<33:12,  8.89s/it]
+
mmlu_hu:  45%|████████████████████████████████████████████████████▉                                                                | 184/407 [28:21<33:17,  8.96s/it]
+
mmlu_hu:  45%|█████████████████████████████████████████████████████▏                                                               | 185/407 [28:29<32:26,  8.77s/it]
+
mmlu_hu:  46%|█████████████████████████████████████████████████████▍                                                               | 186/407 [28:39<32:48,  8.91s/it]
+
mmlu_hu:  46%|█████████████████████████████████████████████████████▊                                                               | 187/407 [28:49<33:56,  9.26s/it]
+
mmlu_hu:  46%|██████████████████████████████████████████████████████                                                               | 188/407 [28:58<34:01,  9.32s/it]
+
mmlu_hu:  46%|██████████████████████████████████████████████████████▎                                                              | 189/407 [29:08<34:03,  9.37s/it]
+
mmlu_hu:  47%|██████████████████████████████████████████████████████▌                                                              | 190/407 [29:17<34:10,  9.45s/it]
+
mmlu_hu:  47%|██████████████████████████████████████████████████████▉                                                              | 191/407 [29:27<33:55,  9.42s/it]
+
mmlu_hu:  47%|███████████████████████████████████████████████████████▏                                                             | 192/407 [29:37<34:25,  9.61s/it]
+
mmlu_hu:  47%|███████████████████████████████████████████████████████▍                                                             | 193/407 [29:46<33:57,  9.52s/it]
+
mmlu_hu:  48%|███████████████████████████████████████████████████████▊                                                             | 194/407 [29:56<33:52,  9.54s/it]
+
mmlu_hu:  48%|████████████████████████████████████████████████████████                                                             | 195/407 [30:06<35:01,  9.91s/it]
+
mmlu_hu:  48%|████████████████████████████████████████████████████████▎                                                            | 196/407 [30:15<33:32,  9.54s/it]
+
mmlu_hu:  48%|████████████████████████████████████████████████████████▋                                                            | 197/407 [30:24<32:48,  9.37s/it]
+
mmlu_hu:  49%|████████████████████████████████████████████████████████▉                                                            | 198/407 [30:33<31:54,  9.16s/it]
+
mmlu_hu:  49%|█████████████████████████████████████████████████████████▏                                                           | 199/407 [30:42<31:54,  9.21s/it]
+
mmlu_hu:  49%|█████████████████████████████████████████████████████████▍                                                           | 200/407 [30:51<31:39,  9.18s/it]
+
mmlu_hu:  49%|█████████████████████████████████████████████████████████▊                                                           | 201/407 [31:00<31:03,  9.05s/it]
+
mmlu_hu:  50%|██████████████████████████████████████████████████████████                                                           | 202/407 [31:09<31:05,  9.10s/it]
+
mmlu_hu:  50%|██████████████████████████████████████████████████████████▎                                                          | 203/407 [31:17<30:13,  8.89s/it]
+
mmlu_hu:  50%|██████████████████████████████████████████████████████████▋                                                          | 204/407 [31:27<31:13,  9.23s/it]
+
mmlu_hu:  50%|██████████████████████████████████████████████████████████▉                                                          | 205/407 [31:35<29:37,  8.80s/it]
+
mmlu_hu:  51%|███████████████████████████████████████████████████████████▏                                                         | 206/407 [31:44<29:32,  8.82s/it]
+
mmlu_hu:  51%|███████████████████████████████████████████████████████████▌                                                         | 207/407 [31:54<30:54,  9.27s/it]
+
mmlu_hu:  51%|███████████████████████████████████████████████████████████▊                                                         | 208/407 [32:04<30:41,  9.25s/it]
+
mmlu_hu:  51%|████████████████████████████████████████████████████████████                                                         | 209/407 [32:12<29:37,  8.98s/it]
+
mmlu_hu:  52%|████████████████████████████████████████████████████████████▎                                                        | 210/407 [32:20<28:54,  8.80s/it]
+
mmlu_hu:  52%|████████████████████████████████████████████████████████████▋                                                        | 211/407 [32:29<28:53,  8.84s/it]
+
mmlu_hu:  52%|████████████████████████████████████████████████████████████▉                                                        | 212/407 [32:38<28:58,  8.92s/it]
+
mmlu_hu:  52%|█████████████████████████████████████████████████████████████▏                                                       | 213/407 [32:47<28:44,  8.89s/it]
+
mmlu_hu:  53%|█████████████████████████████████████████████████████████████▌                                                       | 214/407 [32:56<28:48,  8.95s/it]
+
mmlu_hu:  53%|█████████████████████████████████████████████████████████████▊                                                       | 215/407 [33:06<29:26,  9.20s/it]
+
mmlu_hu:  53%|██████████████████████████████████████████████████████████████                                                       | 216/407 [33:16<30:19,  9.53s/it]
+
mmlu_hu:  53%|██████████████████████████████████████████████████████████████▍                                                      | 217/407 [33:27<31:35,  9.97s/it]
+
mmlu_hu:  54%|██████████████████████████████████████████████████████████████▋                                                      | 218/407 [33:38<31:37, 10.04s/it]
+
mmlu_hu:  54%|██████████████████████████████████████████████████████████████▉                                                      | 219/407 [33:46<30:06,  9.61s/it]
+
mmlu_hu:  54%|███████████████████████████████████████████████████████████████▏                                                     | 220/407 [33:55<29:05,  9.34s/it]
+
mmlu_hu:  54%|███████████████████████████████████████████████████████████████▌                                                     | 221/407 [34:03<27:51,  8.99s/it]
+
mmlu_hu:  55%|███████████████████████████████████████████████████████████████▊                                                     | 222/407 [34:12<27:47,  9.01s/it]
+
mmlu_hu:  55%|████████████████████████████████████████████████████████████████                                                     | 223/407 [34:22<27:57,  9.12s/it]
+
mmlu_hu:  55%|████████████████████████████████████████████████████████████████▍                                                    | 224/407 [34:32<28:57,  9.49s/it]
+
mmlu_hu:  55%|████████████████████████████████████████████████████████████████▋                                                    | 225/407 [34:41<28:18,  9.33s/it]
+
mmlu_hu:  56%|████████████████████████████████████████████████████████████████▉                                                    | 226/407 [34:49<27:30,  9.12s/it]
+
mmlu_hu:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 227/407 [34:59<27:57,  9.32s/it]
+
mmlu_hu:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 228/407 [35:08<27:26,  9.20s/it]
+
mmlu_hu:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 229/407 [35:17<27:13,  9.18s/it]
+
mmlu_hu:  57%|██████████████████████████████████████████████████████████████████                                                   | 230/407 [35:26<26:51,  9.10s/it]
+
mmlu_hu:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 231/407 [35:37<28:05,  9.58s/it]
+
mmlu_hu:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 232/407 [35:46<27:22,  9.38s/it]
+
mmlu_hu:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 233/407 [35:54<26:27,  9.12s/it]
+
mmlu_hu:  57%|███████████████████████████████████████████████████████████████████▎                                                 | 234/407 [36:04<27:07,  9.41s/it]
+
mmlu_hu:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 235/407 [36:13<26:34,  9.27s/it]
+
mmlu_hu:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 236/407 [36:23<26:46,  9.40s/it]
+
mmlu_hu:  58%|████████████████████████████████████████████████████████████████████▏                                                | 237/407 [36:33<26:38,  9.40s/it]
+
mmlu_hu:  58%|████████████████████████████████████████████████████████████████████▍                                                | 238/407 [36:43<27:06,  9.62s/it]
+
mmlu_hu:  59%|████████████████████████████████████████████████████████████████████▋                                                | 239/407 [36:52<26:25,  9.44s/it]
+
mmlu_hu:  59%|████████████████████████████████████████████████████████████████████▉                                                | 240/407 [37:01<25:53,  9.30s/it]
+
mmlu_hu:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 241/407 [37:11<26:24,  9.54s/it]
+
mmlu_hu:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 242/407 [37:19<25:20,  9.22s/it]
+
mmlu_hu:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 243/407 [37:29<25:38,  9.38s/it]
+
mmlu_hu:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 244/407 [37:39<25:54,  9.54s/it]
+
mmlu_hu:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 245/407 [37:47<24:54,  9.23s/it]
+
mmlu_hu:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 246/407 [37:58<25:52,  9.64s/it]
+
mmlu_hu:  61%|███████████████████████████████████████████████████████████████████████                                              | 247/407 [38:07<25:16,  9.48s/it]
+
mmlu_hu:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 248/407 [38:16<24:19,  9.18s/it]
+
mmlu_hu:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 249/407 [38:25<24:10,  9.18s/it]
+
mmlu_hu:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 250/407 [38:36<25:47,  9.85s/it]
+
mmlu_hu:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 251/407 [38:47<26:23, 10.15s/it]
+
mmlu_hu:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 252/407 [38:57<25:51, 10.01s/it]
+
mmlu_hu:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 253/407 [39:07<26:01, 10.14s/it]
+
mmlu_hu:  62%|█████████████████████████████████████████████████████████████████████████                                            | 254/407 [39:16<25:11,  9.88s/it]
+
mmlu_hu:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 255/407 [39:25<24:15,  9.58s/it]
+
mmlu_hu:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 256/407 [39:34<23:29,  9.34s/it]
+
mmlu_hu:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 257/407 [39:43<23:08,  9.26s/it]
+
mmlu_hu:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 258/407 [39:53<23:27,  9.45s/it]
+
mmlu_hu:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 259/407 [40:02<23:14,  9.42s/it]
+
mmlu_hu:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 260/407 [40:12<23:16,  9.50s/it]
+
mmlu_hu:  64%|███████████████████████████████████████████████████████████████████████████                                          | 261/407 [40:21<22:27,  9.23s/it]
+
mmlu_hu:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 262/407 [40:30<22:23,  9.27s/it]
+
mmlu_hu:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 263/407 [40:39<22:14,  9.27s/it]
+
mmlu_hu:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 264/407 [40:49<22:03,  9.25s/it]
+
mmlu_hu:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 265/407 [41:00<23:39, 10.00s/it]
+
mmlu_hu:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 266/407 [41:08<22:03,  9.38s/it]
+
mmlu_hu:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 267/407 [41:17<21:39,  9.28s/it]
+
mmlu_hu:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 268/407 [41:25<20:37,  8.90s/it]
+
mmlu_hu:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 269/407 [41:35<20:54,  9.09s/it]
+
mmlu_hu:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 270/407 [41:45<21:17,  9.33s/it]
+
mmlu_hu:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 271/407 [41:53<20:40,  9.12s/it]
+
mmlu_hu:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 272/407 [42:02<20:29,  9.11s/it]
+
mmlu_hu:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 273/407 [42:13<21:01,  9.42s/it]
+
mmlu_hu:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 274/407 [42:22<20:51,  9.41s/it]
+
mmlu_hu:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 275/407 [42:31<20:33,  9.35s/it]
+
mmlu_hu:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 276/407 [42:43<21:46,  9.97s/it]
+
mmlu_hu:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 277/407 [42:52<21:12,  9.79s/it]
+
mmlu_hu:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 278/407 [43:00<20:13,  9.41s/it]
+
mmlu_hu:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 279/407 [43:09<19:23,  9.09s/it]
+
mmlu_hu:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 280/407 [43:17<18:38,  8.81s/it]
+
mmlu_hu:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 281/407 [43:28<19:45,  9.41s/it]
+
mmlu_hu:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 282/407 [43:37<19:43,  9.47s/it]
+
mmlu_hu:  70%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 283/407 [43:46<19:20,  9.36s/it]
+
mmlu_hu:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 284/407 [43:56<19:33,  9.54s/it]
+
mmlu_hu:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 285/407 [44:07<20:11,  9.93s/it]
+
mmlu_hu:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 286/407 [44:16<19:33,  9.70s/it]
+
mmlu_hu:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 287/407 [44:25<18:34,  9.28s/it]
+
mmlu_hu:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 288/407 [44:34<18:28,  9.31s/it]
+
mmlu_hu:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 289/407 [44:43<18:06,  9.21s/it]
+
mmlu_hu:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 290/407 [44:54<18:47,  9.64s/it]
+
mmlu_hu:  71%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 291/407 [45:02<17:34,  9.09s/it]
+
mmlu_hu:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 292/407 [45:11<17:29,  9.13s/it]
+
mmlu_hu:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 293/407 [45:19<17:00,  8.95s/it]
+
mmlu_hu:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 294/407 [45:28<16:48,  8.92s/it]
+
mmlu_hu:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 295/407 [45:38<17:04,  9.15s/it]
+
mmlu_hu:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 296/407 [45:47<16:53,  9.13s/it]
+
mmlu_hu:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 297/407 [45:56<16:31,  9.02s/it]
+
mmlu_hu:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 298/407 [46:04<16:10,  8.90s/it]
+
mmlu_hu:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 299/407 [46:15<16:46,  9.32s/it]
+
mmlu_hu:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 300/407 [46:24<16:30,  9.26s/it]
+
mmlu_hu:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 301/407 [46:33<16:35,  9.39s/it]
+
mmlu_hu:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 302/407 [46:43<16:36,  9.49s/it]
+
mmlu_hu:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 303/407 [46:52<16:01,  9.25s/it]
+
mmlu_hu:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 304/407 [47:02<16:21,  9.53s/it]
+
mmlu_hu:  75%|███████████████████████████████████████████████████████████████████████████████████████▋                             | 305/407 [47:11<16:11,  9.52s/it]
+
mmlu_hu:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 306/407 [47:22<16:22,  9.72s/it]
+
mmlu_hu:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 307/407 [47:31<16:15,  9.76s/it]
+
mmlu_hu:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 308/407 [47:40<15:24,  9.34s/it]
+
mmlu_hu:  76%|████████████████████████████████████████████████████████████████████████████████████████▊                            | 309/407 [47:48<14:53,  9.12s/it]
+
mmlu_hu:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 310/407 [47:58<14:54,  9.22s/it]
+
mmlu_hu:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 311/407 [48:07<14:41,  9.19s/it]
+
mmlu_hu:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 312/407 [48:16<14:19,  9.05s/it]
+
mmlu_hu:  77%|█████████████████████████████████████████████████████████████████████████████████████████▉                           | 313/407 [48:25<14:25,  9.21s/it]
+
mmlu_hu:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 314/407 [48:35<14:16,  9.21s/it]
+
mmlu_hu:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 315/407 [48:43<13:41,  8.93s/it]
+
mmlu_hu:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 316/407 [48:53<13:56,  9.19s/it]
+
mmlu_hu:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 317/407 [49:02<13:53,  9.26s/it]
+
mmlu_hu:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 318/407 [49:11<13:47,  9.30s/it]
+
mmlu_hu:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 319/407 [49:22<14:20,  9.78s/it]
+
mmlu_hu:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 320/407 [49:31<13:41,  9.44s/it]
+
mmlu_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 321/407 [49:41<13:45,  9.60s/it]
+
mmlu_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 322/407 [49:51<13:56,  9.85s/it]
+
mmlu_hu:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 323/407 [49:59<12:46,  9.13s/it]
+
mmlu_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 324/407 [50:07<12:18,  8.89s/it]
+
mmlu_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 325/407 [50:18<12:51,  9.41s/it]
+
mmlu_hu:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 326/407 [50:27<12:34,  9.31s/it]
+
mmlu_hu:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 327/407 [50:37<12:33,  9.42s/it]
+
mmlu_hu:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 328/407 [50:47<12:47,  9.71s/it]
+
mmlu_hu:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 329/407 [50:56<12:14,  9.42s/it]
+
mmlu_hu:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 330/407 [51:04<11:41,  9.11s/it]
+
mmlu_hu:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 331/407 [51:12<11:16,  8.91s/it]
+
mmlu_hu:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 332/407 [51:21<11:06,  8.89s/it]
+
mmlu_hu:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 333/407 [51:30<10:48,  8.76s/it]
+
mmlu_hu:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 334/407 [51:41<11:27,  9.41s/it]
+
mmlu_hu:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 335/407 [51:50<11:22,  9.48s/it]
+
mmlu_hu:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 336/407 [52:00<11:21,  9.60s/it]
+
mmlu_hu:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 337/407 [52:10<11:05,  9.51s/it]
+
mmlu_hu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 338/407 [52:19<10:51,  9.45s/it]
+
mmlu_hu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 339/407 [52:28<10:40,  9.41s/it]
+
mmlu_hu:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 340/407 [52:38<10:28,  9.39s/it]
+
mmlu_hu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 341/407 [52:46<10:01,  9.12s/it]
+
mmlu_hu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 342/407 [52:55<09:58,  9.21s/it]
+
mmlu_hu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 343/407 [53:05<09:51,  9.24s/it]
+
mmlu_hu:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 344/407 [53:15<10:02,  9.57s/it]
+
mmlu_hu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 345/407 [53:27<10:33, 10.23s/it]
+
mmlu_hu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 346/407 [53:35<09:51,  9.69s/it]
+
mmlu_hu:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 347/407 [53:45<09:40,  9.67s/it]
+
mmlu_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 348/407 [53:55<09:43,  9.89s/it]
+
mmlu_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 349/407 [54:04<09:13,  9.54s/it]
+
mmlu_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 350/407 [54:14<09:13,  9.71s/it]
+
mmlu_hu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 351/407 [54:23<08:52,  9.50s/it]
+
mmlu_hu:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 352/407 [54:31<08:23,  9.15s/it]
+
mmlu_hu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 353/407 [54:41<08:18,  9.24s/it]
+
mmlu_hu:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 354/407 [54:51<08:16,  9.36s/it]
+
mmlu_hu:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 355/407 [55:00<08:12,  9.47s/it]
+
mmlu_hu:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 356/407 [55:09<07:50,  9.22s/it]
+
mmlu_hu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 357/407 [55:19<07:57,  9.54s/it]
+
mmlu_hu:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 358/407 [55:29<07:54,  9.69s/it]
+
mmlu_hu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 359/407 [55:38<07:34,  9.48s/it]
+
mmlu_hu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 360/407 [55:48<07:23,  9.43s/it]
+
mmlu_hu:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 361/407 [55:57<07:19,  9.55s/it]
+
mmlu_hu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 362/407 [56:07<07:06,  9.47s/it]
+
mmlu_hu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 363/407 [56:15<06:45,  9.22s/it]
+
mmlu_hu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 364/407 [56:24<06:27,  9.01s/it]
+
mmlu_hu:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 365/407 [56:35<06:52,  9.81s/it]
+
mmlu_hu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 366/407 [56:45<06:39,  9.75s/it]
+
mmlu_hu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 367/407 [56:55<06:29,  9.74s/it]
+
mmlu_hu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 368/407 [57:03<06:03,  9.33s/it]
+
mmlu_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████           | 369/407 [57:12<05:44,  9.06s/it]
+
mmlu_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 370/407 [57:21<05:37,  9.12s/it]
+
mmlu_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 371/407 [57:31<05:33,  9.27s/it]
+
mmlu_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 372/407 [57:41<05:40,  9.73s/it]
+
mmlu_hu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 373/407 [57:51<05:32,  9.78s/it]
+
mmlu_hu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 374/407 [58:00<05:16,  9.60s/it]
+
mmlu_hu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 375/407 [58:11<05:18,  9.95s/it]
+
mmlu_hu:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 376/407 [58:20<05:00,  9.68s/it]
+
mmlu_hu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 377/407 [58:30<04:47,  9.57s/it]
+
mmlu_hu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 378/407 [58:41<04:55, 10.18s/it]
+
mmlu_hu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 379/407 [58:50<04:32,  9.73s/it]
+
mmlu_hu:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 380/407 [58:59<04:18,  9.58s/it]
+
mmlu_hu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 381/407 [59:09<04:09,  9.60s/it]
+
mmlu_hu:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 382/407 [59:18<04:01,  9.65s/it]
+
mmlu_hu:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 383/407 [59:27<03:45,  9.39s/it]
+
mmlu_hu:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 384/407 [59:36<03:34,  9.31s/it]
+
mmlu_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 385/407 [59:46<03:24,  9.29s/it]
+
mmlu_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 386/407 [59:54<03:10,  9.06s/it]
+
mmlu_hu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 387/407 [1:00:04<03:03,  9.20s/it]
+
mmlu_hu:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 388/407 [1:00:14<03:01,  9.53s/it]
+
mmlu_hu:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 389/407 [1:00:24<02:54,  9.69s/it]
+
mmlu_hu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 390/407 [1:00:32<02:36,  9.22s/it]
+
mmlu_hu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 391/407 [1:00:42<02:31,  9.48s/it]
+
mmlu_hu:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 392/407 [1:00:52<02:23,  9.59s/it]
+
mmlu_hu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 393/407 [1:01:02<02:13,  9.55s/it]
+
mmlu_hu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 394/407 [1:01:11<02:02,  9.43s/it]
+
mmlu_hu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 395/407 [1:01:21<01:55,  9.65s/it]
+
mmlu_hu:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 396/407 [1:01:32<01:50, 10.01s/it]
+
mmlu_hu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 397/407 [1:01:41<01:36,  9.69s/it]
+
mmlu_hu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 398/407 [1:01:51<01:28,  9.81s/it]
+
mmlu_hu:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 399/407 [1:02:01<01:20, 10.02s/it]
+
mmlu_hu:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 400/407 [1:02:13<01:14, 10.59s/it]
+
mmlu_hu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/407 [1:02:22<01:00, 10.04s/it]
+
mmlu_hu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/407 [1:02:31<00:49,  9.88s/it]
+
mmlu_hu:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 403/407 [1:02:41<00:39,  9.82s/it]
+
mmlu_hu:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 404/407 [1:02:50<00:28,  9.52s/it]
+
mmlu_hu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 405/407 [1:02:58<00:17,  9.00s/it]
+
mmlu_hu: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 406/407 [1:03:08<00:09,  9.33s/it]
+
mmlu_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:03:18<00:00,  9.61s/it]
mmlu_hu: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:03:18<00:00,  9.33s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hu_acc 0.27503071253071254
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hu_acc_norm 0.2902334152334152
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 04:55:28,751 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 04:55:28,751 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:28,878 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 04:55:28,878 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:29,005 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 04:55:29,005 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:29,132 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 04:55:29,133 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 04:55:29,133 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 04:55:29,261 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 04:55:29,261 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hu_acc'}
+2024-05-31 04:55:29,325 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 04:55:29,326 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1225, 'value': 0.27503071253071254}
+2024-05-31 04:55:29,390 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 04:55:30,046 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 04:55:30,046 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:30,176 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 04:55:30,176 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:30,305 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 04:55:30,305 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:30,435 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 04:55:30,436 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 04:55:30,436 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 04:55:30,566 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 04:55:30,566 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_hu_acc_norm'}
+2024-05-31 04:55:30,632 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 04:55:30,632 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1226, 'value': 0.2902334152334152}
+2024-05-31 04:55:30,697 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  60%|████████████████████████████████████████████████████████████████▍                                           | 74/124 [46:08:00<60:34:56, 4361.93s/it]['mmlu_hy']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 04:55:31,349 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 04:55:31,349 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:31,477 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 04:55:31,477 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:31,604 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 04:55:31,604 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 04:55:31,732 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 04:55:31,733 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 04:55:31,733 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_hy'}
+2024-05-31 04:55:31,861 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_hy task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1695 examples [00:00, 14794.15 examples/s]
+
Generating test split: 5000 examples [00:00, 24422.45 examples/s]
+
Generating test split: 8381 examples [00:00, 28523.89 examples/s]
Generating test split: 10891 examples [00:00, 27123.57 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 266 examples [00:00, 26023.02 examples/s]
+Running loglikelihood requests
+
+
mmlu_hy:   0%|                                                                                                                               | 0/341 [00:00<?, ?it/s]
+
mmlu_hy:   0%|▎                                                                                                                    | 1/341 [00:21<2:01:40, 21.47s/it]
+
mmlu_hy:   1%|▋                                                                                                                    | 2/341 [00:39<1:48:59, 19.29s/it]
+
mmlu_hy:   1%|█                                                                                                                    | 3/341 [00:55<1:40:54, 17.91s/it]
+
mmlu_hy:   1%|█▎                                                                                                                   | 4/341 [01:10<1:34:16, 16.78s/it]
+
mmlu_hy:   1%|█▋                                                                                                                   | 5/341 [01:29<1:39:00, 17.68s/it]
+
mmlu_hy:   2%|██                                                                                                                   | 6/341 [01:47<1:38:38, 17.67s/it]
+
mmlu_hy:   2%|██▍                                                                                                                  | 7/341 [02:09<1:46:45, 19.18s/it]
+
mmlu_hy:   2%|██▋                                                                                                                  | 8/341 [02:26<1:41:24, 18.27s/it]
+
mmlu_hy:   3%|███                                                                                                                  | 9/341 [02:41<1:36:58, 17.52s/it]
+
mmlu_hy:   3%|███▍                                                                                                                | 10/341 [03:00<1:39:06, 17.97s/it]
+
mmlu_hy:   3%|███▋                                                                                                                | 11/341 [03:20<1:40:50, 18.34s/it]
+
mmlu_hy:   4%|████                                                                                                                | 12/341 [03:36<1:37:50, 17.84s/it]
+
mmlu_hy:   4%|████▍                                                                                                               | 13/341 [03:53<1:34:47, 17.34s/it]
+
mmlu_hy:   4%|████▊                                                                                                               | 14/341 [04:13<1:40:18, 18.41s/it]
+
mmlu_hy:   4%|█████                                                                                                               | 15/341 [04:35<1:45:56, 19.50s/it]
+
mmlu_hy:   5%|█████▍                                                                                                              | 16/341 [04:53<1:42:36, 18.94s/it]
+
mmlu_hy:   5%|█████▊                                                                                                              | 17/341 [05:12<1:42:44, 19.03s/it]
+
mmlu_hy:   5%|██████                                                                                                              | 18/341 [05:32<1:42:47, 19.09s/it]
+
mmlu_hy:   6%|██████▍                                                                                                             | 19/341 [05:52<1:44:47, 19.53s/it]
+
mmlu_hy:   6%|██████▊                                                                                                             | 20/341 [06:07<1:37:41, 18.26s/it]
+
mmlu_hy:   6%|███████▏                                                                                                            | 21/341 [06:27<1:38:48, 18.53s/it]
+
mmlu_hy:   6%|███████▍                                                                                                            | 22/341 [06:45<1:37:48, 18.40s/it]
+
mmlu_hy:   7%|███████▊                                                                                                            | 23/341 [07:02<1:36:31, 18.21s/it]
+
mmlu_hy:   7%|████████▏                                                                                                           | 24/341 [07:23<1:39:39, 18.86s/it]
+
mmlu_hy:   7%|████████▌                                                                                                           | 25/341 [07:39<1:35:19, 18.10s/it]
+
mmlu_hy:   8%|████████▊                                                                                                           | 26/341 [07:57<1:34:59, 18.09s/it]
+
mmlu_hy:   8%|█████████▏                                                                                                          | 27/341 [08:15<1:34:32, 18.07s/it]
+
mmlu_hy:   8%|█████████▌                                                                                                          | 28/341 [08:38<1:41:39, 19.49s/it]
+
mmlu_hy:   9%|█████████▊                                                                                                          | 29/341 [08:56<1:39:10, 19.07s/it]
+
mmlu_hy:   9%|██████████▏                                                                                                         | 30/341 [09:15<1:37:50, 18.88s/it]
+
mmlu_hy:   9%|██████████▌                                                                                                         | 31/341 [09:34<1:39:08, 19.19s/it]
+
mmlu_hy:   9%|██████████▉                                                                                                         | 32/341 [10:00<1:47:55, 20.96s/it]
+
mmlu_hy:  10%|███████████▏                                                                                                        | 33/341 [10:17<1:42:41, 20.00s/it]
+
mmlu_hy:  10%|███████████▌                                                                                                        | 34/341 [10:34<1:37:42, 19.09s/it]
+
mmlu_hy:  10%|███████████▉                                                                                                        | 35/341 [10:51<1:33:48, 18.39s/it]
+
mmlu_hy:  11%|████████████▏                                                                                                       | 36/341 [11:10<1:34:35, 18.61s/it]
+
mmlu_hy:  11%|████████████▌                                                                                                       | 37/341 [11:28<1:33:38, 18.48s/it]
+
mmlu_hy:  11%|████████████▉                                                                                                       | 38/341 [11:46<1:32:48, 18.38s/it]
+
mmlu_hy:  11%|█████████████▎                                                                                                      | 39/341 [12:04<1:31:45, 18.23s/it]
+
mmlu_hy:  12%|█████████████▌                                                                                                      | 40/341 [12:24<1:34:14, 18.79s/it]
+
mmlu_hy:  12%|█████████████▉                                                                                                      | 41/341 [12:40<1:28:31, 17.70s/it]
+
mmlu_hy:  12%|██████████████▎                                                                                                     | 42/341 [12:58<1:29:32, 17.97s/it]
+
mmlu_hy:  13%|██████████████▋                                                                                                     | 43/341 [13:16<1:28:54, 17.90s/it]
+
mmlu_hy:  13%|██████████████▉                                                                                                     | 44/341 [13:35<1:30:07, 18.21s/it]
+
mmlu_hy:  13%|███████████████▎                                                                                                    | 45/341 [13:51<1:27:19, 17.70s/it]
+
mmlu_hy:  13%|███████████████▋                                                                                                    | 46/341 [14:12<1:31:36, 18.63s/it]
+
mmlu_hy:  14%|███████████████▉                                                                                                    | 47/341 [14:30<1:30:43, 18.52s/it]
+
mmlu_hy:  14%|████████████████▎                                                                                                   | 48/341 [14:47<1:28:19, 18.09s/it]
+
mmlu_hy:  14%|████████████████▋                                                                                                   | 49/341 [15:07<1:30:11, 18.53s/it]
+
mmlu_hy:  15%|█████████████████                                                                                                   | 50/341 [15:25<1:29:35, 18.47s/it]
+
mmlu_hy:  15%|█████████████████▎                                                                                                  | 51/341 [15:45<1:31:02, 18.84s/it]
+
mmlu_hy:  15%|█████████████████▋                                                                                                  | 52/341 [16:04<1:31:30, 19.00s/it]
+
mmlu_hy:  16%|██████████████████                                                                                                  | 53/341 [16:22<1:28:52, 18.52s/it]
+
mmlu_hy:  16%|██████████████████▎                                                                                                 | 54/341 [16:43<1:31:44, 19.18s/it]
+
mmlu_hy:  16%|██████████████████▋                                                                                                 | 55/341 [17:00<1:29:01, 18.68s/it]
+
mmlu_hy:  16%|███████████████████                                                                                                 | 56/341 [17:21<1:31:24, 19.25s/it]
+
mmlu_hy:  17%|███████████████████▍                                                                                                | 57/341 [17:37<1:26:23, 18.25s/it]
+
mmlu_hy:  17%|███████████████████▋                                                                                                | 58/341 [17:56<1:27:33, 18.56s/it]
+
mmlu_hy:  17%|████████████████████                                                                                                | 59/341 [18:15<1:27:40, 18.66s/it]
+
mmlu_hy:  18%|████████████████████▍                                                                                               | 60/341 [18:35<1:29:01, 19.01s/it]
+
mmlu_hy:  18%|████████████████████▊                                                                                               | 61/341 [18:57<1:32:56, 19.92s/it]
+
mmlu_hy:  18%|█████████████████████                                                                                               | 62/341 [19:18<1:34:54, 20.41s/it]
+
mmlu_hy:  18%|█████████████████████▍                                                                                              | 63/341 [19:35<1:28:54, 19.19s/it]
+
mmlu_hy:  19%|█████████████████████▊                                                                                              | 64/341 [19:53<1:28:06, 19.09s/it]
+
mmlu_hy:  19%|██████████████████████                                                                                              | 65/341 [20:12<1:27:23, 19.00s/it]
+
mmlu_hy:  19%|██████████████████████▍                                                                                             | 66/341 [20:32<1:27:54, 19.18s/it]
+
mmlu_hy:  20%|██████████████████████▊                                                                                             | 67/341 [20:49<1:25:20, 18.69s/it]
+
mmlu_hy:  20%|███████████████████████▏                                                                                            | 68/341 [21:09<1:26:55, 19.10s/it]
+
mmlu_hy:  20%|███████████████████████▍                                                                                            | 69/341 [21:32<1:30:53, 20.05s/it]
+
mmlu_hy:  21%|███████████████████████▊                                                                                            | 70/341 [21:51<1:29:00, 19.71s/it]
+
mmlu_hy:  21%|████████████████████████▏                                                                                           | 71/341 [22:07<1:24:12, 18.71s/it]
+
mmlu_hy:  21%|████████████████████████▍                                                                                           | 72/341 [22:23<1:20:36, 17.98s/it]
+
mmlu_hy:  21%|████████████████████████▊                                                                                           | 73/341 [22:43<1:22:37, 18.50s/it]
+
mmlu_hy:  22%|█████████████████████████▏                                                                                          | 74/341 [23:05<1:26:34, 19.46s/it]
+
mmlu_hy:  22%|█████████████████████████▌                                                                                          | 75/341 [23:19<1:19:40, 17.97s/it]
+
mmlu_hy:  22%|█████████████████████████▊                                                                                          | 76/341 [23:38<1:20:03, 18.13s/it]
+
mmlu_hy:  23%|██████████████████████████▏                                                                                         | 77/341 [23:59<1:23:35, 19.00s/it]
+
mmlu_hy:  23%|██████████████████████████▌                                                                                         | 78/341 [24:19<1:24:39, 19.31s/it]
+
mmlu_hy:  23%|██████████████████████████▊                                                                                         | 79/341 [24:38<1:23:42, 19.17s/it]
+
mmlu_hy:  23%|███████████████████████████▏                                                                                        | 80/341 [24:57<1:24:15, 19.37s/it]
+
mmlu_hy:  24%|███████████████████████████▌                                                                                        | 81/341 [25:18<1:25:07, 19.64s/it]
+
mmlu_hy:  24%|███████████████████████████▉                                                                                        | 82/341 [25:36<1:23:40, 19.39s/it]
+
mmlu_hy:  24%|████████████████████████████▏                                                                                       | 83/341 [25:57<1:25:00, 19.77s/it]
+
mmlu_hy:  25%|████████████████████████████▌                                                                                       | 84/341 [26:14<1:21:36, 19.05s/it]
+
mmlu_hy:  25%|████████████████████████████▉                                                                                       | 85/341 [26:31<1:17:36, 18.19s/it]
+
mmlu_hy:  25%|█████████████████████████████▎                                                                                      | 86/341 [26:49<1:16:55, 18.10s/it]
+
mmlu_hy:  26%|█████████████████████████████▌                                                                                      | 87/341 [27:06<1:15:22, 17.80s/it]
+
mmlu_hy:  26%|█████████████████████████████▉                                                                                      | 88/341 [27:22<1:13:27, 17.42s/it]
+
mmlu_hy:  26%|██████████████████████████████▎                                                                                     | 89/341 [27:38<1:11:36, 17.05s/it]
+
mmlu_hy:  26%|██████████████████████████████▌                                                                                     | 90/341 [27:56<1:11:32, 17.10s/it]
+
mmlu_hy:  27%|██████████████████████████████▉                                                                                     | 91/341 [28:15<1:14:03, 17.77s/it]
+
mmlu_hy:  27%|███████████████████████████████▎                                                                                    | 92/341 [28:32<1:12:19, 17.43s/it]
+
mmlu_hy:  27%|███████████████████████████████▋                                                                                    | 93/341 [28:50<1:13:40, 17.83s/it]
+
mmlu_hy:  28%|███████████████████████████████▉                                                                                    | 94/341 [29:08<1:13:15, 17.79s/it]
+
mmlu_hy:  28%|████████████████████████████████▎                                                                                   | 95/341 [29:28<1:15:18, 18.37s/it]
+
mmlu_hy:  28%|████████████████████████████████▋                                                                                   | 96/341 [29:45<1:13:40, 18.04s/it]
+
mmlu_hy:  28%|████████████████████████████████▉                                                                                   | 97/341 [30:01<1:11:19, 17.54s/it]
+
mmlu_hy:  29%|█████████████████████████████████▎                                                                                  | 98/341 [30:23<1:16:24, 18.87s/it]
+
mmlu_hy:  29%|█████████████████████████████████▋                                                                                  | 99/341 [30:42<1:15:21, 18.69s/it]
+
mmlu_hy:  29%|█████████████████████████████████▋                                                                                 | 100/341 [30:57<1:11:00, 17.68s/it]
+
mmlu_hy:  30%|██████████████████████████████████                                                                                 | 101/341 [31:12<1:07:40, 16.92s/it]
+
mmlu_hy:  30%|██████████████████████████████████▍                                                                                | 102/341 [31:29<1:07:35, 16.97s/it]
+
mmlu_hy:  30%|██████████████████████████████████▋                                                                                | 103/341 [31:49<1:10:19, 17.73s/it]
+
mmlu_hy:  30%|███████████████████████████████████                                                                                | 104/341 [32:11<1:15:29, 19.11s/it]
+
mmlu_hy:  31%|███████████████████████████████████▍                                                                               | 105/341 [32:30<1:14:36, 18.97s/it]
+
mmlu_hy:  31%|███████████████████████████████████▋                                                                               | 106/341 [32:46<1:10:42, 18.05s/it]
+
mmlu_hy:  31%|████████████████████████████████████                                                                               | 107/341 [33:05<1:11:32, 18.35s/it]
+
mmlu_hy:  32%|████████████████████████████████████▍                                                                              | 108/341 [33:23<1:11:06, 18.31s/it]
+
mmlu_hy:  32%|████████████████████████████████████▊                                                                              | 109/341 [33:40<1:09:55, 18.09s/it]
+
mmlu_hy:  32%|█████████████████████████████████████                                                                              | 110/341 [33:56<1:06:30, 17.27s/it]
+
mmlu_hy:  33%|█████████████████████████████████████▍                                                                             | 111/341 [34:13<1:06:30, 17.35s/it]
+
mmlu_hy:  33%|█████████████████████████████████████▊                                                                             | 112/341 [34:33<1:09:21, 18.17s/it]
+
mmlu_hy:  33%|██████████████████████████████████████                                                                             | 113/341 [34:56<1:14:01, 19.48s/it]
+
mmlu_hy:  33%|██████████████████████████████████████▍                                                                            | 114/341 [35:13<1:10:48, 18.72s/it]
+
mmlu_hy:  34%|██████████████████████████████████████▊                                                                            | 115/341 [35:32<1:10:36, 18.75s/it]
+
mmlu_hy:  34%|███████████████████████████████████████                                                                            | 116/341 [35:50<1:10:14, 18.73s/it]
+
mmlu_hy:  34%|███████████████████████████████████████▍                                                                           | 117/341 [36:08<1:09:01, 18.49s/it]
+
mmlu_hy:  35%|███████████████████████████████████████▊                                                                           | 118/341 [36:28<1:09:40, 18.75s/it]
+
mmlu_hy:  35%|████████████████████████████████████████▏                                                                          | 119/341 [36:50<1:13:34, 19.89s/it]
+
mmlu_hy:  35%|████████████████████████████████████████▍                                                                          | 120/341 [37:13<1:16:58, 20.90s/it]
+
mmlu_hy:  35%|████████████████████████████████████████▊                                                                          | 121/341 [37:32<1:14:03, 20.20s/it]
+
mmlu_hy:  36%|█████████████████████████████████████████▏                                                                         | 122/341 [37:53<1:14:24, 20.39s/it]
+
mmlu_hy:  36%|█████████████████████████████████████████▍                                                                         | 123/341 [38:10<1:10:23, 19.37s/it]
+
mmlu_hy:  36%|█████████████████████████████████████████▊                                                                         | 124/341 [38:29<1:10:13, 19.42s/it]
+
mmlu_hy:  37%|██████████████████████████████████████████▏                                                                        | 125/341 [38:50<1:11:22, 19.82s/it]
+
mmlu_hy:  37%|██████████████████████████████████████████▍                                                                        | 126/341 [39:10<1:10:36, 19.70s/it]
+
mmlu_hy:  37%|██████████████████████████████████████████▊                                                                        | 127/341 [39:27<1:07:21, 18.89s/it]
+
mmlu_hy:  38%|███████████████████████████████████████████▏                                                                       | 128/341 [39:46<1:07:16, 18.95s/it]
+
mmlu_hy:  38%|███████████████████████████████████████████▌                                                                       | 129/341 [40:08<1:10:24, 19.93s/it]
+
mmlu_hy:  38%|███████████████████████████████████████████▊                                                                       | 130/341 [40:27<1:09:05, 19.65s/it]
+
mmlu_hy:  38%|████████████████████████████████████████████▏                                                                      | 131/341 [40:42<1:03:53, 18.25s/it]
+
mmlu_hy:  39%|████████████████████████████████████████████▌                                                                      | 132/341 [40:59<1:02:09, 17.85s/it]
+
mmlu_hy:  39%|████████████████████████████████████████████▊                                                                      | 133/341 [41:22<1:07:47, 19.55s/it]
+
mmlu_hy:  39%|█████████████████████████████████████████████▏                                                                     | 134/341 [41:41<1:06:12, 19.19s/it]
+
mmlu_hy:  40%|█████████████████████████████████████████████▌                                                                     | 135/341 [42:01<1:07:10, 19.57s/it]
+
mmlu_hy:  40%|█████████████████████████████████████████████▊                                                                     | 136/341 [42:23<1:09:18, 20.29s/it]
+
mmlu_hy:  40%|██████████████████████████████████████████████▏                                                                    | 137/341 [42:42<1:07:49, 19.95s/it]
+
mmlu_hy:  40%|██████████████████████████████████████████████▌                                                                    | 138/341 [43:00<1:04:54, 19.19s/it]
+
mmlu_hy:  41%|██████████████████████████████████████████████▉                                                                    | 139/341 [43:20<1:06:14, 19.68s/it]
+
mmlu_hy:  41%|███████████████████████████████████████████████▏                                                                   | 140/341 [43:37<1:02:52, 18.77s/it]
+
mmlu_hy:  41%|███████████████████████████████████████████████▌                                                                   | 141/341 [43:56<1:02:17, 18.69s/it]
+
mmlu_hy:  42%|████████████████████████████████████████████████▋                                                                    | 142/341 [44:12<59:54, 18.06s/it]
+
mmlu_hy:  42%|████████████████████████████████████████████████▏                                                                  | 143/341 [44:38<1:06:57, 20.29s/it]
+
mmlu_hy:  42%|████████████████████████████████████████████████▌                                                                  | 144/341 [44:57<1:05:15, 19.87s/it]
+
mmlu_hy:  43%|████████████████████████████████████████████████▉                                                                  | 145/341 [45:17<1:05:12, 19.96s/it]
+
mmlu_hy:  43%|█████████████████████████████████████████████████▏                                                                 | 146/341 [45:34<1:02:33, 19.25s/it]
+
mmlu_hy:  43%|█████████████████████████████████████████████████▌                                                                 | 147/341 [45:54<1:03:07, 19.53s/it]
+
mmlu_hy:  43%|██████████████████████████████████████████████████▊                                                                  | 148/341 [46:09<57:58, 18.02s/it]
+
mmlu_hy:  44%|██████████████████████████████████████████████████▏                                                                | 149/341 [46:31<1:01:35, 19.25s/it]
+
mmlu_hy:  44%|███████████████████████████████████████████████████▍                                                                 | 150/341 [46:49<59:58, 18.84s/it]
+
mmlu_hy:  44%|███████████████████████████████████████████████████▊                                                                 | 151/341 [47:07<58:30, 18.48s/it]
+
mmlu_hy:  45%|████████████████████████████████████████████████████▏                                                                | 152/341 [47:24<57:08, 18.14s/it]
+
mmlu_hy:  45%|████████████████████████████████████████████████████▍                                                                | 153/341 [47:45<59:06, 18.87s/it]
+
mmlu_hy:  45%|███████████████████████████████████████████████████▉                                                               | 154/341 [48:13<1:07:35, 21.69s/it]
+
mmlu_hy:  45%|████████████████████████████████████████████████████▎                                                              | 155/341 [48:31<1:04:05, 20.68s/it]
+
mmlu_hy:  46%|████████████████████████████████████████████████████▌                                                              | 156/341 [48:49<1:01:13, 19.86s/it]
+
mmlu_hy:  46%|█████████████████████████████████████████████████████▊                                                               | 157/341 [49:05<57:44, 18.83s/it]
+
mmlu_hy:  46%|██████████████████████████████████████████████████████▏                                                              | 158/341 [49:25<57:48, 18.96s/it]
+
mmlu_hy:  47%|██████████████████████████████████████████████████████▌                                                              | 159/341 [49:45<58:29, 19.28s/it]
+
mmlu_hy:  47%|██████████████████████████████████████████████████████▉                                                              | 160/341 [50:04<58:18, 19.33s/it]
+
mmlu_hy:  47%|███████████████████████████████████████████████████████▏                                                             | 161/341 [50:24<58:40, 19.56s/it]
+
mmlu_hy:  48%|███████████████████████████████████████████████████████▌                                                             | 162/341 [50:43<57:13, 19.18s/it]
+
mmlu_hy:  48%|███████████████████████████████████████████████████████▉                                                             | 163/341 [51:02<57:21, 19.34s/it]
+
mmlu_hy:  48%|████████████████████████████████████████████████████████▎                                                            | 164/341 [51:22<57:07, 19.37s/it]
+
mmlu_hy:  48%|████████████████████████████████████████████████████████▌                                                            | 165/341 [51:44<59:28, 20.28s/it]
+
mmlu_hy:  49%|████████████████████████████████████████████████████████▉                                                            | 166/341 [52:05<59:38, 20.45s/it]
+
mmlu_hy:  49%|█████████████████████████████████████████████████████████▎                                                           | 167/341 [52:26<59:36, 20.56s/it]
+
mmlu_hy:  49%|█████████████████████████████████████████████████████████▋                                                           | 168/341 [52:44<57:04, 19.79s/it]
+
mmlu_hy:  50%|█████████████████████████████████████████████████████████▉                                                           | 169/341 [53:00<53:15, 18.58s/it]
+
mmlu_hy:  50%|██████████████████████████████████████████████████████████▎                                                          | 170/341 [53:17<51:44, 18.15s/it]
+
mmlu_hy:  50%|██████████████████████████████████████████████████████████▋                                                          | 171/341 [53:34<51:00, 18.00s/it]
+
mmlu_hy:  50%|███████████████████████████████████████████████████████████                                                          | 172/341 [53:52<50:24, 17.90s/it]
+
mmlu_hy:  51%|███████████████████████████████████████████████████████████▎                                                         | 173/341 [54:10<50:06, 17.90s/it]
+
mmlu_hy:  51%|███████████████████████████████████████████████████████████▋                                                         | 174/341 [54:27<49:07, 17.65s/it]
+
mmlu_hy:  51%|████████████████████████████████████████████████████████████                                                         | 175/341 [54:45<49:23, 17.85s/it]
+
mmlu_hy:  52%|████████████████████████████████████████████████████████████▍                                                        | 176/341 [55:01<47:09, 17.15s/it]
+
mmlu_hy:  52%|████████████████████████████████████████████████████████████▋                                                        | 177/341 [55:19<47:31, 17.38s/it]
+
mmlu_hy:  52%|█████████████████████████████████████████████████████████████                                                        | 178/341 [55:38<48:21, 17.80s/it]
+
mmlu_hy:  52%|█████████████████████████████████████████████████████████████▍                                                       | 179/341 [56:01<52:18, 19.37s/it]
+
mmlu_hy:  53%|█████████████████████████████████████████████████████████████▊                                                       | 180/341 [56:19<50:55, 18.98s/it]
+
mmlu_hy:  53%|██████████████████████████████████████████████████████████████                                                       | 181/341 [56:38<50:47, 19.05s/it]
+
mmlu_hy:  53%|██████████████████████████████████████████████████████████████▍                                                      | 182/341 [56:58<51:29, 19.43s/it]
+
mmlu_hy:  54%|██████████████████████████████████████████████████████████████▊                                                      | 183/341 [57:18<51:06, 19.41s/it]
+
mmlu_hy:  54%|███████████████████████████████████████████████████████████████▏                                                     | 184/341 [57:35<48:54, 18.69s/it]
+
mmlu_hy:  54%|███████████████████████████████████████████████████████████████▍                                                     | 185/341 [57:54<48:58, 18.83s/it]
+
mmlu_hy:  55%|███████████████████████████████████████████████████████████████▊                                                     | 186/341 [58:10<46:50, 18.13s/it]
+
mmlu_hy:  55%|████████████████████████████████████████████████████████████████▏                                                    | 187/341 [58:29<47:02, 18.33s/it]
+
mmlu_hy:  55%|████████████████████████████████████████████████████████████████▌                                                    | 188/341 [58:48<47:31, 18.64s/it]
+
mmlu_hy:  55%|████████████████████████████████████████████████████████████████▊                                                    | 189/341 [59:12<50:51, 20.07s/it]
+
mmlu_hy:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 190/341 [59:32<50:32, 20.08s/it]
+
mmlu_hy:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 191/341 [59:51<49:39, 19.87s/it]
+
mmlu_hy:  56%|████████████████████████████████████████████████████████████████▊                                                  | 192/341 [1:00:11<49:35, 19.97s/it]
+
mmlu_hy:  57%|█████████████████████████████████████████████████████████████████                                                  | 193/341 [1:00:29<47:21, 19.20s/it]
+
mmlu_hy:  57%|█████████████████████████████████████████████████████████████████▍                                                 | 194/341 [1:00:51<49:22, 20.16s/it]
+
mmlu_hy:  57%|█████████████████████████████████████████████████████████████████▊                                                 | 195/341 [1:01:14<51:04, 20.99s/it]
+
mmlu_hy:  57%|██████████████████████████████████████████████████████████████████                                                 | 196/341 [1:01:33<49:16, 20.39s/it]
+
mmlu_hy:  58%|██████████████████████████████████████████████████████████████████▍                                                | 197/341 [1:01:52<47:37, 19.85s/it]
+
mmlu_hy:  58%|██████████████████████████████████████████████████████████████████▊                                                | 198/341 [1:02:09<45:18, 19.01s/it]
+
mmlu_hy:  58%|███████████████████████████████████████████████████████████████████                                                | 199/341 [1:02:26<43:41, 18.46s/it]
+
mmlu_hy:  59%|███████████████████████████████████████████████████████████████████▍                                               | 200/341 [1:02:45<44:07, 18.78s/it]
+
mmlu_hy:  59%|███████████████████████████████████████████████████████████████████▊                                               | 201/341 [1:03:04<43:50, 18.79s/it]
+
mmlu_hy:  59%|████████████████████████████████████████████████████████████████████                                               | 202/341 [1:03:22<42:38, 18.41s/it]
+
mmlu_hy:  60%|████████████████████████████████████████████████████████████████████▍                                              | 203/341 [1:03:38<40:34, 17.64s/it]
+
mmlu_hy:  60%|████████████████████████████████████████████████████████████████████▊                                              | 204/341 [1:03:56<40:25, 17.70s/it]
+
mmlu_hy:  60%|█████████████████████████████████████████████████████████████████████▏                                             | 205/341 [1:04:14<40:41, 17.95s/it]
+
mmlu_hy:  60%|█████████████████████████████████████████████████████████████████████▍                                             | 206/341 [1:04:33<40:45, 18.11s/it]
+
mmlu_hy:  61%|█████████████████████████████████████████████████████████████████████▊                                             | 207/341 [1:04:52<41:13, 18.46s/it]
+
mmlu_hy:  61%|██████████████████████████████████████████████████████████████████████▏                                            | 208/341 [1:05:09<40:13, 18.15s/it]
+
mmlu_hy:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 209/341 [1:05:27<39:27, 17.93s/it]
+
mmlu_hy:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 210/341 [1:05:41<36:47, 16.85s/it]
+
mmlu_hy:  62%|███████████████████████████████████████████████████████████████████████▏                                           | 211/341 [1:06:02<39:15, 18.12s/it]
+
mmlu_hy:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 212/341 [1:06:19<38:30, 17.91s/it]
+
mmlu_hy:  62%|███████████████████████████████████████████████████████████████████████▊                                           | 213/341 [1:06:37<38:00, 17.82s/it]
+
mmlu_hy:  63%|████████████████████████████████████████████████████████████████████████▏                                          | 214/341 [1:06:57<38:47, 18.32s/it]
+
mmlu_hy:  63%|████████████████████████████████████████████████████████████████████████▌                                          | 215/341 [1:07:19<41:04, 19.56s/it]
+
mmlu_hy:  63%|████████████████████████████████████████████████████████████████████████▊                                          | 216/341 [1:07:37<39:27, 18.94s/it]
+
mmlu_hy:  64%|█████████████████████████████████████████████████████████████████████████▏                                         | 217/341 [1:07:55<38:40, 18.71s/it]
+
mmlu_hy:  64%|█████████████████████████████████████████████████████████████████████████▌                                         | 218/341 [1:08:15<39:04, 19.06s/it]
+
mmlu_hy:  64%|█████████████████████████████████████████████████████████████████████████▊                                         | 219/341 [1:08:32<37:28, 18.43s/it]
+
mmlu_hy:  65%|██████████████████████████████████████████████████████████████████████████▏                                        | 220/341 [1:08:53<38:52, 19.27s/it]
+
mmlu_hy:  65%|██████████████████████████████████████████████████████████████████████████▌                                        | 221/341 [1:09:12<38:40, 19.33s/it]
+
mmlu_hy:  65%|██████████████████████████████████████████████████████████████████████████▊                                        | 222/341 [1:09:33<39:27, 19.89s/it]
+
mmlu_hy:  65%|███████████████████████████████████████████████████████████████████████████▏                                       | 223/341 [1:09:55<39:57, 20.32s/it]
+
mmlu_hy:  66%|███████████████████████████████████████████████████████████████████████████▌                                       | 224/341 [1:10:14<39:10, 20.09s/it]
+
mmlu_hy:  66%|███████████████████████████████████████████████████████████████████████████▉                                       | 225/341 [1:10:33<38:06, 19.71s/it]
+
mmlu_hy:  66%|████████████████████████████████████████████████████████████████████████████▏                                      | 226/341 [1:10:53<38:05, 19.87s/it]
+
mmlu_hy:  67%|████████████████████████████████████████████████████████████████████████████▌                                      | 227/341 [1:11:13<37:22, 19.67s/it]
+
mmlu_hy:  67%|████████████████████████████████████████████████████████████████████████████▉                                      | 228/341 [1:11:34<38:06, 20.23s/it]
+
mmlu_hy:  67%|█████████████████████████████████████████████████████████████████████████████▏                                     | 229/341 [1:11:51<36:00, 19.29s/it]
+
mmlu_hy:  67%|█████████████████████████████████████████████████████████████████████████████▌                                     | 230/341 [1:12:07<33:55, 18.34s/it]
+
mmlu_hy:  68%|█████████████████████████████████████████████████████████████████████████████▉                                     | 231/341 [1:12:26<33:49, 18.45s/it]
+
mmlu_hy:  68%|██████████████████████████████████████████████████████████████████████████████▏                                    | 232/341 [1:12:43<32:52, 18.10s/it]
+
mmlu_hy:  68%|██████████████████████████████████████████████████████████████████████████████▌                                    | 233/341 [1:13:02<32:55, 18.29s/it]
+
mmlu_hy:  69%|██████████████████████████████████████████████████████████████████████████████▉                                    | 234/341 [1:13:20<32:14, 18.08s/it]
+
mmlu_hy:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 235/341 [1:13:39<32:25, 18.35s/it]
+
mmlu_hy:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 236/341 [1:13:58<32:26, 18.54s/it]
+
mmlu_hy:  70%|███████████████████████████████████████████████████████████████████████████████▉                                   | 237/341 [1:14:19<33:50, 19.52s/it]
+
mmlu_hy:  70%|████████████████████████████████████████████████████████████████████████████████▎                                  | 238/341 [1:14:36<32:09, 18.73s/it]
+
mmlu_hy:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 239/341 [1:14:54<31:33, 18.56s/it]
+
mmlu_hy:  70%|████████████████████████████████████████████████████████████████████████████████▉                                  | 240/341 [1:15:17<32:59, 19.60s/it]
+
mmlu_hy:  71%|█████████████████████████████████████████████████████████████████████████████████▎                                 | 241/341 [1:15:36<32:27, 19.47s/it]
+
mmlu_hy:  71%|█████████████████████████████████████████████████████████████████████████████████▌                                 | 242/341 [1:15:54<31:24, 19.03s/it]
+
mmlu_hy:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 243/341 [1:16:14<31:38, 19.37s/it]
+
mmlu_hy:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 244/341 [1:16:36<32:47, 20.29s/it]
+
mmlu_hy:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 245/341 [1:16:55<31:32, 19.71s/it]
+
mmlu_hy:  72%|██████████████████████████████████████████████████████████████████████████████████▉                                | 246/341 [1:17:11<29:44, 18.79s/it]
+
mmlu_hy:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 247/341 [1:17:28<28:34, 18.24s/it]
+
mmlu_hy:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 248/341 [1:17:48<29:01, 18.72s/it]
+
mmlu_hy:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 249/341 [1:18:08<29:08, 19.00s/it]
+
mmlu_hy:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 250/341 [1:18:29<29:37, 19.53s/it]
+
mmlu_hy:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 251/341 [1:18:49<29:55, 19.95s/it]
+
mmlu_hy:  74%|████████████████████████████████████████████████████████████████████████████████████▉                              | 252/341 [1:19:04<27:12, 18.34s/it]
+
mmlu_hy:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 253/341 [1:19:21<26:19, 17.95s/it]
+
mmlu_hy:  74%|█████████████████████████████████████████████████████████████████████████████████████▋                             | 254/341 [1:19:44<28:12, 19.45s/it]
+
mmlu_hy:  75%|█████████████████████████████████████████████████████████████████████████████████████▉                             | 255/341 [1:20:00<26:22, 18.40s/it]
+
mmlu_hy:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 256/341 [1:20:25<28:46, 20.31s/it]
+
mmlu_hy:  75%|██████████████████████████████████████████████████████████████████████████████████████▋                            | 257/341 [1:20:41<26:55, 19.23s/it]
+
mmlu_hy:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 258/341 [1:20:58<25:22, 18.34s/it]
+
mmlu_hy:  76%|███████████████████████████████████████████████████████████████████████████████████████▎                           | 259/341 [1:21:14<24:21, 17.82s/it]
+
mmlu_hy:  76%|███████████████████████████████████████████████████████████████████████████████████████▋                           | 260/341 [1:21:35<25:04, 18.57s/it]
+
mmlu_hy:  77%|████████████████████████████████████████████████████████████████████████████████████████                           | 261/341 [1:21:53<24:41, 18.52s/it]
+
mmlu_hy:  77%|████████████████████████████████████████████████████████████████████████████████████████▎                          | 262/341 [1:22:09<23:24, 17.78s/it]
+
mmlu_hy:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 263/341 [1:22:25<22:12, 17.09s/it]
+
mmlu_hy:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 264/341 [1:22:39<20:56, 16.32s/it]
+
mmlu_hy:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 265/341 [1:22:59<21:51, 17.26s/it]
+
mmlu_hy:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 266/341 [1:23:16<21:29, 17.19s/it]
+
mmlu_hy:  78%|██████████████████████████████████████████████████████████████████████████████████████████                         | 267/341 [1:23:40<23:52, 19.35s/it]
+
mmlu_hy:  79%|██████████████████████████████████████████████████████████████████████████████████████████▍                        | 268/341 [1:23:56<22:11, 18.25s/it]
+
mmlu_hy:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 269/341 [1:24:11<20:56, 17.44s/it]
+
mmlu_hy:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 270/341 [1:24:29<20:55, 17.69s/it]
+
mmlu_hy:  79%|███████████████████████████████████████████████████████████████████████████████████████████▍                       | 271/341 [1:24:48<20:46, 17.81s/it]
+
mmlu_hy:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 272/341 [1:25:07<20:53, 18.16s/it]
+
mmlu_hy:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 273/341 [1:25:24<20:14, 17.86s/it]
+
mmlu_hy:  80%|████████████████████████████████████████████████████████████████████████████████████████████▍                      | 274/341 [1:25:43<20:20, 18.21s/it]
+
mmlu_hy:  81%|████████████████████████████████████████████████████████████████████████████████████████████▋                      | 275/341 [1:25:59<19:30, 17.74s/it]
+
mmlu_hy:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 276/341 [1:26:20<20:19, 18.76s/it]
+
mmlu_hy:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▍                     | 277/341 [1:26:37<19:10, 17.97s/it]
+
mmlu_hy:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▊                     | 278/341 [1:26:56<19:24, 18.48s/it]
+
mmlu_hy:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 279/341 [1:27:15<19:18, 18.69s/it]
+
mmlu_hy:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▍                    | 280/341 [1:27:34<18:51, 18.55s/it]
+
mmlu_hy:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▊                    | 281/341 [1:27:52<18:35, 18.60s/it]
+
mmlu_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████████                    | 282/341 [1:28:10<18:04, 18.38s/it]
+
mmlu_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▍                   | 283/341 [1:28:30<18:10, 18.79s/it]
+
mmlu_hy:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 284/341 [1:28:48<17:37, 18.56s/it]
+
mmlu_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 285/341 [1:29:03<16:24, 17.58s/it]
+
mmlu_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 286/341 [1:29:23<16:34, 18.07s/it]
+
mmlu_hy:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 287/341 [1:29:39<15:41, 17.43s/it]
+
mmlu_hy:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 288/341 [1:29:57<15:45, 17.84s/it]
+
mmlu_hy:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 289/341 [1:30:15<15:18, 17.66s/it]
+
mmlu_hy:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 290/341 [1:30:34<15:29, 18.22s/it]
+
mmlu_hy:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 291/341 [1:30:55<15:50, 19.00s/it]
+
mmlu_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 292/341 [1:31:10<14:39, 17.94s/it]
+
mmlu_hy:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 293/341 [1:31:26<13:51, 17.33s/it]
+
mmlu_hy:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏               | 294/341 [1:31:47<14:29, 18.50s/it]
+
mmlu_hy:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 295/341 [1:32:06<14:16, 18.61s/it]
+
mmlu_hy:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊               | 296/341 [1:32:26<14:15, 19.00s/it]
+
mmlu_hy:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 297/341 [1:32:47<14:18, 19.52s/it]
+
mmlu_hy:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 298/341 [1:33:08<14:23, 20.07s/it]
+
mmlu_hy:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 299/341 [1:33:23<12:51, 18.38s/it]
+
mmlu_hy:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 300/341 [1:33:43<12:50, 18.80s/it]
+
mmlu_hy:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 301/341 [1:34:05<13:10, 19.77s/it]
+
mmlu_hy:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 302/341 [1:34:20<12:03, 18.56s/it]
+
mmlu_hy:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 303/341 [1:34:39<11:41, 18.45s/it]
+
mmlu_hy:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 304/341 [1:34:57<11:21, 18.43s/it]
+
mmlu_hy:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 305/341 [1:35:19<11:44, 19.56s/it]
+
mmlu_hy:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 306/341 [1:35:40<11:33, 19.83s/it]
+
mmlu_hy:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 307/341 [1:35:57<10:45, 19.00s/it]
+
mmlu_hy:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 308/341 [1:36:16<10:34, 19.23s/it]
+
mmlu_hy:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 309/341 [1:36:35<10:06, 18.95s/it]
+
mmlu_hy:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 310/341 [1:36:54<09:47, 18.94s/it]
+
mmlu_hy:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 311/341 [1:37:15<09:53, 19.78s/it]
+
mmlu_hy:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 312/341 [1:37:35<09:36, 19.87s/it]
+
mmlu_hy:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 313/341 [1:37:57<09:26, 20.23s/it]
+
mmlu_hy:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 314/341 [1:38:12<08:28, 18.84s/it]
+
mmlu_hy:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 315/341 [1:38:32<08:19, 19.20s/it]
+
mmlu_hy:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 316/341 [1:38:52<08:01, 19.27s/it]
+
mmlu_hy:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 317/341 [1:39:09<07:26, 18.61s/it]
+
mmlu_hy:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 318/341 [1:39:26<06:56, 18.11s/it]
+
mmlu_hy:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 319/341 [1:39:42<06:30, 17.75s/it]
+
mmlu_hy:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 320/341 [1:40:02<06:22, 18.20s/it]
+
mmlu_hy:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 321/341 [1:40:21<06:10, 18.52s/it]
+
mmlu_hy:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 322/341 [1:40:40<05:54, 18.67s/it]
+
mmlu_hy:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 323/341 [1:41:00<05:40, 18.92s/it]
+
mmlu_hy:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 324/341 [1:41:21<05:32, 19.58s/it]
+
mmlu_hy:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 325/341 [1:41:37<04:56, 18.52s/it]
+
mmlu_hy:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 326/341 [1:41:54<04:33, 18.21s/it]
+
mmlu_hy:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 327/341 [1:42:13<04:16, 18.31s/it]
+
mmlu_hy:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 328/341 [1:42:29<03:48, 17.61s/it]
+
mmlu_hy:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 329/341 [1:42:47<03:34, 17.88s/it]
+
mmlu_hy:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 330/341 [1:43:03<03:10, 17.34s/it]
+
mmlu_hy:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 331/341 [1:43:20<02:51, 17.14s/it]
+
mmlu_hy:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 332/341 [1:43:36<02:31, 16.83s/it]
+
mmlu_hy:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 333/341 [1:43:53<02:14, 16.81s/it]
+
mmlu_hy:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 334/341 [1:44:09<01:56, 16.61s/it]
+
mmlu_hy:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 335/341 [1:44:34<01:54, 19.14s/it]
+
mmlu_hy:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 336/341 [1:44:53<01:35, 19.05s/it]
+
mmlu_hy:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 337/341 [1:45:12<01:15, 18.92s/it]
+
mmlu_hy:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 338/341 [1:45:29<00:55, 18.52s/it]
+
mmlu_hy:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 339/341 [1:45:49<00:37, 18.93s/it]
+
mmlu_hy: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 340/341 [1:46:10<00:19, 19.60s/it]
+
mmlu_hy: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 341/341 [1:46:20<00:00, 16.63s/it]
mmlu_hy: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 341/341 [1:46:20<00:00, 18.71s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hy_acc 0.24882930860343402
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_hy_acc_norm 0.26801946561380957
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 06:41:54,362 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 06:41:54,362 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:54,485 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 06:41:54,485 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:54,608 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 06:41:54,608 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:54,731 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 06:41:54,731 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 06:41:54,732 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 06:41:54,855 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 06:41:54,855 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_hy_acc'}
+2024-05-31 06:41:54,918 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 06:41:54,918 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1227, 'value': 0.24882930860343402}
+2024-05-31 06:41:54,980 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 06:41:55,601 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 06:41:55,601 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:55,723 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 06:41:55,723 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:55,845 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 06:41:55,845 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 06:41:55,967 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 06:41:56,090 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 06:41:56,090 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'mmlu_hy_acc_norm'}
+2024-05-31 06:41:56,152 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 06:41:56,152 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1228, 'value': 0.26801946561380957}
+2024-05-31 06:41:56,214 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  60%|█████████████████████████████████████████████████████████████████▎                                          | 75/124 [47:54:25<67:38:01, 4969.01s/it]['mmlu_id']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 06:41:56,868 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 06:41:56,868 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:56,998 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 06:41:56,998 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:57,127 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 06:41:57,127 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 06:41:57,257 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 06:41:57,257 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 06:41:57,258 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_id'}
+2024-05-31 06:41:57,388 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_id task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1823 examples [00:00, 18202.42 examples/s]
+
Generating test split: 5344 examples [00:00, 28195.32 examples/s]
+
Generating test split: 9000 examples [00:00, 31635.73 examples/s]
+
Generating test split: 12659 examples [00:00, 33576.24 examples/s]
Generating test split: 13101 examples [00:00, 31130.15 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 256 examples [00:00, 28085.63 examples/s]
+Running loglikelihood requests
+
+
mmlu_id:   0%|                                                                                                                               | 0/410 [00:00<?, ?it/s]
+
mmlu_id:   0%|▎                                                                                                                      | 1/410 [00:07<53:29,  7.85s/it]
+
mmlu_id:   0%|▌                                                                                                                      | 2/410 [00:16<55:04,  8.10s/it]
+
mmlu_id:   1%|▊                                                                                                                      | 3/410 [00:24<57:00,  8.40s/it]
+
mmlu_id:   1%|█▏                                                                                                                     | 4/410 [00:32<55:12,  8.16s/it]
+
mmlu_id:   1%|█▍                                                                                                                     | 5/410 [00:41<56:47,  8.41s/it]
+
mmlu_id:   1%|█▋                                                                                                                     | 6/410 [00:50<57:38,  8.56s/it]
+
mmlu_id:   2%|██                                                                                                                     | 7/410 [00:58<57:22,  8.54s/it]
+
mmlu_id:   2%|██▎                                                                                                                    | 8/410 [01:08<58:36,  8.75s/it]
+
mmlu_id:   2%|██▌                                                                                                                    | 9/410 [01:16<57:45,  8.64s/it]
+
mmlu_id:   2%|██▉                                                                                                                   | 10/410 [01:25<59:04,  8.86s/it]
+
mmlu_id:   3%|███▏                                                                                                                  | 11/410 [01:33<56:22,  8.48s/it]
+
mmlu_id:   3%|███▍                                                                                                                  | 12/410 [01:41<56:19,  8.49s/it]
+
mmlu_id:   3%|███▋                                                                                                                  | 13/410 [01:49<54:49,  8.29s/it]
+
mmlu_id:   3%|████                                                                                                                  | 14/410 [01:58<54:39,  8.28s/it]
+
mmlu_id:   4%|████▎                                                                                                                 | 15/410 [02:06<55:50,  8.48s/it]
+
mmlu_id:   4%|████▌                                                                                                                 | 16/410 [02:16<58:33,  8.92s/it]
+
mmlu_id:   4%|████▉                                                                                                                 | 17/410 [02:25<57:53,  8.84s/it]
+
mmlu_id:   4%|█████▏                                                                                                                | 18/410 [02:33<56:16,  8.61s/it]
+
mmlu_id:   5%|█████▍                                                                                                                | 19/410 [02:42<55:43,  8.55s/it]
+
mmlu_id:   5%|█████▊                                                                                                                | 20/410 [02:51<56:24,  8.68s/it]
+
mmlu_id:   5%|██████                                                                                                                | 21/410 [03:00<56:49,  8.77s/it]
+
mmlu_id:   5%|██████▎                                                                                                               | 22/410 [03:10<59:08,  9.15s/it]
+
mmlu_id:   6%|██████▌                                                                                                               | 23/410 [03:19<58:49,  9.12s/it]
+
mmlu_id:   6%|██████▉                                                                                                               | 24/410 [03:26<56:07,  8.72s/it]
+
mmlu_id:   6%|███████▏                                                                                                              | 25/410 [03:34<53:39,  8.36s/it]
+
mmlu_id:   6%|███████▍                                                                                                              | 26/410 [03:43<54:51,  8.57s/it]
+
mmlu_id:   7%|███████▊                                                                                                              | 27/410 [03:50<52:18,  8.19s/it]
+
mmlu_id:   7%|████████                                                                                                              | 28/410 [03:59<52:46,  8.29s/it]
+
mmlu_id:   7%|████████▎                                                                                                             | 29/410 [04:07<52:36,  8.28s/it]
+
mmlu_id:   7%|████████▋                                                                                                             | 30/410 [04:15<52:17,  8.26s/it]
+
mmlu_id:   8%|████████▉                                                                                                             | 31/410 [04:23<50:30,  8.00s/it]
+
mmlu_id:   8%|█████████▏                                                                                                            | 32/410 [04:31<51:31,  8.18s/it]
+
mmlu_id:   8%|█████████▍                                                                                                            | 33/410 [04:41<53:44,  8.55s/it]
+
mmlu_id:   8%|█████████▊                                                                                                            | 34/410 [04:48<52:06,  8.32s/it]
+
mmlu_id:   9%|██████████                                                                                                            | 35/410 [04:57<52:33,  8.41s/it]
+
mmlu_id:   9%|██████████▎                                                                                                           | 36/410 [05:05<51:04,  8.19s/it]
+
mmlu_id:   9%|██████████▋                                                                                                           | 37/410 [05:13<51:15,  8.24s/it]
+
mmlu_id:   9%|██████████▉                                                                                                           | 38/410 [05:22<53:02,  8.55s/it]
+
mmlu_id:  10%|███████████▏                                                                                                          | 39/410 [05:31<52:53,  8.55s/it]
+
mmlu_id:  10%|███████████▌                                                                                                          | 40/410 [05:40<54:28,  8.83s/it]
+
mmlu_id:  10%|███████████▊                                                                                                          | 41/410 [05:48<52:19,  8.51s/it]
+
mmlu_id:  10%|████████████                                                                                                          | 42/410 [05:56<49:58,  8.15s/it]
+
mmlu_id:  10%|████████████▍                                                                                                         | 43/410 [06:05<52:45,  8.63s/it]
+
mmlu_id:  11%|████████████▋                                                                                                         | 44/410 [06:15<53:48,  8.82s/it]
+
mmlu_id:  11%|████████████▉                                                                                                         | 45/410 [06:22<51:15,  8.43s/it]
+
mmlu_id:  11%|█████████████▏                                                                                                        | 46/410 [06:32<54:06,  8.92s/it]
+
mmlu_id:  11%|█████████████▌                                                                                                        | 47/410 [06:41<53:25,  8.83s/it]
+
mmlu_id:  12%|█████████████▊                                                                                                        | 48/410 [06:49<51:59,  8.62s/it]
+
mmlu_id:  12%|██████████████                                                                                                        | 49/410 [06:58<52:53,  8.79s/it]
+
mmlu_id:  12%|██████████████▍                                                                                                       | 50/410 [07:06<50:54,  8.48s/it]
+
mmlu_id:  12%|██████████████▋                                                                                                       | 51/410 [07:14<50:40,  8.47s/it]
+
mmlu_id:  13%|██████████████▉                                                                                                       | 52/410 [07:23<51:21,  8.61s/it]
+
mmlu_id:  13%|███████████████▎                                                                                                      | 53/410 [07:32<51:07,  8.59s/it]
+
mmlu_id:  13%|███████████████▌                                                                                                      | 54/410 [07:41<52:22,  8.83s/it]
+
mmlu_id:  13%|███████████████▊                                                                                                      | 55/410 [07:52<55:26,  9.37s/it]
+
mmlu_id:  14%|████████████████                                                                                                      | 56/410 [08:00<52:54,  8.97s/it]
+
mmlu_id:  14%|████████████████▍                                                                                                     | 57/410 [08:08<51:49,  8.81s/it]
+
mmlu_id:  14%|████████████████▋                                                                                                     | 58/410 [08:17<51:30,  8.78s/it]
+
mmlu_id:  14%|████████████████▉                                                                                                     | 59/410 [08:26<51:41,  8.84s/it]
+
mmlu_id:  15%|█████████████████▎                                                                                                    | 60/410 [08:33<49:20,  8.46s/it]
+
mmlu_id:  15%|█████████████████▌                                                                                                    | 61/410 [08:41<48:21,  8.31s/it]
+
mmlu_id:  15%|█████████████████▊                                                                                                    | 62/410 [08:50<48:02,  8.28s/it]
+
mmlu_id:  15%|██████████████████▏                                                                                                   | 63/410 [08:58<48:51,  8.45s/it]
+
mmlu_id:  16%|██████████████████▍                                                                                                   | 64/410 [09:06<47:38,  8.26s/it]
+
mmlu_id:  16%|██████████████████▋                                                                                                   | 65/410 [09:16<50:08,  8.72s/it]
+
mmlu_id:  16%|██████████████████▉                                                                                                   | 66/410 [09:25<50:10,  8.75s/it]
+
mmlu_id:  16%|███████████████████▎                                                                                                  | 67/410 [09:34<50:17,  8.80s/it]
+
mmlu_id:  17%|███████████████████▌                                                                                                  | 68/410 [09:44<51:43,  9.08s/it]
+
mmlu_id:  17%|███████████████████▊                                                                                                  | 69/410 [09:53<52:29,  9.24s/it]
+
mmlu_id:  17%|████████████████████▏                                                                                                 | 70/410 [10:02<51:57,  9.17s/it]
+
mmlu_id:  17%|████████████████████▍                                                                                                 | 71/410 [10:11<50:36,  8.96s/it]
+
mmlu_id:  18%|████████████████████▋                                                                                                 | 72/410 [10:20<50:41,  9.00s/it]
+
mmlu_id:  18%|█████████████████████                                                                                                 | 73/410 [10:28<49:58,  8.90s/it]
+
mmlu_id:  18%|█████████████████████▎                                                                                                | 74/410 [10:37<49:06,  8.77s/it]
+
mmlu_id:  18%|█████████████████████▌                                                                                                | 75/410 [10:46<49:29,  8.86s/it]
+
mmlu_id:  19%|█████████████████████▊                                                                                                | 76/410 [10:54<48:37,  8.74s/it]
+
mmlu_id:  19%|██████████████████████▏                                                                                               | 77/410 [11:03<48:01,  8.65s/it]
+
mmlu_id:  19%|██████████████████████▍                                                                                               | 78/410 [11:13<49:52,  9.01s/it]
+
mmlu_id:  19%|██████████████████████▋                                                                                               | 79/410 [11:20<47:23,  8.59s/it]
+
mmlu_id:  20%|███████████████████████                                                                                               | 80/410 [11:29<47:41,  8.67s/it]
+
mmlu_id:  20%|███████████████████████▎                                                                                              | 81/410 [11:39<48:51,  8.91s/it]
+
mmlu_id:  20%|███████████████████████▌                                                                                              | 82/410 [11:48<49:03,  8.97s/it]
+
mmlu_id:  20%|███████████████████████▉                                                                                              | 83/410 [11:56<48:26,  8.89s/it]
+
mmlu_id:  20%|████████████████████████▏                                                                                             | 84/410 [12:05<47:06,  8.67s/it]
+
mmlu_id:  21%|████████████████████████▍                                                                                             | 85/410 [12:14<47:56,  8.85s/it]
+
mmlu_id:  21%|████████████████████████▊                                                                                             | 86/410 [12:23<48:10,  8.92s/it]
+
mmlu_id:  21%|█████████████████████████                                                                                             | 87/410 [12:33<49:16,  9.15s/it]
+
mmlu_id:  21%|█████████████████████████▎                                                                                            | 88/410 [12:42<49:40,  9.26s/it]
+
mmlu_id:  22%|█████████████████████████▌                                                                                            | 89/410 [12:51<48:56,  9.15s/it]
+
mmlu_id:  22%|█████████████████████████▉                                                                                            | 90/410 [13:00<48:16,  9.05s/it]
+
mmlu_id:  22%|██████████████████████████▏                                                                                           | 91/410 [13:09<47:45,  8.98s/it]
+
mmlu_id:  22%|██████████████████████████▍                                                                                           | 92/410 [13:17<46:04,  8.69s/it]
+
mmlu_id:  23%|██████████████████████████▊                                                                                           | 93/410 [13:25<44:57,  8.51s/it]
+
mmlu_id:  23%|███████████████████████████                                                                                           | 94/410 [13:34<45:52,  8.71s/it]
+
mmlu_id:  23%|███████████████████████████▎                                                                                          | 95/410 [13:42<44:18,  8.44s/it]
+
mmlu_id:  23%|███████████████████████████▋                                                                                          | 96/410 [13:52<46:09,  8.82s/it]
+
mmlu_id:  24%|███████████████████████████▉                                                                                          | 97/410 [13:59<44:09,  8.47s/it]
+
mmlu_id:  24%|████████████████████████████▏                                                                                         | 98/410 [14:07<43:49,  8.43s/it]
+
mmlu_id:  24%|████████████████████████████▍                                                                                         | 99/410 [14:17<45:03,  8.69s/it]
+
mmlu_id:  24%|████████████████████████████▌                                                                                        | 100/410 [14:26<45:37,  8.83s/it]
+
mmlu_id:  25%|████████████████████████████▊                                                                                        | 101/410 [14:35<46:05,  8.95s/it]
+
mmlu_id:  25%|█████████████████████████████                                                                                        | 102/410 [14:44<45:22,  8.84s/it]
+
mmlu_id:  25%|█████████████████████████████▍                                                                                       | 103/410 [14:53<45:30,  8.90s/it]
+
mmlu_id:  25%|█████████████████████████████▋                                                                                       | 104/410 [15:02<45:28,  8.92s/it]
+
mmlu_id:  26%|█████████████████████████████▉                                                                                       | 105/410 [15:13<48:13,  9.49s/it]
+
mmlu_id:  26%|██████████████████████████████▏                                                                                      | 106/410 [15:21<46:10,  9.11s/it]
+
mmlu_id:  26%|██████████████████████████████▌                                                                                      | 107/410 [15:29<45:09,  8.94s/it]
+
mmlu_id:  26%|██████████████████████████████▊                                                                                      | 108/410 [15:39<45:42,  9.08s/it]
+
mmlu_id:  27%|███████████████████████████████                                                                                      | 109/410 [15:48<46:01,  9.17s/it]
+
mmlu_id:  27%|███████████████████████████████▍                                                                                     | 110/410 [15:56<43:30,  8.70s/it]
+
mmlu_id:  27%|███████████████████████████████▋                                                                                     | 111/410 [16:05<44:38,  8.96s/it]
+
mmlu_id:  27%|███████████████████████████████▉                                                                                     | 112/410 [16:13<42:33,  8.57s/it]
+
mmlu_id:  28%|████████████████████████████████▏                                                                                    | 113/410 [16:22<43:03,  8.70s/it]
+
mmlu_id:  28%|████████████████████████████████▌                                                                                    | 114/410 [16:31<43:32,  8.83s/it]
+
mmlu_id:  28%|████████████████████████████████▊                                                                                    | 115/410 [16:39<41:54,  8.52s/it]
+
mmlu_id:  28%|█████████████████████████████████                                                                                    | 116/410 [16:48<42:23,  8.65s/it]
+
mmlu_id:  29%|█████████████████████████████████▍                                                                                   | 117/410 [16:56<41:49,  8.57s/it]
+
mmlu_id:  29%|█████████████████████████████████▋                                                                                   | 118/410 [17:04<40:46,  8.38s/it]
+
mmlu_id:  29%|█████████████████████████████████▉                                                                                   | 119/410 [17:12<39:54,  8.23s/it]
+
mmlu_id:  29%|██████████████████████████████████▏                                                                                  | 120/410 [17:21<40:19,  8.34s/it]
+
mmlu_id:  30%|██████████████████████████████████▌                                                                                  | 121/410 [17:31<42:58,  8.92s/it]
+
mmlu_id:  30%|██████████████████████████████████▊                                                                                  | 122/410 [17:40<43:09,  8.99s/it]
+
mmlu_id:  30%|███████████████████████████████████                                                                                  | 123/410 [17:49<43:07,  9.02s/it]
+
mmlu_id:  30%|███████████████████████████████████▍                                                                                 | 124/410 [17:58<42:48,  8.98s/it]
+
mmlu_id:  30%|███████████████████████████████████▋                                                                                 | 125/410 [18:06<41:33,  8.75s/it]
+
mmlu_id:  31%|███████████████████████████████████▉                                                                                 | 126/410 [18:15<41:02,  8.67s/it]
+
mmlu_id:  31%|████████████████████████████████████▏                                                                                | 127/410 [18:22<39:33,  8.39s/it]
+
mmlu_id:  31%|████████████████████████████████████▌                                                                                | 128/410 [18:31<40:13,  8.56s/it]
+
mmlu_id:  31%|████████████████████████████████████▊                                                                                | 129/410 [18:40<40:23,  8.62s/it]
+
mmlu_id:  32%|█████████████████████████████████████                                                                                | 130/410 [18:49<40:21,  8.65s/it]
+
mmlu_id:  32%|█████████████████████████████████████▍                                                                               | 131/410 [18:58<40:50,  8.78s/it]
+
mmlu_id:  32%|█████████████████████████████████████▋                                                                               | 132/410 [19:07<41:36,  8.98s/it]
+
mmlu_id:  32%|█████████████████████████████████████▉                                                                               | 133/410 [19:15<39:32,  8.57s/it]
+
mmlu_id:  33%|██████████████████████████████████████▏                                                                              | 134/410 [19:23<38:56,  8.46s/it]
+
mmlu_id:  33%|██████████████████████████████████████▌                                                                              | 135/410 [19:33<41:06,  8.97s/it]
+
mmlu_id:  33%|██████████████████████████████████████▊                                                                              | 136/410 [19:42<40:23,  8.84s/it]
+
mmlu_id:  33%|███████████████████████████████████████                                                                              | 137/410 [19:51<40:26,  8.89s/it]
+
mmlu_id:  34%|███████████████████████████████████████▍                                                                             | 138/410 [20:00<40:22,  8.91s/it]
+
mmlu_id:  34%|███████████████████████████████████████▋                                                                             | 139/410 [20:09<40:10,  8.89s/it]
+
mmlu_id:  34%|███████████████████████████████████████▉                                                                             | 140/410 [20:17<38:43,  8.61s/it]
+
mmlu_id:  34%|████████████████████████████████████████▏                                                                            | 141/410 [20:25<37:44,  8.42s/it]
+
mmlu_id:  35%|████████████████████████████████████████▌                                                                            | 142/410 [20:34<38:44,  8.67s/it]
+
mmlu_id:  35%|████████████████████████████████████████▊                                                                            | 143/410 [20:42<37:42,  8.47s/it]
+
mmlu_id:  35%|█████████████████████████████████████████                                                                            | 144/410 [20:50<37:07,  8.37s/it]
+
mmlu_id:  35%|█████████████████████████████████████████▍                                                                           | 145/410 [20:58<36:43,  8.32s/it]
+
mmlu_id:  36%|█████████████████████████████████████████▋                                                                           | 146/410 [21:07<36:50,  8.37s/it]
+
mmlu_id:  36%|█████████████████████████████████████████▉                                                                           | 147/410 [21:15<36:02,  8.22s/it]
+
mmlu_id:  36%|██████████████████████████████████████████▏                                                                          | 148/410 [21:23<36:32,  8.37s/it]
+
mmlu_id:  36%|██████████████████████████████████████████▌                                                                          | 149/410 [21:31<35:40,  8.20s/it]
+
mmlu_id:  37%|██████████████████████████████████████████▊                                                                          | 150/410 [21:41<37:37,  8.68s/it]
+
mmlu_id:  37%|███████████████████████████████████████████                                                                          | 151/410 [21:50<37:43,  8.74s/it]
+
mmlu_id:  37%|███████████████████████████████████████████▍                                                                         | 152/410 [21:58<37:14,  8.66s/it]
+
mmlu_id:  37%|███████████████████████████████████████████▋                                                                         | 153/410 [22:06<36:17,  8.47s/it]
+
mmlu_id:  38%|███████████████████████████████████████████▉                                                                         | 154/410 [22:15<36:05,  8.46s/it]
+
mmlu_id:  38%|████████████████████████████████████████████▏                                                                        | 155/410 [22:23<35:42,  8.40s/it]
+
mmlu_id:  38%|████████████████████████████████████████████▌                                                                        | 156/410 [22:33<37:56,  8.96s/it]
+
mmlu_id:  38%|████████████████████████████████████████████▊                                                                        | 157/410 [22:42<37:55,  8.99s/it]
+
mmlu_id:  39%|█████████████████████████████████████████████                                                                        | 158/410 [22:51<37:03,  8.82s/it]
+
mmlu_id:  39%|█████████████████████████████████████████████▎                                                                       | 159/410 [22:59<35:57,  8.59s/it]
+
mmlu_id:  39%|█████████████████████████████████████████████▋                                                                       | 160/410 [23:08<36:27,  8.75s/it]
+
mmlu_id:  39%|█████████████████████████████████████████████▉                                                                       | 161/410 [23:17<36:54,  8.89s/it]
+
mmlu_id:  40%|██████████████████████████████████████████████▏                                                                      | 162/410 [23:27<37:21,  9.04s/it]
+
mmlu_id:  40%|██████████████████████████████████████████████▌                                                                      | 163/410 [23:35<36:12,  8.80s/it]
+
mmlu_id:  40%|██████████████████████████████████████████████▊                                                                      | 164/410 [23:44<35:59,  8.78s/it]
+
mmlu_id:  40%|███████████████████████████████████████████████                                                                      | 165/410 [23:53<36:27,  8.93s/it]
+
mmlu_id:  40%|███████████████████████████████████████████████▎                                                                     | 166/410 [24:00<34:41,  8.53s/it]
+
mmlu_id:  41%|███████████████████████████████████████████████▋                                                                     | 167/410 [24:10<35:24,  8.74s/it]
+
mmlu_id:  41%|███████████████████████████████████████████████▉                                                                     | 168/410 [24:19<36:03,  8.94s/it]
+
mmlu_id:  41%|████████████████████████████████████████████████▏                                                                    | 169/410 [24:28<36:10,  9.01s/it]
+
mmlu_id:  41%|████████████████████████████████████████████████▌                                                                    | 170/410 [24:39<37:41,  9.42s/it]
+
mmlu_id:  42%|████████████████████████████████████████████████▊                                                                    | 171/410 [24:47<36:23,  9.14s/it]
+
mmlu_id:  42%|█████████████████████████████████████████████████                                                                    | 172/410 [24:56<35:29,  8.95s/it]
+
mmlu_id:  42%|█████████████████████████████████████████████████▎                                                                   | 173/410 [25:04<34:26,  8.72s/it]
+
mmlu_id:  42%|█████████████████████████████████████████████████▋                                                                   | 174/410 [25:13<34:49,  8.85s/it]
+
mmlu_id:  43%|█████████████████████████████████████████████████▉                                                                   | 175/410 [25:22<34:26,  8.79s/it]
+
mmlu_id:  43%|██████████████████████████████████████████████████▏                                                                  | 176/410 [25:31<35:03,  8.99s/it]
+
mmlu_id:  43%|██████████████████████████████████████████████████▌                                                                  | 177/410 [25:41<35:49,  9.23s/it]
+
mmlu_id:  43%|██████████████████████████████████████████████████▊                                                                  | 178/410 [25:50<35:52,  9.28s/it]
+
mmlu_id:  44%|███████████████████████████████████████████████████                                                                  | 179/410 [25:59<34:35,  8.98s/it]
+
mmlu_id:  44%|███████████████████████████████████████████████████▎                                                                 | 180/410 [26:08<34:57,  9.12s/it]
+
mmlu_id:  44%|███████████████████████████████████████████████████▋                                                                 | 181/410 [26:18<35:20,  9.26s/it]
+
mmlu_id:  44%|███████████████████████████████████████████████████▉                                                                 | 182/410 [26:28<36:34,  9.63s/it]
+
mmlu_id:  45%|████████████████████████████████████████████████████▏                                                                | 183/410 [26:37<35:40,  9.43s/it]
+
mmlu_id:  45%|████████████████████████████████████████████████████▌                                                                | 184/410 [26:46<34:45,  9.23s/it]
+
mmlu_id:  45%|████████████████████████████████████████████████████▊                                                                | 185/410 [26:54<33:26,  8.92s/it]
+
mmlu_id:  45%|█████████████████████████████████████████████████████                                                                | 186/410 [27:04<34:14,  9.17s/it]
+
mmlu_id:  46%|█████████████████████████████████████████████████████▎                                                               | 187/410 [27:13<34:16,  9.22s/it]
+
mmlu_id:  46%|█████████████████████████████████████████████████████▋                                                               | 188/410 [27:23<34:35,  9.35s/it]
+
mmlu_id:  46%|█████████████████████████████████████████████████████▉                                                               | 189/410 [27:32<33:49,  9.18s/it]
+
mmlu_id:  46%|██████████████████████████████████████████████████████▏                                                              | 190/410 [27:41<34:01,  9.28s/it]
+
mmlu_id:  47%|██████████████████████████████████████████████████████▌                                                              | 191/410 [27:51<34:31,  9.46s/it]
+
mmlu_id:  47%|██████████████████████████████████████████████████████▊                                                              | 192/410 [27:59<33:19,  9.17s/it]
+
mmlu_id:  47%|███████████████████████████████████████████████████████                                                              | 193/410 [28:08<32:27,  8.98s/it]
+
mmlu_id:  47%|███████████████████████████████████████████████████████▎                                                             | 194/410 [28:16<31:31,  8.76s/it]
+
mmlu_id:  48%|███████████████████████████████████████████████████████▋                                                             | 195/410 [28:24<30:32,  8.52s/it]
+
mmlu_id:  48%|███████████████████████████████████████████████████████▉                                                             | 196/410 [28:33<30:16,  8.49s/it]
+
mmlu_id:  48%|████████████████████████████████████████████████████████▏                                                            | 197/410 [28:41<30:28,  8.58s/it]
+
mmlu_id:  48%|████████████████████████████████████████████████████████▌                                                            | 198/410 [28:50<30:41,  8.69s/it]
+
mmlu_id:  49%|████████████████████████████████████████████████████████▊                                                            | 199/410 [28:58<29:13,  8.31s/it]
+
mmlu_id:  49%|█████████████████████████████████████████████████████████                                                            | 200/410 [29:06<28:43,  8.21s/it]
+
mmlu_id:  49%|█████████████████████████████████████████████████████████▎                                                           | 201/410 [29:14<28:43,  8.24s/it]
+
mmlu_id:  49%|█████████████████████████████████████████████████████████▋                                                           | 202/410 [29:23<29:46,  8.59s/it]
+
mmlu_id:  50%|█████████████████████████████████████████████████████████▉                                                           | 203/410 [29:32<29:59,  8.69s/it]
+
mmlu_id:  50%|██████████████████████████████████████████████████████████▏                                                          | 204/410 [29:41<30:07,  8.77s/it]
+
mmlu_id:  50%|██████████████████████████████████████████████████████████▌                                                          | 205/410 [29:50<30:08,  8.82s/it]
+
mmlu_id:  50%|██████████████████████████████████████████████████████████▊                                                          | 206/410 [30:00<30:54,  9.09s/it]
+
mmlu_id:  50%|███████████████████████████████████████████████████████████                                                          | 207/410 [30:09<30:40,  9.07s/it]
+
mmlu_id:  51%|███████████████████████████████████████████████████████████▎                                                         | 208/410 [30:17<29:45,  8.84s/it]
+
mmlu_id:  51%|███████████████████████████████████████████████████████████▋                                                         | 209/410 [30:26<29:18,  8.75s/it]
+
mmlu_id:  51%|███████████████████████████████████████████████████████████▉                                                         | 210/410 [30:35<29:51,  8.96s/it]
+
mmlu_id:  51%|████████████████████████████████████████████████████████████▏                                                        | 211/410 [30:43<28:08,  8.49s/it]
+
mmlu_id:  52%|████████████████████████████████████████████████████████████▍                                                        | 212/410 [30:51<28:19,  8.58s/it]
+
mmlu_id:  52%|████████████████████████████████████████████████████████████▊                                                        | 213/410 [31:00<27:41,  8.44s/it]
+
mmlu_id:  52%|█████████████████████████████████████████████████████████████                                                        | 214/410 [31:07<26:58,  8.26s/it]
+
mmlu_id:  52%|█████████████████████████████████████████████████████████████▎                                                       | 215/410 [31:17<27:49,  8.56s/it]
+
mmlu_id:  53%|█████████████████████████████████████████████████████████████▋                                                       | 216/410 [31:26<28:19,  8.76s/it]
+
mmlu_id:  53%|█████████████████████████████████████████████████████████████▉                                                       | 217/410 [31:35<28:02,  8.72s/it]
+
mmlu_id:  53%|██████████████████████████████████████████████████████████████▏                                                      | 218/410 [31:42<27:03,  8.46s/it]
+
mmlu_id:  53%|██████████████████████████████████████████████████████████████▍                                                      | 219/410 [31:51<27:14,  8.56s/it]
+
mmlu_id:  54%|██████████████████████████████████████████████████████████████▊                                                      | 220/410 [32:00<27:26,  8.67s/it]
+
mmlu_id:  54%|███████████████████████████████████████████████████████████████                                                      | 221/410 [32:09<27:45,  8.81s/it]
+
mmlu_id:  54%|███████████████████████████████████████████████████████████████▎                                                     | 222/410 [32:18<27:29,  8.78s/it]
+
mmlu_id:  54%|███████████████████████████████████████████████████████████████▋                                                     | 223/410 [32:27<27:22,  8.78s/it]
+
mmlu_id:  55%|███████████████████████████████████████████████████████████████▉                                                     | 224/410 [32:36<27:53,  9.00s/it]
+
mmlu_id:  55%|████████████████████████████████████████████████████████████████▏                                                    | 225/410 [32:45<27:11,  8.82s/it]
+
mmlu_id:  55%|████████████████████████████████████████████████████████████████▍                                                    | 226/410 [32:53<26:42,  8.71s/it]
+
mmlu_id:  55%|████████████████████████████████████████████████████████████████▊                                                    | 227/410 [33:02<26:42,  8.76s/it]
+
mmlu_id:  56%|█████████████████████████████████████████████████████████████████                                                    | 228/410 [33:10<25:44,  8.49s/it]
+
mmlu_id:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 229/410 [33:19<26:16,  8.71s/it]
+
mmlu_id:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 230/410 [33:27<25:23,  8.46s/it]
+
mmlu_id:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 231/410 [33:36<25:43,  8.63s/it]
+
mmlu_id:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 232/410 [33:45<25:34,  8.62s/it]
+
mmlu_id:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 233/410 [33:52<24:41,  8.37s/it]
+
mmlu_id:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 234/410 [34:00<23:58,  8.18s/it]
+
mmlu_id:  57%|███████████████████████████████████████████████████████████████████                                                  | 235/410 [34:09<24:11,  8.30s/it]
+
mmlu_id:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 236/410 [34:17<24:05,  8.31s/it]
+
mmlu_id:  58%|███████████████████████████████████████████████████████████████████▋                                                 | 237/410 [34:27<25:01,  8.68s/it]
+
mmlu_id:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 238/410 [34:34<24:15,  8.46s/it]
+
mmlu_id:  58%|████████████████████████████████████████████████████████████████████▏                                                | 239/410 [34:43<24:31,  8.61s/it]
+
mmlu_id:  59%|████████████████████████████████████████████████████████████████████▍                                                | 240/410 [34:53<25:14,  8.91s/it]
+
mmlu_id:  59%|████████████████████████████████████████████████████████████████████▊                                                | 241/410 [35:02<24:54,  8.85s/it]
+
mmlu_id:  59%|█████████████████████████████████████████████████████████████████████                                                | 242/410 [35:12<25:41,  9.17s/it]
+
mmlu_id:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 243/410 [35:22<26:08,  9.39s/it]
+
mmlu_id:  60%|█████████████████████████████████████████████████████████████████████▋                                               | 244/410 [35:31<25:41,  9.29s/it]
+
mmlu_id:  60%|█████████████████████████████████████████████████████████████████████▉                                               | 245/410 [35:38<24:00,  8.73s/it]
+
mmlu_id:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 246/410 [35:46<23:35,  8.63s/it]
+
mmlu_id:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 247/410 [35:55<23:41,  8.72s/it]
+
mmlu_id:  60%|██████████████████████████████████████████████████████████████████████▊                                              | 248/410 [36:04<23:20,  8.65s/it]
+
mmlu_id:  61%|███████████████████████████████████████████████████████████████████████                                              | 249/410 [36:12<22:31,  8.39s/it]
+
mmlu_id:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 250/410 [36:20<22:38,  8.49s/it]
+
mmlu_id:  61%|███████████████████████████████████████████████████████████████████████▋                                             | 251/410 [36:30<23:12,  8.76s/it]
+
mmlu_id:  61%|███████████████████████████████████████████████████████████████████████▉                                             | 252/410 [36:38<22:55,  8.71s/it]
+
mmlu_id:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 253/410 [36:46<22:04,  8.44s/it]
+
mmlu_id:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 254/410 [36:55<22:16,  8.57s/it]
+
mmlu_id:  62%|████████████████████████████████████████████████████████████████████████▊                                            | 255/410 [37:03<21:40,  8.39s/it]
+
mmlu_id:  62%|█████████████████████████████████████████████████████████████████████████                                            | 256/410 [37:12<22:01,  8.58s/it]
+
mmlu_id:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 257/410 [37:20<21:17,  8.35s/it]
+
mmlu_id:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 258/410 [37:28<20:44,  8.19s/it]
+
mmlu_id:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 259/410 [37:37<21:41,  8.62s/it]
+
mmlu_id:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 260/410 [37:45<20:43,  8.29s/it]
+
mmlu_id:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 261/410 [37:53<20:34,  8.28s/it]
+
mmlu_id:  64%|██████████████████████████████████████████████████████████████████████████▊                                          | 262/410 [38:01<20:10,  8.18s/it]
+
mmlu_id:  64%|███████████████████████████████████████████████████████████████████████████                                          | 263/410 [38:09<20:07,  8.22s/it]
+
mmlu_id:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 264/410 [38:18<20:39,  8.49s/it]
+
mmlu_id:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 265/410 [38:26<20:07,  8.32s/it]
+
mmlu_id:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 266/410 [38:34<19:31,  8.14s/it]
+
mmlu_id:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 267/410 [38:43<20:10,  8.47s/it]
+
mmlu_id:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 268/410 [38:53<20:52,  8.82s/it]
+
mmlu_id:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 269/410 [39:03<21:16,  9.06s/it]
+
mmlu_id:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 270/410 [39:11<20:48,  8.92s/it]
+
mmlu_id:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 271/410 [39:21<21:13,  9.16s/it]
+
mmlu_id:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 272/410 [39:30<20:55,  9.10s/it]
+
mmlu_id:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 273/410 [39:38<20:12,  8.85s/it]
+
mmlu_id:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 274/410 [39:47<20:06,  8.87s/it]
+
mmlu_id:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 275/410 [39:57<20:35,  9.15s/it]
+
mmlu_id:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 276/410 [40:05<20:00,  8.96s/it]
+
mmlu_id:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 277/410 [40:14<19:32,  8.82s/it]
+
mmlu_id:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 278/410 [40:23<19:28,  8.85s/it]
+
mmlu_id:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 279/410 [40:31<19:08,  8.77s/it]
+
mmlu_id:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 280/410 [40:39<18:26,  8.51s/it]
+
mmlu_id:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 281/410 [40:47<17:44,  8.25s/it]
+
mmlu_id:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 282/410 [40:55<17:25,  8.16s/it]
+
mmlu_id:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 283/410 [41:02<16:47,  7.94s/it]
+
mmlu_id:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 284/410 [41:11<16:53,  8.04s/it]
+
mmlu_id:  70%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 285/410 [41:18<16:36,  7.97s/it]
+
mmlu_id:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 286/410 [41:27<16:43,  8.09s/it]
+
mmlu_id:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 287/410 [41:37<17:42,  8.64s/it]
+
mmlu_id:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 288/410 [41:45<17:11,  8.45s/it]
+
mmlu_id:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 289/410 [41:55<18:16,  9.06s/it]
+
mmlu_id:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 290/410 [42:04<17:47,  8.89s/it]
+
mmlu_id:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 291/410 [42:13<17:56,  9.05s/it]
+
mmlu_id:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 292/410 [42:21<17:06,  8.70s/it]
+
mmlu_id:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 293/410 [42:29<16:28,  8.45s/it]
+
mmlu_id:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 294/410 [42:38<16:38,  8.61s/it]
+
mmlu_id:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 295/410 [42:46<16:03,  8.38s/it]
+
mmlu_id:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 296/410 [42:54<16:10,  8.51s/it]
+
mmlu_id:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 297/410 [43:04<16:21,  8.69s/it]
+
mmlu_id:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 298/410 [43:11<15:46,  8.45s/it]
+
mmlu_id:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 299/410 [43:20<15:49,  8.55s/it]
+
mmlu_id:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 300/410 [43:28<15:09,  8.27s/it]
+
mmlu_id:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 301/410 [43:37<15:43,  8.66s/it]
+
mmlu_id:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 302/410 [43:46<15:40,  8.71s/it]
+
mmlu_id:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 303/410 [43:56<15:56,  8.94s/it]
+
mmlu_id:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 304/410 [44:04<15:18,  8.66s/it]
+
mmlu_id:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 305/410 [44:13<15:37,  8.93s/it]
+
mmlu_id:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 306/410 [44:22<15:23,  8.88s/it]
+
mmlu_id:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 307/410 [44:31<15:30,  9.04s/it]
+
mmlu_id:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 308/410 [44:40<15:16,  8.99s/it]
+
mmlu_id:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 309/410 [44:50<15:25,  9.17s/it]
+
mmlu_id:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 310/410 [44:58<15:00,  9.00s/it]
+
mmlu_id:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 311/410 [45:07<14:46,  8.96s/it]
+
mmlu_id:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 312/410 [45:17<14:59,  9.18s/it]
+
mmlu_id:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 313/410 [45:25<14:09,  8.76s/it]
+
mmlu_id:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 314/410 [45:34<14:05,  8.81s/it]
+
mmlu_id:  77%|█████████████████████████████████████████████████████████████████████████████████████████▉                           | 315/410 [45:43<14:13,  8.98s/it]
+
mmlu_id:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 316/410 [45:51<13:36,  8.69s/it]
+
mmlu_id:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 317/410 [46:01<13:48,  8.91s/it]
+
mmlu_id:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 318/410 [46:09<13:39,  8.91s/it]
+
mmlu_id:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 319/410 [46:20<14:24,  9.50s/it]
+
mmlu_id:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 320/410 [46:29<13:44,  9.16s/it]
+
mmlu_id:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 321/410 [46:37<13:14,  8.93s/it]
+
mmlu_id:  79%|███████████████████████████████████████████████████████████████████████████████████████████▉                         | 322/410 [46:45<12:37,  8.61s/it]
+
mmlu_id:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 323/410 [46:54<12:29,  8.62s/it]
+
mmlu_id:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 324/410 [47:02<12:17,  8.58s/it]
+
mmlu_id:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 325/410 [47:12<12:30,  8.83s/it]
+
mmlu_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████████                        | 326/410 [47:20<12:15,  8.76s/it]
+
mmlu_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 327/410 [47:29<12:21,  8.93s/it]
+
mmlu_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 328/410 [47:38<12:15,  8.97s/it]
+
mmlu_id:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 329/410 [47:48<12:30,  9.27s/it]
+
mmlu_id:  80%|██████████████████████████████████████████████████████████████████████████████████████████████▏                      | 330/410 [47:58<12:20,  9.25s/it]
+
mmlu_id:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 331/410 [48:05<11:24,  8.66s/it]
+
mmlu_id:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 332/410 [48:13<11:12,  8.62s/it]
+
mmlu_id:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 333/410 [48:23<11:22,  8.86s/it]
+
mmlu_id:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 334/410 [48:31<10:58,  8.66s/it]
+
mmlu_id:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 335/410 [48:39<10:37,  8.51s/it]
+
mmlu_id:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 336/410 [48:47<10:15,  8.31s/it]
+
mmlu_id:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 337/410 [48:55<10:05,  8.29s/it]
+
mmlu_id:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 338/410 [49:04<10:03,  8.38s/it]
+
mmlu_id:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 339/410 [49:13<10:00,  8.46s/it]
+
mmlu_id:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 340/410 [49:21<09:54,  8.50s/it]
+
mmlu_id:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 341/410 [49:29<09:40,  8.41s/it]
+
mmlu_id:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 342/410 [49:39<10:03,  8.87s/it]
+
mmlu_id:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 343/410 [49:49<10:08,  9.08s/it]
+
mmlu_id:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 344/410 [49:58<10:02,  9.12s/it]
+
mmlu_id:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 345/410 [50:06<09:27,  8.73s/it]
+
mmlu_id:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 346/410 [50:14<09:11,  8.62s/it]
+
mmlu_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 347/410 [50:23<08:58,  8.55s/it]
+
mmlu_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 348/410 [50:32<09:00,  8.72s/it]
+
mmlu_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 349/410 [50:41<08:57,  8.81s/it]
+
mmlu_id:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 350/410 [50:50<08:50,  8.85s/it]
+
mmlu_id:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 351/410 [50:59<08:43,  8.87s/it]
+
mmlu_id:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 352/410 [51:08<08:37,  8.93s/it]
+
mmlu_id:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 353/410 [51:16<08:25,  8.87s/it]
+
mmlu_id:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 354/410 [51:24<07:58,  8.55s/it]
+
mmlu_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 355/410 [51:34<08:03,  8.79s/it]
+
mmlu_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 356/410 [51:42<07:42,  8.57s/it]
+
mmlu_id:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 357/410 [51:51<07:48,  8.83s/it]
+
mmlu_id:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 358/410 [52:00<07:34,  8.74s/it]
+
mmlu_id:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 359/410 [52:09<07:27,  8.78s/it]
+
mmlu_id:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 360/410 [52:17<07:13,  8.66s/it]
+
mmlu_id:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 361/410 [52:24<06:48,  8.34s/it]
+
mmlu_id:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 362/410 [52:34<06:51,  8.56s/it]
+
mmlu_id:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 363/410 [52:42<06:44,  8.61s/it]
+
mmlu_id:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 364/410 [52:50<06:23,  8.33s/it]
+
mmlu_id:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 365/410 [52:59<06:28,  8.63s/it]
+
mmlu_id:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 366/410 [53:08<06:26,  8.77s/it]
+
mmlu_id:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 367/410 [53:17<06:10,  8.62s/it]
+
mmlu_id:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 368/410 [53:25<05:52,  8.39s/it]
+
mmlu_id:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 369/410 [53:33<05:44,  8.40s/it]
+
mmlu_id:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 370/410 [53:42<05:40,  8.52s/it]
+
mmlu_id:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 371/410 [53:51<05:39,  8.71s/it]
+
mmlu_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 372/410 [54:00<05:29,  8.68s/it]
+
mmlu_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 373/410 [54:07<05:11,  8.43s/it]
+
mmlu_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 374/410 [54:17<05:12,  8.69s/it]
+
mmlu_id:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 375/410 [54:26<05:12,  8.93s/it]
+
mmlu_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 376/410 [54:35<04:59,  8.81s/it]
+
mmlu_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 377/410 [54:43<04:46,  8.67s/it]
+
mmlu_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 378/410 [54:51<04:26,  8.32s/it]
+
mmlu_id:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 379/410 [54:58<04:12,  8.14s/it]
+
mmlu_id:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 380/410 [55:08<04:14,  8.49s/it]
+
mmlu_id:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 381/410 [55:17<04:12,  8.71s/it]
+
mmlu_id:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 382/410 [55:25<03:58,  8.53s/it]
+
mmlu_id:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 383/410 [55:34<03:52,  8.60s/it]
+
mmlu_id:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 384/410 [55:42<03:43,  8.59s/it]
+
mmlu_id:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 385/410 [55:51<03:33,  8.56s/it]
+
mmlu_id:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 386/410 [55:59<03:20,  8.36s/it]
+
mmlu_id:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 387/410 [56:07<03:14,  8.45s/it]
+
mmlu_id:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 388/410 [56:16<03:05,  8.43s/it]
+
mmlu_id:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 389/410 [56:23<02:52,  8.20s/it]
+
mmlu_id:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 390/410 [56:33<02:52,  8.62s/it]
+
mmlu_id:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 391/410 [56:42<02:43,  8.62s/it]
+
mmlu_id:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 392/410 [56:49<02:28,  8.27s/it]
+
mmlu_id:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 393/410 [56:57<02:17,  8.08s/it]
+
mmlu_id:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 394/410 [57:05<02:11,  8.20s/it]
+
mmlu_id:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 395/410 [57:13<02:01,  8.11s/it]
+
mmlu_id:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 396/410 [57:22<01:58,  8.44s/it]
+
mmlu_id:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 397/410 [57:31<01:50,  8.50s/it]
+
mmlu_id:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 398/410 [57:40<01:45,  8.77s/it]
+
mmlu_id:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 399/410 [57:48<01:32,  8.43s/it]
+
mmlu_id:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 400/410 [57:57<01:25,  8.54s/it]
+
mmlu_id:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 401/410 [58:04<01:14,  8.32s/it]
+
mmlu_id:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 402/410 [58:13<01:07,  8.42s/it]
+
mmlu_id:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 403/410 [58:23<01:01,  8.76s/it]
+
mmlu_id:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 404/410 [58:32<00:54,  9.02s/it]
+
mmlu_id:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 405/410 [58:41<00:44,  8.85s/it]
+
mmlu_id:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 406/410 [58:50<00:35,  8.83s/it]
+
mmlu_id:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 407/410 [58:58<00:26,  8.72s/it]
+
mmlu_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 408/410 [59:06<00:16,  8.37s/it]
+
mmlu_id: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 409/410 [59:14<00:08,  8.50s/it]
+
mmlu_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [59:21<00:00,  7.86s/it]
mmlu_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 410/410 [59:21<00:00,  8.69s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_id_acc 0.332570032821922
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_id_acc_norm 0.3188306236165178
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 07:41:20,881 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 07:41:20,882 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:21,005 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 07:41:21,005 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:21,129 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 07:41:21,129 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:21,252 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 07:41:21,253 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 07:41:21,254 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 07:41:21,378 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 07:41:21,378 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_id_acc'}
+2024-05-31 07:41:21,442 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 07:41:21,442 INFO sqlalchemy.engine.Engine [generated in 0.00113s] {'checkpoint_id': 14266, 'metric_id': 1229, 'value': 0.332570032821922}
+2024-05-31 07:41:21,505 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 07:41:22,144 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 07:41:22,144 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:22,270 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 07:41:22,270 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:22,396 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 07:41:22,396 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:22,522 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 07:41:22,522 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 07:41:22,523 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 07:41:22,650 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 07:41:22,650 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_id_acc_norm'}
+2024-05-31 07:41:22,714 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 07:41:22,714 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1230, 'value': 0.3188306236165178}
+2024-05-31 07:41:22,777 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  61%|██████████████████████████████████████████████████████████████████▏                                         | 76/124 [48:53:52<60:38:37, 4548.27s/it]['mmlu_it']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 07:41:23,398 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 07:41:23,399 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:23,520 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 07:41:23,520 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:23,642 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 07:41:23,642 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 07:41:23,763 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 07:41:23,764 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 07:41:23,764 INFO sqlalchemy.engine.Engine [generated in 0.00022s] {'name_1_1': 'mmlu_it'}
+2024-05-31 07:41:23,887 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_it task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1754 examples [00:00, 16678.44 examples/s]
+
Generating test split: 5148 examples [00:00, 26614.66 examples/s]
+
Generating test split: 8860 examples [00:00, 30807.29 examples/s]
+
Generating test split: 12255 examples [00:00, 32020.77 examples/s]
Generating test split: 13237 examples [00:00, 29835.28 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 274 examples [00:00, 27628.60 examples/s]
+Running loglikelihood requests
+
+
mmlu_it:   0%|                                                                                                                               | 0/414 [00:00<?, ?it/s]
+
mmlu_it:   0%|▎                                                                                                                      | 1/414 [00:06<44:55,  6.53s/it]
+
mmlu_it:   0%|▌                                                                                                                      | 2/414 [00:14<51:43,  7.53s/it]
+
mmlu_it:   1%|▊                                                                                                                      | 3/414 [00:21<48:20,  7.06s/it]
+
mmlu_it:   1%|█▏                                                                                                                     | 4/414 [00:27<45:20,  6.63s/it]
+
mmlu_it:   1%|█▍                                                                                                                     | 5/414 [00:34<47:15,  6.93s/it]
+
mmlu_it:   1%|█▋                                                                                                                     | 6/414 [00:41<46:02,  6.77s/it]
+
mmlu_it:   2%|██                                                                                                                     | 7/414 [00:47<46:00,  6.78s/it]
+
mmlu_it:   2%|██▎                                                                                                                    | 8/414 [00:55<47:20,  7.00s/it]
+
mmlu_it:   2%|██▌                                                                                                                    | 9/414 [01:02<47:03,  6.97s/it]
+
mmlu_it:   2%|██▊                                                                                                                   | 10/414 [01:09<46:56,  6.97s/it]
+
mmlu_it:   3%|███▏                                                                                                                  | 11/414 [01:16<46:47,  6.97s/it]
+
mmlu_it:   3%|███▍                                                                                                                  | 12/414 [01:23<46:20,  6.92s/it]
+
mmlu_it:   3%|███▋                                                                                                                  | 13/414 [01:29<46:11,  6.91s/it]
+
mmlu_it:   3%|███▉                                                                                                                  | 14/414 [01:37<46:24,  6.96s/it]
+
mmlu_it:   4%|████▎                                                                                                                 | 15/414 [01:43<44:25,  6.68s/it]
+
mmlu_it:   4%|████▌                                                                                                                 | 16/414 [01:49<43:03,  6.49s/it]
+
mmlu_it:   4%|████▊                                                                                                                 | 17/414 [01:55<42:45,  6.46s/it]
+
mmlu_it:   4%|█████▏                                                                                                                | 18/414 [02:01<42:30,  6.44s/it]
+
mmlu_it:   5%|█████▍                                                                                                                | 19/414 [02:08<43:16,  6.57s/it]
+
mmlu_it:   5%|█████▋                                                                                                                | 20/414 [02:15<44:05,  6.71s/it]
+
mmlu_it:   5%|█████▉                                                                                                                | 21/414 [02:22<44:18,  6.76s/it]
+
mmlu_it:   5%|██████▎                                                                                                               | 22/414 [02:29<44:32,  6.82s/it]
+
mmlu_it:   6%|██████▌                                                                                                               | 23/414 [02:35<42:45,  6.56s/it]
+
mmlu_it:   6%|██████▊                                                                                                               | 24/414 [02:42<43:04,  6.63s/it]
+
mmlu_it:   6%|███████▏                                                                                                              | 25/414 [02:48<42:03,  6.49s/it]
+
mmlu_it:   6%|███████▍                                                                                                              | 26/414 [02:54<41:25,  6.41s/it]
+
mmlu_it:   7%|███████▋                                                                                                              | 27/414 [03:02<42:57,  6.66s/it]
+
mmlu_it:   7%|███████▉                                                                                                              | 28/414 [03:08<43:02,  6.69s/it]
+
mmlu_it:   7%|████████▎                                                                                                             | 29/414 [03:14<41:46,  6.51s/it]
+
mmlu_it:   7%|████████▌                                                                                                             | 30/414 [03:21<41:21,  6.46s/it]
+
mmlu_it:   7%|████████▊                                                                                                             | 31/414 [03:27<41:27,  6.49s/it]
+
mmlu_it:   8%|█████████                                                                                                             | 32/414 [03:33<40:00,  6.29s/it]
+
mmlu_it:   8%|█████████▍                                                                                                            | 33/414 [03:39<38:49,  6.11s/it]
+
mmlu_it:   8%|█████████▋                                                                                                            | 34/414 [03:45<38:47,  6.13s/it]
+
mmlu_it:   8%|█████████▉                                                                                                            | 35/414 [03:51<38:58,  6.17s/it]
+
mmlu_it:   9%|██████████▎                                                                                                           | 36/414 [03:58<40:09,  6.38s/it]
+
mmlu_it:   9%|██████████▌                                                                                                           | 37/414 [04:05<40:40,  6.47s/it]
+
mmlu_it:   9%|██████████▊                                                                                                           | 38/414 [04:11<40:23,  6.44s/it]
+
mmlu_it:   9%|███████████                                                                                                           | 39/414 [04:17<38:38,  6.18s/it]
+
mmlu_it:  10%|███████████▍                                                                                                          | 40/414 [04:24<40:41,  6.53s/it]
+
mmlu_it:  10%|███████████▋                                                                                                          | 41/414 [04:31<41:07,  6.62s/it]
+
mmlu_it:  10%|███████████▉                                                                                                          | 42/414 [04:38<42:08,  6.80s/it]
+
mmlu_it:  10%|████████████▎                                                                                                         | 43/414 [04:45<42:18,  6.84s/it]
+
mmlu_it:  11%|████████████▌                                                                                                         | 44/414 [04:51<40:57,  6.64s/it]
+
mmlu_it:  11%|████████████▊                                                                                                         | 45/414 [04:58<41:30,  6.75s/it]
+
mmlu_it:  11%|█████████████                                                                                                         | 46/414 [05:05<41:35,  6.78s/it]
+
mmlu_it:  11%|█████████████▍                                                                                                        | 47/414 [05:12<41:55,  6.85s/it]
+
mmlu_it:  12%|█████████████▋                                                                                                        | 48/414 [05:19<41:09,  6.75s/it]
+
mmlu_it:  12%|█████████████▉                                                                                                        | 49/414 [05:26<41:39,  6.85s/it]
+
mmlu_it:  12%|██████████████▎                                                                                                       | 50/414 [05:33<42:17,  6.97s/it]
+
mmlu_it:  12%|██████████████▌                                                                                                       | 51/414 [05:40<41:36,  6.88s/it]
+
mmlu_it:  13%|██████████████▊                                                                                                       | 52/414 [05:46<41:06,  6.81s/it]
+
mmlu_it:  13%|███████████████                                                                                                       | 53/414 [05:53<40:52,  6.79s/it]
+
mmlu_it:  13%|███████████████▍                                                                                                      | 54/414 [06:00<40:16,  6.71s/it]
+
mmlu_it:  13%|███████████████▋                                                                                                      | 55/414 [06:06<39:54,  6.67s/it]
+
mmlu_it:  14%|███████████████▉                                                                                                      | 56/414 [06:13<40:03,  6.71s/it]
+
mmlu_it:  14%|████████████████▏                                                                                                     | 57/414 [06:20<40:00,  6.73s/it]
+
mmlu_it:  14%|████████████████▌                                                                                                     | 58/414 [06:27<40:17,  6.79s/it]
+
mmlu_it:  14%|████████████████▊                                                                                                     | 59/414 [06:33<38:46,  6.55s/it]
+
mmlu_it:  14%|█████████████████                                                                                                     | 60/414 [06:40<39:21,  6.67s/it]
+
mmlu_it:  15%|█████████████████▍                                                                                                    | 61/414 [06:47<39:45,  6.76s/it]
+
mmlu_it:  15%|█████████████████▋                                                                                                    | 62/414 [06:54<40:10,  6.85s/it]
+
mmlu_it:  15%|█████████████████▉                                                                                                    | 63/414 [07:00<39:39,  6.78s/it]
+
mmlu_it:  15%|██████████████████▏                                                                                                   | 64/414 [07:06<37:55,  6.50s/it]
+
mmlu_it:  16%|██████████████████▌                                                                                                   | 65/414 [07:13<38:56,  6.70s/it]
+
mmlu_it:  16%|██████████████████▊                                                                                                   | 66/414 [07:20<39:40,  6.84s/it]
+
mmlu_it:  16%|███████████████████                                                                                                   | 67/414 [07:27<39:48,  6.88s/it]
+
mmlu_it:  16%|███████████████████▍                                                                                                  | 68/414 [07:34<38:42,  6.71s/it]
+
mmlu_it:  17%|███████████████████▋                                                                                                  | 69/414 [07:41<39:47,  6.92s/it]
+
mmlu_it:  17%|███████████████████▉                                                                                                  | 70/414 [07:48<39:44,  6.93s/it]
+
mmlu_it:  17%|████████████████████▏                                                                                                 | 71/414 [07:55<39:07,  6.84s/it]
+
mmlu_it:  17%|████████████████████▌                                                                                                 | 72/414 [08:01<38:46,  6.80s/it]
+
mmlu_it:  18%|████████████████████▊                                                                                                 | 73/414 [08:08<37:53,  6.67s/it]
+
mmlu_it:  18%|█████████████████████                                                                                                 | 74/414 [08:15<37:56,  6.70s/it]
+
mmlu_it:  18%|█████████████████████▍                                                                                                | 75/414 [08:21<37:28,  6.63s/it]
+
mmlu_it:  18%|█████████████████████▋                                                                                                | 76/414 [08:27<36:16,  6.44s/it]
+
mmlu_it:  19%|█████████████████████▉                                                                                                | 77/414 [08:34<37:18,  6.64s/it]
+
mmlu_it:  19%|██████████████████████▏                                                                                               | 78/414 [08:41<37:36,  6.72s/it]
+
mmlu_it:  19%|██████████████████████▌                                                                                               | 79/414 [08:48<37:19,  6.69s/it]
+
mmlu_it:  19%|██████████████████████▊                                                                                               | 80/414 [08:54<37:03,  6.66s/it]
+
mmlu_it:  20%|███████████████████████                                                                                               | 81/414 [09:01<36:30,  6.58s/it]
+
mmlu_it:  20%|███████████████████████▎                                                                                              | 82/414 [09:07<36:41,  6.63s/it]
+
mmlu_it:  20%|███████████████████████▋                                                                                              | 83/414 [09:14<36:17,  6.58s/it]
+
mmlu_it:  20%|███████████████████████▉                                                                                              | 84/414 [09:20<35:44,  6.50s/it]
+
mmlu_it:  21%|████████████████████████▏                                                                                             | 85/414 [09:26<35:13,  6.42s/it]
+
mmlu_it:  21%|████████████████████████▌                                                                                             | 86/414 [09:33<36:12,  6.62s/it]
+
mmlu_it:  21%|████████████████████████▊                                                                                             | 87/414 [09:41<36:58,  6.79s/it]
+
mmlu_it:  21%|█████████████████████████                                                                                             | 88/414 [09:47<35:58,  6.62s/it]
+
mmlu_it:  21%|█████████████████████████▎                                                                                            | 89/414 [09:54<37:01,  6.84s/it]
+
mmlu_it:  22%|█████████████████████████▋                                                                                            | 90/414 [10:01<36:43,  6.80s/it]
+
mmlu_it:  22%|█████████████████████████▉                                                                                            | 91/414 [10:07<35:48,  6.65s/it]
+
mmlu_it:  22%|██████████████████████████▏                                                                                           | 92/414 [10:14<35:45,  6.66s/it]
+
mmlu_it:  22%|██████████████████████████▌                                                                                           | 93/414 [10:21<35:47,  6.69s/it]
+
mmlu_it:  23%|██████████████████████████▊                                                                                           | 94/414 [10:27<34:39,  6.50s/it]
+
mmlu_it:  23%|███████████████████████████                                                                                           | 95/414 [10:34<36:23,  6.84s/it]
+
mmlu_it:  23%|███████████████████████████▎                                                                                          | 96/414 [10:41<36:04,  6.81s/it]
+
mmlu_it:  23%|███████████████████████████▋                                                                                          | 97/414 [10:48<36:05,  6.83s/it]
+
mmlu_it:  24%|███████████████████████████▉                                                                                          | 98/414 [10:55<36:25,  6.91s/it]
+
mmlu_it:  24%|████████████████████████████▏                                                                                         | 99/414 [11:01<35:25,  6.75s/it]
+
mmlu_it:  24%|████████████████████████████▎                                                                                        | 100/414 [11:08<35:20,  6.75s/it]
+
mmlu_it:  24%|████████████████████████████▌                                                                                        | 101/414 [11:15<35:14,  6.75s/it]
+
mmlu_it:  25%|████████████████████████████▊                                                                                        | 102/414 [11:21<34:09,  6.57s/it]
+
mmlu_it:  25%|█████████████████████████████                                                                                        | 103/414 [11:28<35:00,  6.75s/it]
+
mmlu_it:  25%|█████████████████████████████▍                                                                                       | 104/414 [11:35<34:49,  6.74s/it]
+
mmlu_it:  25%|█████████████████████████████▋                                                                                       | 105/414 [11:42<34:43,  6.74s/it]
+
mmlu_it:  26%|█████████████████████████████▉                                                                                       | 106/414 [11:49<35:24,  6.90s/it]
+
mmlu_it:  26%|██████████████████████████████▏                                                                                      | 107/414 [11:56<35:08,  6.87s/it]
+
mmlu_it:  26%|██████████████████████████████▌                                                                                      | 108/414 [12:03<35:27,  6.95s/it]
+
mmlu_it:  26%|██████████████████████████████▊                                                                                      | 109/414 [12:09<34:35,  6.81s/it]
+
mmlu_it:  27%|███████████████████████████████                                                                                      | 110/414 [12:16<34:51,  6.88s/it]
+
mmlu_it:  27%|███████████████████████████████▎                                                                                     | 111/414 [12:25<36:51,  7.30s/it]
+
mmlu_it:  27%|███████████████████████████████▋                                                                                     | 112/414 [12:31<35:46,  7.11s/it]
+
mmlu_it:  27%|███████████████████████████████▉                                                                                     | 113/414 [12:38<34:32,  6.88s/it]
+
mmlu_it:  28%|████████████████████████████████▏                                                                                    | 114/414 [12:45<35:32,  7.11s/it]
+
mmlu_it:  28%|████████████████████████████████▌                                                                                    | 115/414 [12:52<35:19,  7.09s/it]
+
mmlu_it:  28%|████████████████████████████████▊                                                                                    | 116/414 [12:59<35:08,  7.07s/it]
+
mmlu_it:  28%|█████████████████████████████████                                                                                    | 117/414 [13:07<35:03,  7.08s/it]
+
mmlu_it:  29%|█████████████████████████████████▎                                                                                   | 118/414 [13:13<33:59,  6.89s/it]
+
mmlu_it:  29%|█████████████████████████████████▋                                                                                   | 119/414 [13:19<33:06,  6.73s/it]
+
mmlu_it:  29%|█████████████████████████████████▉                                                                                   | 120/414 [13:26<32:52,  6.71s/it]
+
mmlu_it:  29%|██████████████████████████████████▏                                                                                  | 121/414 [13:33<32:28,  6.65s/it]
+
mmlu_it:  29%|██████████████████████████████████▍                                                                                  | 122/414 [13:40<33:02,  6.79s/it]
+
mmlu_it:  30%|██████████████████████████████████▊                                                                                  | 123/414 [13:47<33:39,  6.94s/it]
+
mmlu_it:  30%|███████████████████████████████████                                                                                  | 124/414 [13:55<34:43,  7.18s/it]
+
mmlu_it:  30%|███████████████████████████████████▎                                                                                 | 125/414 [14:01<34:00,  7.06s/it]
+
mmlu_it:  30%|███████████████████████████████████▌                                                                                 | 126/414 [14:09<34:06,  7.11s/it]
+
mmlu_it:  31%|███████████████████████████████████▉                                                                                 | 127/414 [14:16<33:34,  7.02s/it]
+
mmlu_it:  31%|████████████████████████████████████▏                                                                                | 128/414 [14:23<33:29,  7.03s/it]
+
mmlu_it:  31%|████████████████████████████████████▍                                                                                | 129/414 [14:30<33:29,  7.05s/it]
+
mmlu_it:  31%|████████████████████████████████████▋                                                                                | 130/414 [14:36<32:28,  6.86s/it]
+
mmlu_it:  32%|█████████████████████████████████████                                                                                | 131/414 [14:42<31:17,  6.64s/it]
+
mmlu_it:  32%|█████████████████████████████████████▎                                                                               | 132/414 [14:49<31:37,  6.73s/it]
+
mmlu_it:  32%|█████████████████████████████████████▌                                                                               | 133/414 [14:56<31:05,  6.64s/it]
+
mmlu_it:  32%|█████████████████████████████████████▊                                                                               | 134/414 [15:04<33:08,  7.10s/it]
+
mmlu_it:  33%|██████████████████████████████████████▏                                                                              | 135/414 [15:10<31:50,  6.85s/it]
+
mmlu_it:  33%|██████████████████████████████████████▍                                                                              | 136/414 [15:17<32:25,  7.00s/it]
+
mmlu_it:  33%|██████████████████████████████████████▋                                                                              | 137/414 [15:24<31:36,  6.85s/it]
+
mmlu_it:  33%|███████████████████████████████████████                                                                              | 138/414 [15:31<31:54,  6.94s/it]
+
mmlu_it:  34%|███████████████████████████████████████▎                                                                             | 139/414 [15:38<31:23,  6.85s/it]
+
mmlu_it:  34%|███████████████████████████████████████▌                                                                             | 140/414 [15:45<31:26,  6.88s/it]
+
mmlu_it:  34%|███████████████████████████████████████▊                                                                             | 141/414 [15:51<30:05,  6.61s/it]
+
mmlu_it:  34%|████████████████████████████████████████▏                                                                            | 142/414 [15:58<30:36,  6.75s/it]
+
mmlu_it:  35%|████████████████████████████████████████▍                                                                            | 143/414 [16:04<30:09,  6.68s/it]
+
mmlu_it:  35%|████████████████████████████████████████▋                                                                            | 144/414 [16:11<30:03,  6.68s/it]
+
mmlu_it:  35%|████████████████████████████████████████▉                                                                            | 145/414 [16:17<28:52,  6.44s/it]
+
mmlu_it:  35%|█████████████████████████████████████████▎                                                                           | 146/414 [16:23<28:30,  6.38s/it]
+
mmlu_it:  36%|█████████████████████████████████████████▌                                                                           | 147/414 [16:29<28:00,  6.29s/it]
+
mmlu_it:  36%|█████████████████████████████████████████▊                                                                           | 148/414 [16:36<28:24,  6.41s/it]
+
mmlu_it:  36%|██████████████████████████████████████████                                                                           | 149/414 [16:43<28:54,  6.55s/it]
+
mmlu_it:  36%|██████████████████████████████████████████▍                                                                          | 150/414 [16:49<29:03,  6.60s/it]
+
mmlu_it:  36%|██████████████████████████████████████████▋                                                                          | 151/414 [16:56<28:32,  6.51s/it]
+
mmlu_it:  37%|██████████████████████████████████████████▉                                                                          | 152/414 [17:03<30:11,  6.91s/it]
+
mmlu_it:  37%|███████████████████████████████████████████▏                                                                         | 153/414 [17:10<29:46,  6.84s/it]
+
mmlu_it:  37%|███████████████████████████████████████████▌                                                                         | 154/414 [17:17<29:50,  6.89s/it]
+
mmlu_it:  37%|███████████████████████████████████████████▊                                                                         | 155/414 [17:24<29:31,  6.84s/it]
+
mmlu_it:  38%|████████████████████████████████████████████                                                                         | 156/414 [17:30<29:04,  6.76s/it]
+
mmlu_it:  38%|████████████████████████████████████████████▎                                                                        | 157/414 [17:37<28:31,  6.66s/it]
+
mmlu_it:  38%|████████████████████████████████████████████▋                                                                        | 158/414 [17:44<29:09,  6.83s/it]
+
mmlu_it:  38%|████████████████████████████████████████████▉                                                                        | 159/414 [17:51<29:03,  6.84s/it]
+
mmlu_it:  39%|█████████████████████████████████████████████▏                                                                       | 160/414 [17:57<28:06,  6.64s/it]
+
mmlu_it:  39%|█████████████████████████████████████████████▌                                                                       | 161/414 [18:04<27:39,  6.56s/it]
+
mmlu_it:  39%|█████████████████████████████████████████████▊                                                                       | 162/414 [18:10<27:40,  6.59s/it]
+
mmlu_it:  39%|██████████████████████████████████████████████                                                                       | 163/414 [18:17<28:17,  6.76s/it]
+
mmlu_it:  40%|██████████████████████████████████████████████▎                                                                      | 164/414 [18:24<28:07,  6.75s/it]
+
mmlu_it:  40%|██████████████████████████████████████████████▋                                                                      | 165/414 [18:31<28:40,  6.91s/it]
+
mmlu_it:  40%|██████████████████████████████████████████████▉                                                                      | 166/414 [18:38<28:17,  6.84s/it]
+
mmlu_it:  40%|███████████████████████████████████████████████▏                                                                     | 167/414 [18:45<27:41,  6.72s/it]
+
mmlu_it:  41%|███████████████████████████████████████████████▍                                                                     | 168/414 [18:52<29:05,  7.09s/it]
+
mmlu_it:  41%|███████████████████████████████████████████████▊                                                                     | 169/414 [18:59<27:58,  6.85s/it]
+
mmlu_it:  41%|████████████████████████████████████████████████                                                                     | 170/414 [19:06<28:02,  6.89s/it]
+
mmlu_it:  41%|████████████████████████████████████████████████▎                                                                    | 171/414 [19:14<29:43,  7.34s/it]
+
mmlu_it:  42%|████████████████████████████████████████████████▌                                                                    | 172/414 [19:21<28:54,  7.17s/it]
+
mmlu_it:  42%|████████████████████████████████████████████████▉                                                                    | 173/414 [19:28<28:21,  7.06s/it]
+
mmlu_it:  42%|█████████████████████████████████████████████████▏                                                                   | 174/414 [19:35<28:02,  7.01s/it]
+
mmlu_it:  42%|█████████████████████████████████████████████████▍                                                                   | 175/414 [19:42<27:53,  7.00s/it]
+
mmlu_it:  43%|█████████████████████████████████████████████████▋                                                                   | 176/414 [19:48<26:52,  6.77s/it]
+
mmlu_it:  43%|██████████████████████████████████████████████████                                                                   | 177/414 [19:55<26:59,  6.83s/it]
+
mmlu_it:  43%|██████████████████████████████████████████████████▎                                                                  | 178/414 [20:01<26:39,  6.78s/it]
+
mmlu_it:  43%|██████████████████████████████████████████████████▌                                                                  | 179/414 [20:08<25:43,  6.57s/it]
+
mmlu_it:  43%|██████████████████████████████████████████████████▊                                                                  | 180/414 [20:14<25:56,  6.65s/it]
+
mmlu_it:  44%|███████████████████████████████████████████████████▏                                                                 | 181/414 [20:21<25:52,  6.66s/it]
+
mmlu_it:  44%|███████████████████████████████████████████████████▍                                                                 | 182/414 [20:30<27:51,  7.21s/it]
+
mmlu_it:  44%|███████████████████████████████████████████████████▋                                                                 | 183/414 [20:36<27:01,  7.02s/it]
+
mmlu_it:  44%|████████████████████████████████████████████████████                                                                 | 184/414 [20:43<26:28,  6.91s/it]
+
mmlu_it:  45%|████████████████████████████████████████████████████▎                                                                | 185/414 [20:50<26:38,  6.98s/it]
+
mmlu_it:  45%|████████████████████████████████████████████████████▌                                                                | 186/414 [20:57<26:33,  6.99s/it]
+
mmlu_it:  45%|████████████████████████████████████████████████████▊                                                                | 187/414 [21:04<26:12,  6.93s/it]
+
mmlu_it:  45%|█████████████████████████████████████████████████████▏                                                               | 188/414 [21:11<26:09,  6.95s/it]
+
mmlu_it:  46%|█████████████████████████████████████████████████████▍                                                               | 189/414 [21:17<24:48,  6.61s/it]
+
mmlu_it:  46%|█████████████████████████████████████████████████████▋                                                               | 190/414 [21:23<24:34,  6.58s/it]
+
mmlu_it:  46%|█████████████████████████████████████████████████████▉                                                               | 191/414 [21:29<24:11,  6.51s/it]
+
mmlu_it:  46%|██████████████████████████████████████████████████████▎                                                              | 192/414 [21:36<24:21,  6.58s/it]
+
mmlu_it:  47%|██████████████████████████████████████████████████████▌                                                              | 193/414 [21:43<24:45,  6.72s/it]
+
mmlu_it:  47%|██████████████████████████████████████████████████████▊                                                              | 194/414 [21:50<24:15,  6.62s/it]
+
mmlu_it:  47%|███████████████████████████████████████████████████████                                                              | 195/414 [21:56<23:32,  6.45s/it]
+
mmlu_it:  47%|███████████████████████████████████████████████████████▍                                                             | 196/414 [22:03<24:01,  6.61s/it]
+
mmlu_it:  48%|███████████████████████████████████████████████████████▋                                                             | 197/414 [22:09<23:55,  6.61s/it]
+
mmlu_it:  48%|███████████████████████████████████████████████████████▉                                                             | 198/414 [22:16<23:50,  6.62s/it]
+
mmlu_it:  48%|████████████████████████████████████████████████████████▏                                                            | 199/414 [22:22<23:39,  6.60s/it]
+
mmlu_it:  48%|████████████████████████████████████████████████████████▌                                                            | 200/414 [22:28<22:52,  6.41s/it]
+
mmlu_it:  49%|████████████████████████████████████████████████████████▊                                                            | 201/414 [22:34<22:10,  6.25s/it]
+
mmlu_it:  49%|█████████████████████████████████████████████████████████                                                            | 202/414 [22:41<22:16,  6.30s/it]
+
mmlu_it:  49%|█████████████████████████████████████████████████████████▎                                                           | 203/414 [22:48<23:17,  6.62s/it]
+
mmlu_it:  49%|█████████████████████████████████████████████████████████▋                                                           | 204/414 [22:55<23:13,  6.63s/it]
+
mmlu_it:  50%|█████████████████████████████████████████████████████████▉                                                           | 205/414 [23:02<23:51,  6.85s/it]
+
mmlu_it:  50%|██████████████████████████████████████████████████████████▏                                                          | 206/414 [23:09<23:37,  6.81s/it]
+
mmlu_it:  50%|██████████████████████████████████████████████████████████▌                                                          | 207/414 [23:16<23:32,  6.83s/it]
+
mmlu_it:  50%|██████████████████████████████████████████████████████████▊                                                          | 208/414 [23:22<22:48,  6.64s/it]
+
mmlu_it:  50%|███████████████████████████████████████████████████████████                                                          | 209/414 [23:29<22:48,  6.67s/it]
+
mmlu_it:  51%|███████████████████████████████████████████████████████████▎                                                         | 210/414 [23:35<22:33,  6.64s/it]
+
mmlu_it:  51%|███████████████████████████████████████████████████████████▋                                                         | 211/414 [23:41<21:42,  6.42s/it]
+
mmlu_it:  51%|███████████████████████████████████████████████████████████▉                                                         | 212/414 [23:48<22:30,  6.69s/it]
+
mmlu_it:  51%|████████████████████████████████████████████████████████████▏                                                        | 213/414 [23:54<21:38,  6.46s/it]
+
mmlu_it:  52%|████████████████████████████████████████████████████████████▍                                                        | 214/414 [24:01<22:14,  6.67s/it]
+
mmlu_it:  52%|████████████████████████████████████████████████████████████▊                                                        | 215/414 [24:08<22:02,  6.65s/it]
+
mmlu_it:  52%|█████████████████████████████████████████████████████████████                                                        | 216/414 [24:14<21:15,  6.44s/it]
+
mmlu_it:  52%|█████████████████████████████████████████████████████████████▎                                                       | 217/414 [24:20<20:59,  6.40s/it]
+
mmlu_it:  53%|█████████████████████████████████████████████████████████████▌                                                       | 218/414 [24:27<21:15,  6.51s/it]
+
mmlu_it:  53%|█████████████████████████████████████████████████████████████▉                                                       | 219/414 [24:34<21:12,  6.52s/it]
+
mmlu_it:  53%|██████████████████████████████████████████████████████████████▏                                                      | 220/414 [24:40<21:16,  6.58s/it]
+
mmlu_it:  53%|██████████████████████████████████████████████████████████████▍                                                      | 221/414 [24:47<20:57,  6.52s/it]
+
mmlu_it:  54%|██████████████████████████████████████████████████████████████▋                                                      | 222/414 [24:53<20:49,  6.51s/it]
+
mmlu_it:  54%|███████████████████████████████████████████████████████████████                                                      | 223/414 [25:00<20:45,  6.52s/it]
+
mmlu_it:  54%|███████████████████████████████████████████████████████████████▎                                                     | 224/414 [25:06<20:34,  6.50s/it]
+
mmlu_it:  54%|███████████████████████████████████████████████████████████████▌                                                     | 225/414 [25:12<20:14,  6.43s/it]
+
mmlu_it:  55%|███████████████████████████████████████████████████████████████▊                                                     | 226/414 [25:19<20:28,  6.54s/it]
+
mmlu_it:  55%|████████████████████████████████████████████████████████████████▏                                                    | 227/414 [25:26<20:31,  6.59s/it]
+
mmlu_it:  55%|████████████████████████████████████████████████████████████████▍                                                    | 228/414 [25:32<20:20,  6.56s/it]
+
mmlu_it:  55%|████████████████████████████████████████████████████████████████▋                                                    | 229/414 [25:39<20:07,  6.52s/it]
+
mmlu_it:  56%|█████████████████████████████████████████████████████████████████                                                    | 230/414 [25:45<19:51,  6.47s/it]
+
mmlu_it:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 231/414 [25:52<19:46,  6.48s/it]
+
mmlu_it:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 232/414 [25:58<19:49,  6.54s/it]
+
mmlu_it:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 233/414 [26:05<20:08,  6.67s/it]
+
mmlu_it:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 234/414 [26:12<19:58,  6.66s/it]
+
mmlu_it:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 235/414 [26:19<19:45,  6.62s/it]
+
mmlu_it:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 236/414 [26:26<20:01,  6.75s/it]
+
mmlu_it:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 237/414 [26:32<19:53,  6.74s/it]
+
mmlu_it:  57%|███████████████████████████████████████████████████████████████████▎                                                 | 238/414 [26:39<19:34,  6.67s/it]
+
mmlu_it:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 239/414 [26:45<19:18,  6.62s/it]
+
mmlu_it:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 240/414 [26:52<19:36,  6.76s/it]
+
mmlu_it:  58%|████████████████████████████████████████████████████████████████████                                                 | 241/414 [26:59<19:00,  6.59s/it]
+
mmlu_it:  58%|████████████████████████████████████████████████████████████████████▍                                                | 242/414 [27:05<18:55,  6.60s/it]
+
mmlu_it:  59%|████████████████████████████████████████████████████████████████████▋                                                | 243/414 [27:12<18:58,  6.66s/it]
+
mmlu_it:  59%|████████████████████████████████████████████████████████████████████▉                                                | 244/414 [27:19<18:55,  6.68s/it]
+
mmlu_it:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 245/414 [27:25<18:40,  6.63s/it]
+
mmlu_it:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 246/414 [27:32<18:33,  6.63s/it]
+
mmlu_it:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 247/414 [27:38<18:15,  6.56s/it]
+
mmlu_it:  60%|██████████████████████████████████████████████████████████████████████                                               | 248/414 [27:46<18:58,  6.86s/it]
+
mmlu_it:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 249/414 [27:53<18:44,  6.82s/it]
+
mmlu_it:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 250/414 [27:59<18:39,  6.82s/it]
+
mmlu_it:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 251/414 [28:07<18:49,  6.93s/it]
+
mmlu_it:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 252/414 [28:13<18:09,  6.73s/it]
+
mmlu_it:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 253/414 [28:20<18:10,  6.77s/it]
+
mmlu_it:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 254/414 [28:27<18:31,  6.95s/it]
+
mmlu_it:  62%|████████████████████████████████████████████████████████████████████████                                             | 255/414 [28:34<18:18,  6.91s/it]
+
mmlu_it:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 256/414 [28:41<18:04,  6.86s/it]
+
mmlu_it:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 257/414 [28:47<17:23,  6.65s/it]
+
mmlu_it:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 258/414 [28:54<17:28,  6.72s/it]
+
mmlu_it:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 259/414 [29:00<17:08,  6.64s/it]
+
mmlu_it:  63%|█████████████████████████████████████████████████████████████████████████▍                                           | 260/414 [29:07<16:53,  6.58s/it]
+
mmlu_it:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 261/414 [29:13<16:26,  6.45s/it]
+
mmlu_it:  63%|██████████████████████████████████████████████████████████████████████████                                           | 262/414 [29:19<16:22,  6.46s/it]
+
mmlu_it:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 263/414 [29:26<16:28,  6.54s/it]
+
mmlu_it:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 264/414 [29:33<16:28,  6.59s/it]
+
mmlu_it:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 265/414 [29:40<16:43,  6.74s/it]
+
mmlu_it:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 266/414 [29:47<16:59,  6.89s/it]
+
mmlu_it:  64%|███████████████████████████████████████████████████████████████████████████▍                                         | 267/414 [29:54<17:17,  7.06s/it]
+
mmlu_it:  65%|███████████████████████████████████████████████████████████████████████████▋                                         | 268/414 [30:01<16:57,  6.97s/it]
+
mmlu_it:  65%|████████████████████████████████████████████████████████████████████████████                                         | 269/414 [30:08<16:45,  6.94s/it]
+
mmlu_it:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 270/414 [30:15<16:33,  6.90s/it]
+
mmlu_it:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 271/414 [30:23<17:39,  7.41s/it]
+
mmlu_it:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 272/414 [30:30<16:56,  7.16s/it]
+
mmlu_it:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 273/414 [30:36<15:42,  6.69s/it]
+
mmlu_it:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 274/414 [30:42<15:14,  6.53s/it]
+
mmlu_it:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 275/414 [30:48<14:51,  6.42s/it]
+
mmlu_it:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 276/414 [30:54<14:43,  6.40s/it]
+
mmlu_it:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 277/414 [31:01<14:30,  6.35s/it]
+
mmlu_it:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 278/414 [31:08<14:50,  6.55s/it]
+
mmlu_it:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 279/414 [31:14<14:45,  6.56s/it]
+
mmlu_it:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 280/414 [31:21<14:40,  6.57s/it]
+
mmlu_it:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 281/414 [31:28<14:57,  6.75s/it]
+
mmlu_it:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 282/414 [31:35<15:05,  6.86s/it]
+
mmlu_it:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 283/414 [31:41<14:35,  6.68s/it]
+
mmlu_it:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 284/414 [31:48<14:19,  6.61s/it]
+
mmlu_it:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 285/414 [31:53<13:35,  6.32s/it]
+
mmlu_it:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 286/414 [32:00<13:43,  6.43s/it]
+
mmlu_it:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 287/414 [32:06<13:32,  6.40s/it]
+
mmlu_it:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 288/414 [32:13<13:24,  6.38s/it]
+
mmlu_it:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 289/414 [32:20<13:55,  6.69s/it]
+
mmlu_it:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 290/414 [32:27<13:41,  6.62s/it]
+
mmlu_it:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 291/414 [32:33<13:25,  6.55s/it]
+
mmlu_it:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 292/414 [32:40<13:43,  6.75s/it]
+
mmlu_it:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 293/414 [32:47<13:56,  6.91s/it]
+
mmlu_it:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 294/414 [32:54<13:38,  6.82s/it]
+
mmlu_it:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 295/414 [33:01<13:32,  6.83s/it]
+
mmlu_it:  71%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 296/414 [33:07<13:00,  6.61s/it]
+
mmlu_it:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 297/414 [33:14<12:54,  6.62s/it]
+
mmlu_it:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 298/414 [33:21<12:56,  6.70s/it]
+
mmlu_it:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 299/414 [33:27<12:40,  6.61s/it]
+
mmlu_it:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 300/414 [33:33<12:25,  6.54s/it]
+
mmlu_it:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 301/414 [33:40<12:35,  6.69s/it]
+
mmlu_it:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 302/414 [33:47<12:24,  6.65s/it]
+
mmlu_it:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 303/414 [33:54<12:25,  6.71s/it]
+
mmlu_it:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 304/414 [34:00<12:04,  6.58s/it]
+
mmlu_it:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 305/414 [34:07<12:07,  6.68s/it]
+
mmlu_it:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 306/414 [34:14<12:20,  6.86s/it]
+
mmlu_it:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 307/414 [34:20<11:44,  6.58s/it]
+
mmlu_it:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 308/414 [34:27<11:40,  6.60s/it]
+
mmlu_it:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 309/414 [34:33<11:29,  6.57s/it]
+
mmlu_it:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 310/414 [34:40<11:29,  6.63s/it]
+
mmlu_it:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 311/414 [34:47<11:26,  6.67s/it]
+
mmlu_it:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 312/414 [34:54<11:21,  6.68s/it]
+
mmlu_it:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 313/414 [35:00<11:18,  6.72s/it]
+
mmlu_it:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 314/414 [35:07<10:58,  6.59s/it]
+
mmlu_it:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 315/414 [35:13<10:54,  6.61s/it]
+
mmlu_it:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 316/414 [35:20<10:58,  6.72s/it]
+
mmlu_it:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 317/414 [35:28<11:07,  6.88s/it]
+
mmlu_it:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 318/414 [35:35<11:02,  6.90s/it]
+
mmlu_it:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 319/414 [35:41<10:30,  6.64s/it]
+
mmlu_it:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 320/414 [35:46<10:03,  6.42s/it]
+
mmlu_it:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 321/414 [35:54<10:16,  6.63s/it]
+
mmlu_it:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 322/414 [36:00<09:57,  6.49s/it]
+
mmlu_it:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 323/414 [36:06<09:44,  6.42s/it]
+
mmlu_it:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 324/414 [36:12<09:33,  6.38s/it]
+
mmlu_it:  79%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 325/414 [36:18<09:19,  6.29s/it]
+
mmlu_it:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 326/414 [36:27<10:15,  7.00s/it]
+
mmlu_it:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 327/414 [36:34<10:18,  7.10s/it]
+
mmlu_it:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 328/414 [36:41<09:58,  6.96s/it]
+
mmlu_it:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 329/414 [36:48<09:53,  6.98s/it]
+
mmlu_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 330/414 [36:55<09:41,  6.92s/it]
+
mmlu_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 331/414 [37:01<09:22,  6.78s/it]
+
mmlu_it:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 332/414 [37:08<09:19,  6.83s/it]
+
mmlu_it:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 333/414 [37:15<09:07,  6.76s/it]
+
mmlu_it:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 334/414 [37:21<08:48,  6.61s/it]
+
mmlu_it:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 335/414 [37:28<08:40,  6.59s/it]
+
mmlu_it:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 336/414 [37:34<08:30,  6.55s/it]
+
mmlu_it:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 337/414 [37:41<08:24,  6.56s/it]
+
mmlu_it:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 338/414 [37:48<08:29,  6.71s/it]
+
mmlu_it:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 339/414 [37:54<08:17,  6.63s/it]
+
mmlu_it:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 340/414 [38:01<08:16,  6.71s/it]
+
mmlu_it:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 341/414 [38:08<08:20,  6.86s/it]
+
mmlu_it:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 342/414 [38:15<08:11,  6.83s/it]
+
mmlu_it:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 343/414 [38:21<07:57,  6.73s/it]
+
mmlu_it:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 344/414 [38:29<08:00,  6.86s/it]
+
mmlu_it:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 345/414 [38:35<07:51,  6.83s/it]
+
mmlu_it:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 346/414 [38:42<07:32,  6.66s/it]
+
mmlu_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 347/414 [38:48<07:18,  6.54s/it]
+
mmlu_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 348/414 [38:55<07:13,  6.57s/it]
+
mmlu_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 349/414 [39:01<07:11,  6.63s/it]
+
mmlu_it:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 350/414 [39:08<06:56,  6.50s/it]
+
mmlu_it:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 351/414 [39:15<07:01,  6.70s/it]
+
mmlu_it:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 352/414 [39:21<06:53,  6.67s/it]
+
mmlu_it:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 353/414 [39:29<07:07,  7.00s/it]
+
mmlu_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 354/414 [39:36<06:58,  6.98s/it]
+
mmlu_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 355/414 [39:43<06:46,  6.89s/it]
+
mmlu_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 356/414 [39:49<06:34,  6.80s/it]
+
mmlu_it:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 357/414 [39:56<06:22,  6.70s/it]
+
mmlu_it:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 358/414 [40:02<06:00,  6.43s/it]
+
mmlu_it:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 359/414 [40:08<06:01,  6.58s/it]
+
mmlu_it:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 360/414 [40:15<05:49,  6.46s/it]
+
mmlu_it:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 361/414 [40:22<05:49,  6.60s/it]
+
mmlu_it:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 362/414 [40:29<05:53,  6.79s/it]
+
mmlu_it:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 363/414 [40:36<05:46,  6.79s/it]
+
mmlu_it:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 364/414 [40:43<05:51,  7.03s/it]
+
mmlu_it:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 365/414 [40:50<05:43,  7.01s/it]
+
mmlu_it:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 366/414 [40:57<05:33,  6.94s/it]
+
mmlu_it:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 367/414 [41:03<05:17,  6.75s/it]
+
mmlu_it:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 368/414 [41:09<05:03,  6.59s/it]
+
mmlu_it:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 369/414 [41:15<04:47,  6.39s/it]
+
mmlu_it:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 370/414 [41:22<04:48,  6.55s/it]
+
mmlu_it:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 371/414 [41:29<04:37,  6.45s/it]
+
mmlu_it:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 372/414 [41:35<04:35,  6.56s/it]
+
mmlu_it:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 373/414 [41:42<04:30,  6.60s/it]
+
mmlu_it:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 374/414 [41:49<04:33,  6.84s/it]
+
mmlu_it:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 375/414 [41:56<04:22,  6.74s/it]
+
mmlu_it:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 376/414 [42:03<04:15,  6.73s/it]
+
mmlu_it:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 377/414 [42:09<04:04,  6.60s/it]
+
mmlu_it:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 378/414 [42:15<03:54,  6.52s/it]
+
mmlu_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 379/414 [42:22<03:49,  6.56s/it]
+
mmlu_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 380/414 [42:28<03:39,  6.47s/it]
+
mmlu_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 381/414 [42:35<03:35,  6.52s/it]
+
mmlu_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 382/414 [42:41<03:24,  6.39s/it]
+
mmlu_it:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 383/414 [42:48<03:20,  6.46s/it]
+
mmlu_it:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 384/414 [42:54<03:11,  6.39s/it]
+
mmlu_it:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 385/414 [43:01<03:10,  6.58s/it]
+
mmlu_it:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 386/414 [43:07<03:03,  6.54s/it]
+
mmlu_it:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 387/414 [43:13<02:50,  6.32s/it]
+
mmlu_it:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 388/414 [43:20<02:48,  6.47s/it]
+
mmlu_it:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 389/414 [43:27<02:43,  6.56s/it]
+
mmlu_it:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 390/414 [43:35<02:47,  6.97s/it]
+
mmlu_it:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 391/414 [43:41<02:36,  6.79s/it]
+
mmlu_it:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 392/414 [43:48<02:28,  6.73s/it]
+
mmlu_it:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 393/414 [43:54<02:22,  6.77s/it]
+
mmlu_it:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 394/414 [44:02<02:18,  6.92s/it]
+
mmlu_it:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 395/414 [44:08<02:09,  6.79s/it]
+
mmlu_it:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 396/414 [44:15<02:00,  6.71s/it]
+
mmlu_it:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 397/414 [44:21<01:54,  6.74s/it]
+
mmlu_it:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 398/414 [44:29<01:51,  6.94s/it]
+
mmlu_it:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 399/414 [44:35<01:40,  6.72s/it]
+
mmlu_it:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 400/414 [44:42<01:36,  6.91s/it]
+
mmlu_it:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 401/414 [44:49<01:28,  6.83s/it]
+
mmlu_it:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 402/414 [44:56<01:22,  6.85s/it]
+
mmlu_it:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 403/414 [45:03<01:15,  6.85s/it]
+
mmlu_it:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 404/414 [45:10<01:10,  7.02s/it]
+
mmlu_it:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 405/414 [45:17<01:01,  6.88s/it]
+
mmlu_it:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 406/414 [45:23<00:53,  6.74s/it]
+
mmlu_it:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 407/414 [45:30<00:46,  6.70s/it]
+
mmlu_it:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [45:37<00:40,  6.70s/it]
+
mmlu_it:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [45:42<00:32,  6.42s/it]
+
mmlu_it:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [45:49<00:26,  6.54s/it]
+
mmlu_it:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [45:56<00:19,  6.52s/it]
+
mmlu_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [46:03<00:13,  6.71s/it]
+
mmlu_it: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [46:09<00:06,  6.62s/it]
+
mmlu_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [46:16<00:00,  6.60s/it]
mmlu_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [46:16<00:00,  6.71s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_it_acc 0.3797688297952708
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_it_acc_norm 0.3376898088690791
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 08:27:42,407 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 08:27:42,407 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:42,529 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 08:27:42,529 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:42,651 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 08:27:42,651 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:42,773 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 08:27:42,774 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 08:27:42,774 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 08:27:42,897 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 08:27:42,897 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_it_acc'}
+2024-05-31 08:27:42,959 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 08:27:42,959 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1231, 'value': 0.3797688297952708}
+2024-05-31 08:27:43,021 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 08:27:43,651 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 08:27:43,651 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:43,775 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 08:27:43,775 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:43,899 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 08:27:43,899 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:44,023 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 08:27:44,024 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 08:27:44,024 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 08:27:44,149 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 08:27:44,149 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_it_acc_norm'}
+2024-05-31 08:27:44,212 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 08:27:44,212 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1232, 'value': 0.3376898088690791}
+2024-05-31 08:27:44,275 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  62%|███████████████████████████████████████████████████████████████████                                         | 77/124 [49:40:13<52:27:37, 4018.24s/it]['mmlu_kn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 08:27:44,927 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 08:27:44,927 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:45,057 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 08:27:45,057 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:45,186 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 08:27:45,186 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 08:27:45,315 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 08:27:45,316 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 08:27:45,316 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_kn'}
+2024-05-31 08:27:45,445 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_kn task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1686 examples [00:00, 11557.16 examples/s]
+
Generating test split: 5000 examples [00:00, 21779.64 examples/s]
+
Generating test split: 8324 examples [00:00, 26466.65 examples/s]
Generating test split: 11319 examples [00:00, 25098.44 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 261 examples [00:00, 25069.01 examples/s]
+Running loglikelihood requests
+
+
mmlu_kn:   0%|                                                                                                                               | 0/354 [00:00<?, ?it/s]
+
mmlu_kn:   0%|▎                                                                                                                    | 1/354 [00:23<2:18:27, 23.54s/it]
+
mmlu_kn:   1%|▋                                                                                                                    | 2/354 [00:43<2:04:42, 21.26s/it]
+
mmlu_kn:   1%|▉                                                                                                                    | 3/354 [01:07<2:11:54, 22.55s/it]
+
mmlu_kn:   1%|█▎                                                                                                                   | 4/354 [01:32<2:17:52, 23.63s/it]
+
mmlu_kn:   1%|█▋                                                                                                                   | 5/354 [01:55<2:16:15, 23.43s/it]
+
mmlu_kn:   2%|█▉                                                                                                                   | 6/354 [02:15<2:09:44, 22.37s/it]
+
mmlu_kn:   2%|██▎                                                                                                                  | 7/354 [02:39<2:11:58, 22.82s/it]
+
mmlu_kn:   2%|██▋                                                                                                                  | 8/354 [02:58<2:03:38, 21.44s/it]
+
mmlu_kn:   3%|██▉                                                                                                                  | 9/354 [03:21<2:06:43, 22.04s/it]
+
mmlu_kn:   3%|███▎                                                                                                                | 10/354 [03:42<2:04:54, 21.79s/it]
+
mmlu_kn:   3%|███▌                                                                                                                | 11/354 [04:05<2:05:23, 21.94s/it]
+
mmlu_kn:   3%|███▉                                                                                                                | 12/354 [04:29<2:10:09, 22.83s/it]
+
mmlu_kn:   4%|████▎                                                                                                               | 13/354 [04:49<2:04:57, 21.99s/it]
+
mmlu_kn:   4%|████▌                                                                                                               | 14/354 [05:12<2:04:44, 22.01s/it]
+
mmlu_kn:   4%|████▉                                                                                                               | 15/354 [05:28<1:55:34, 20.46s/it]
+
mmlu_kn:   5%|█████▏                                                                                                              | 16/354 [05:59<2:12:35, 23.54s/it]
+
mmlu_kn:   5%|█████▌                                                                                                              | 17/354 [06:26<2:18:29, 24.66s/it]
+
mmlu_kn:   5%|█████▉                                                                                                              | 18/354 [06:56<2:25:44, 26.02s/it]
+
mmlu_kn:   5%|██████▏                                                                                                             | 19/354 [07:15<2:14:46, 24.14s/it]
+
mmlu_kn:   6%|██████▌                                                                                                             | 20/354 [07:38<2:12:01, 23.72s/it]
+
mmlu_kn:   6%|██████▉                                                                                                             | 21/354 [08:06<2:19:19, 25.11s/it]
+
mmlu_kn:   6%|███████▏                                                                                                            | 22/354 [08:30<2:16:24, 24.65s/it]
+
mmlu_kn:   6%|███████▌                                                                                                            | 23/354 [08:59<2:23:28, 26.01s/it]
+
mmlu_kn:   7%|███████▊                                                                                                            | 24/354 [09:18<2:11:01, 23.82s/it]
+
mmlu_kn:   7%|████████▏                                                                                                           | 25/354 [09:38<2:04:58, 22.79s/it]
+
mmlu_kn:   7%|████████▌                                                                                                           | 26/354 [10:06<2:12:41, 24.27s/it]
+
mmlu_kn:   8%|████████▊                                                                                                           | 27/354 [10:33<2:16:25, 25.03s/it]
+
mmlu_kn:   8%|█████████▏                                                                                                          | 28/354 [10:55<2:10:40, 24.05s/it]
+
mmlu_kn:   8%|█████████▌                                                                                                          | 29/354 [11:14<2:02:53, 22.69s/it]
+
mmlu_kn:   8%|█████████▊                                                                                                          | 30/354 [11:37<2:02:15, 22.64s/it]
+
mmlu_kn:   9%|██████████▏                                                                                                         | 31/354 [12:00<2:03:34, 22.96s/it]
+
mmlu_kn:   9%|██████████▍                                                                                                         | 32/354 [12:23<2:02:14, 22.78s/it]
+
mmlu_kn:   9%|██████████▊                                                                                                         | 33/354 [12:50<2:09:39, 24.23s/it]
+
mmlu_kn:  10%|███████████▏                                                                                                        | 34/354 [13:11<2:04:14, 23.30s/it]
+
mmlu_kn:  10%|███████████▍                                                                                                        | 35/354 [13:33<2:01:58, 22.94s/it]
+
mmlu_kn:  10%|███████████▊                                                                                                        | 36/354 [13:56<2:00:57, 22.82s/it]
+
mmlu_kn:  10%|████████████                                                                                                        | 37/354 [14:17<1:58:13, 22.38s/it]
+
mmlu_kn:  11%|████████████▍                                                                                                       | 38/354 [14:37<1:52:48, 21.42s/it]
+
mmlu_kn:  11%|████████████▊                                                                                                       | 39/354 [14:58<1:52:47, 21.48s/it]
+
mmlu_kn:  11%|█████████████                                                                                                       | 40/354 [15:26<2:02:25, 23.39s/it]
+
mmlu_kn:  12%|█████████████▍                                                                                                      | 41/354 [15:46<1:57:07, 22.45s/it]
+
mmlu_kn:  12%|█████████████▊                                                                                                      | 42/354 [16:09<1:57:49, 22.66s/it]
+
mmlu_kn:  12%|██████████████                                                                                                      | 43/354 [16:39<2:07:30, 24.60s/it]
+
mmlu_kn:  12%|██████████████▍                                                                                                     | 44/354 [17:04<2:08:41, 24.91s/it]
+
mmlu_kn:  13%|██████████████▋                                                                                                     | 45/354 [17:27<2:04:31, 24.18s/it]
+
mmlu_kn:  13%|███████████████                                                                                                     | 46/354 [17:48<1:59:09, 23.21s/it]
+
mmlu_kn:  13%|███████████████▍                                                                                                    | 47/354 [18:13<2:01:49, 23.81s/it]
+
mmlu_kn:  14%|███████████████▋                                                                                                    | 48/354 [18:37<2:01:31, 23.83s/it]
+
mmlu_kn:  14%|████████████████                                                                                                    | 49/354 [19:01<2:01:11, 23.84s/it]
+
mmlu_kn:  14%|████████████████▍                                                                                                   | 50/354 [19:17<1:49:46, 21.67s/it]
+
mmlu_kn:  14%|████████████████▋                                                                                                   | 51/354 [19:37<1:46:47, 21.15s/it]
+
mmlu_kn:  15%|█████████████████                                                                                                   | 52/354 [19:56<1:42:30, 20.37s/it]
+
mmlu_kn:  15%|█████████████████▎                                                                                                  | 53/354 [20:19<1:46:16, 21.18s/it]
+
mmlu_kn:  15%|█████████████████▋                                                                                                  | 54/354 [20:37<1:41:06, 20.22s/it]
+
mmlu_kn:  16%|██████████████████                                                                                                  | 55/354 [21:04<1:50:53, 22.25s/it]
+
mmlu_kn:  16%|██████████████████▎                                                                                                 | 56/354 [21:27<1:52:18, 22.61s/it]
+
mmlu_kn:  16%|██████████████████▋                                                                                                 | 57/354 [21:48<1:50:02, 22.23s/it]
+
mmlu_kn:  16%|███████████████████                                                                                                 | 58/354 [22:07<1:44:35, 21.20s/it]
+
mmlu_kn:  17%|███████████████████▎                                                                                                | 59/354 [22:26<1:41:09, 20.57s/it]
+
mmlu_kn:  17%|███████████████████▋                                                                                                | 60/354 [22:53<1:49:38, 22.37s/it]
+
mmlu_kn:  17%|███████████████████▉                                                                                                | 61/354 [23:13<1:45:27, 21.60s/it]
+
mmlu_kn:  18%|████████████████████▎                                                                                               | 62/354 [23:44<1:58:55, 24.44s/it]
+
mmlu_kn:  18%|████████████████████▋                                                                                               | 63/354 [24:06<1:55:06, 23.73s/it]
+
mmlu_kn:  18%|████████████████████▉                                                                                               | 64/354 [24:28<1:51:53, 23.15s/it]
+
mmlu_kn:  18%|█████████████████████▎                                                                                              | 65/354 [24:48<1:48:05, 22.44s/it]
+
mmlu_kn:  19%|█████████████████████▋                                                                                              | 66/354 [25:11<1:47:33, 22.41s/it]
+
mmlu_kn:  19%|█████████████████████▉                                                                                              | 67/354 [25:28<1:39:23, 20.78s/it]
+
mmlu_kn:  19%|██████████████████████▎                                                                                             | 68/354 [25:55<1:48:15, 22.71s/it]
+
mmlu_kn:  19%|██████████████████████▌                                                                                             | 69/354 [26:21<1:52:44, 23.74s/it]
+
mmlu_kn:  20%|██████████████████████▉                                                                                             | 70/354 [26:39<1:44:19, 22.04s/it]
+
mmlu_kn:  20%|███████████████████████▎                                                                                            | 71/354 [26:57<1:37:49, 20.74s/it]
+
mmlu_kn:  20%|███████████████████████▌                                                                                            | 72/354 [27:18<1:38:04, 20.87s/it]
+
mmlu_kn:  21%|███████████████████████▉                                                                                            | 73/354 [27:38<1:35:59, 20.50s/it]
+
mmlu_kn:  21%|████████████████████████▏                                                                                           | 74/354 [28:05<1:44:26, 22.38s/it]
+
mmlu_kn:  21%|████████████████████████▌                                                                                           | 75/354 [28:26<1:43:13, 22.20s/it]
+
mmlu_kn:  21%|████████████████████████▉                                                                                           | 76/354 [28:49<1:44:13, 22.49s/it]
+
mmlu_kn:  22%|█████████████████████████▏                                                                                          | 77/354 [29:10<1:41:31, 21.99s/it]
+
mmlu_kn:  22%|█████████████████████████▌                                                                                          | 78/354 [29:31<1:39:05, 21.54s/it]
+
mmlu_kn:  22%|█████████████████████████▉                                                                                          | 79/354 [29:55<1:42:42, 22.41s/it]
+
mmlu_kn:  23%|██████████████████████████▏                                                                                         | 80/354 [30:18<1:43:01, 22.56s/it]
+
mmlu_kn:  23%|██████████████████████████▌                                                                                         | 81/354 [30:46<1:49:31, 24.07s/it]
+
mmlu_kn:  23%|██████████████████████████▊                                                                                         | 82/354 [31:09<1:48:34, 23.95s/it]
+
mmlu_kn:  23%|███████████████████████████▏                                                                                        | 83/354 [31:40<1:57:41, 26.06s/it]
+
mmlu_kn:  24%|███████████████████████████▌                                                                                        | 84/354 [32:06<1:57:09, 26.03s/it]
+
mmlu_kn:  24%|███████████████████████████▊                                                                                        | 85/354 [32:23<1:43:30, 23.09s/it]
+
mmlu_kn:  24%|████████████████████████████▏                                                                                       | 86/354 [32:52<1:51:07, 24.88s/it]
+
mmlu_kn:  25%|████████████████████████████▌                                                                                       | 87/354 [33:20<1:54:48, 25.80s/it]
+
mmlu_kn:  25%|████████████████████████████▊                                                                                       | 88/354 [33:44<1:52:03, 25.28s/it]
+
mmlu_kn:  25%|█████████████████████████████▏                                                                                      | 89/354 [34:04<1:45:36, 23.91s/it]
+
mmlu_kn:  25%|█████████████████████████████▍                                                                                      | 90/354 [34:23<1:38:22, 22.36s/it]
+
mmlu_kn:  26%|█████████████████████████████▊                                                                                      | 91/354 [34:46<1:38:37, 22.50s/it]
+
mmlu_kn:  26%|██████████████████████████████▏                                                                                     | 92/354 [35:08<1:37:21, 22.30s/it]
+
mmlu_kn:  26%|██████████████████████████████▍                                                                                     | 93/354 [35:35<1:43:05, 23.70s/it]
+
mmlu_kn:  27%|██████████████████████████████▊                                                                                     | 94/354 [35:59<1:43:14, 23.82s/it]
+
mmlu_kn:  27%|███████████████████████████████▏                                                                                    | 95/354 [36:24<1:45:03, 24.34s/it]
+
mmlu_kn:  27%|███████████████████████████████▍                                                                                    | 96/354 [36:45<1:39:18, 23.09s/it]
+
mmlu_kn:  27%|███████████████████████████████▊                                                                                    | 97/354 [37:07<1:37:52, 22.85s/it]
+
mmlu_kn:  28%|████████████████████████████████                                                                                    | 98/354 [37:32<1:40:25, 23.54s/it]
+
mmlu_kn:  28%|████████████████████████████████▍                                                                                   | 99/354 [38:00<1:45:54, 24.92s/it]
+
mmlu_kn:  28%|████████████████████████████████▍                                                                                  | 100/354 [38:28<1:48:56, 25.73s/it]
+
mmlu_kn:  29%|████████████████████████████████▊                                                                                  | 101/354 [38:54<1:49:43, 26.02s/it]
+
mmlu_kn:  29%|█████████████████████████████████▏                                                                                 | 102/354 [39:21<1:49:39, 26.11s/it]
+
mmlu_kn:  29%|█████████████████████████████████▍                                                                                 | 103/354 [39:44<1:45:01, 25.11s/it]
+
mmlu_kn:  29%|█████████████████████████████████▊                                                                                 | 104/354 [40:03<1:37:18, 23.36s/it]
+
mmlu_kn:  30%|██████████████████████████████████                                                                                 | 105/354 [40:21<1:29:56, 21.67s/it]
+
mmlu_kn:  30%|██████████████████████████████████▍                                                                                | 106/354 [40:43<1:30:09, 21.81s/it]
+
mmlu_kn:  30%|██████████████████████████████████▊                                                                                | 107/354 [41:03<1:28:03, 21.39s/it]
+
mmlu_kn:  31%|███████████████████████████████████                                                                                | 108/354 [41:25<1:28:41, 21.63s/it]
+
mmlu_kn:  31%|███████████████████████████████████▍                                                                               | 109/354 [41:55<1:37:44, 23.94s/it]
+
mmlu_kn:  31%|███████████████████████████████████▋                                                                               | 110/354 [42:25<1:45:47, 26.01s/it]
+
mmlu_kn:  31%|████████████████████████████████████                                                                               | 111/354 [42:46<1:38:43, 24.38s/it]
+
mmlu_kn:  32%|████████████████████████████████████▍                                                                              | 112/354 [43:09<1:37:00, 24.05s/it]
+
mmlu_kn:  32%|████████████████████████████████████▋                                                                              | 113/354 [43:33<1:36:36, 24.05s/it]
+
mmlu_kn:  32%|█████████████████████████████████████                                                                              | 114/354 [43:59<1:38:19, 24.58s/it]
+
mmlu_kn:  32%|█████████████████████████████████████▎                                                                             | 115/354 [44:26<1:40:12, 25.16s/it]
+
mmlu_kn:  33%|█████████████████████████████████████▋                                                                             | 116/354 [44:48<1:36:06, 24.23s/it]
+
mmlu_kn:  33%|██████████████████████████████████████                                                                             | 117/354 [45:12<1:35:44, 24.24s/it]
+
mmlu_kn:  33%|██████████████████████████████████████▎                                                                            | 118/354 [45:35<1:34:06, 23.93s/it]
+
mmlu_kn:  34%|██████████████████████████████████████▋                                                                            | 119/354 [45:58<1:32:50, 23.70s/it]
+
mmlu_kn:  34%|██████████████████████████████████████▉                                                                            | 120/354 [46:23<1:33:53, 24.08s/it]
+
mmlu_kn:  34%|███████████████████████████████████████▎                                                                           | 121/354 [46:44<1:29:42, 23.10s/it]
+
mmlu_kn:  34%|███████████████████████████████████████▋                                                                           | 122/354 [47:09<1:30:52, 23.50s/it]
+
mmlu_kn:  35%|███████████████████████████████████████▉                                                                           | 123/354 [47:36<1:35:25, 24.79s/it]
+
mmlu_kn:  35%|████████████████████████████████████████▎                                                                          | 124/354 [47:59<1:32:19, 24.09s/it]
+
mmlu_kn:  35%|████████████████████████████████████████▌                                                                          | 125/354 [48:25<1:34:36, 24.79s/it]
+
mmlu_kn:  36%|████████████████████████████████████████▉                                                                          | 126/354 [48:49<1:32:39, 24.38s/it]
+
mmlu_kn:  36%|█████████████████████████████████████████▎                                                                         | 127/354 [49:13<1:32:07, 24.35s/it]
+
mmlu_kn:  36%|█████████████████████████████████████████▌                                                                         | 128/354 [49:31<1:24:11, 22.35s/it]
+
mmlu_kn:  36%|█████████████████████████████████████████▉                                                                         | 129/354 [49:59<1:30:04, 24.02s/it]
+
mmlu_kn:  37%|██████████████████████████████████████████▏                                                                        | 130/354 [50:28<1:36:13, 25.77s/it]
+
mmlu_kn:  37%|██████████████████████████████████████████▌                                                                        | 131/354 [50:59<1:40:43, 27.10s/it]
+
mmlu_kn:  37%|██████████████████████████████████████████▉                                                                        | 132/354 [51:25<1:38:59, 26.75s/it]
+
mmlu_kn:  38%|███████████████████████████████████████████▏                                                                       | 133/354 [51:47<1:33:35, 25.41s/it]
+
mmlu_kn:  38%|███████████████████████████████████████████▌                                                                       | 134/354 [52:07<1:26:51, 23.69s/it]
+
mmlu_kn:  38%|███████████████████████████████████████████▊                                                                       | 135/354 [52:25<1:20:21, 22.02s/it]
+
mmlu_kn:  38%|████████████████████████████████████████████▏                                                                      | 136/354 [52:50<1:23:11, 22.90s/it]
+
mmlu_kn:  39%|████████████████████████████████████████████▌                                                                      | 137/354 [53:15<1:25:02, 23.51s/it]
+
mmlu_kn:  39%|████████████████████████████████████████████▊                                                                      | 138/354 [53:33<1:19:33, 22.10s/it]
+
mmlu_kn:  39%|█████████████████████████████████████████████▏                                                                     | 139/354 [53:57<1:20:21, 22.42s/it]
+
mmlu_kn:  40%|█████████████████████████████████████████████▍                                                                     | 140/354 [54:17<1:17:29, 21.72s/it]
+
mmlu_kn:  40%|█████████████████████████████████████████████▊                                                                     | 141/354 [54:37<1:15:20, 21.22s/it]
+
mmlu_kn:  40%|██████████████████████████████████████████████▏                                                                    | 142/354 [54:56<1:13:07, 20.69s/it]
+
mmlu_kn:  40%|██████████████████████████████████████████████▍                                                                    | 143/354 [55:22<1:17:57, 22.17s/it]
+
mmlu_kn:  41%|██████████████████████████████████████████████▊                                                                    | 144/354 [55:42<1:16:01, 21.72s/it]
+
mmlu_kn:  41%|███████████████████████████████████████████████                                                                    | 145/354 [56:09<1:20:55, 23.23s/it]
+
mmlu_kn:  41%|███████████████████████████████████████████████▍                                                                   | 146/354 [56:30<1:18:21, 22.60s/it]
+
mmlu_kn:  42%|███████████████████████████████████████████████▊                                                                   | 147/354 [56:56<1:20:48, 23.42s/it]
+
mmlu_kn:  42%|████████████████████████████████████████████████                                                                   | 148/354 [57:15<1:16:29, 22.28s/it]
+
mmlu_kn:  42%|████████████████████████████████████████████████▍                                                                  | 149/354 [57:40<1:18:17, 22.91s/it]
+
mmlu_kn:  42%|████████████████████████████████████████████████▋                                                                  | 150/354 [58:03<1:18:06, 22.97s/it]
+
mmlu_kn:  43%|█████████████████████████████████████████████████                                                                  | 151/354 [58:22<1:13:45, 21.80s/it]
+
mmlu_kn:  43%|█████████████████████████████████████████████████▍                                                                 | 152/354 [58:43<1:12:55, 21.66s/it]
+
mmlu_kn:  43%|█████████████████████████████████████████████████▋                                                                 | 153/354 [59:05<1:12:25, 21.62s/it]
+
mmlu_kn:  44%|██████████████████████████████████████████████████                                                                 | 154/354 [59:31<1:16:19, 22.90s/it]
+
mmlu_kn:  44%|██████████████████████████████████████████████████▎                                                                | 155/354 [59:54<1:16:32, 23.08s/it]
+
mmlu_kn:  44%|█████████████████████████████████████████████████▊                                                               | 156/354 [1:00:18<1:16:58, 23.32s/it]
+
mmlu_kn:  44%|██████████████████████████████████████████████████                                                               | 157/354 [1:00:41<1:16:34, 23.32s/it]
+
mmlu_kn:  45%|██████████████████████████████████████████████████▍                                                              | 158/354 [1:01:10<1:21:50, 25.05s/it]
+
mmlu_kn:  45%|██████████████████████████████████████████████████▊                                                              | 159/354 [1:01:31<1:17:21, 23.80s/it]
+
mmlu_kn:  45%|███████████████████████████████████████████████████                                                              | 160/354 [1:01:53<1:14:46, 23.13s/it]
+
mmlu_kn:  45%|███████████████████████████████████████████████████▍                                                             | 161/354 [1:02:18<1:16:34, 23.81s/it]
+
mmlu_kn:  46%|███████████████████████████████████████████████████▋                                                             | 162/354 [1:02:41<1:14:55, 23.41s/it]
+
mmlu_kn:  46%|████████████████████████████████████████████████████                                                             | 163/354 [1:03:04<1:14:39, 23.45s/it]
+
mmlu_kn:  46%|████████████████████████████████████████████████████▎                                                            | 164/354 [1:03:23<1:10:15, 22.19s/it]
+
mmlu_kn:  47%|████████████████████████████████████████████████████▋                                                            | 165/354 [1:03:45<1:09:34, 22.09s/it]
+
mmlu_kn:  47%|████████████████████████████████████████████████████▉                                                            | 166/354 [1:04:03<1:05:17, 20.84s/it]
+
mmlu_kn:  47%|█████████████████████████████████████████████████████▎                                                           | 167/354 [1:04:35<1:14:59, 24.06s/it]
+
mmlu_kn:  47%|█████████████████████████████████████████████████████▋                                                           | 168/354 [1:04:52<1:08:32, 22.11s/it]
+
mmlu_kn:  48%|█████████████████████████████████████████████████████▉                                                           | 169/354 [1:05:10<1:03:57, 20.74s/it]
+
mmlu_kn:  48%|██████████████████████████████████████████████████████▎                                                          | 170/354 [1:05:34<1:06:38, 21.73s/it]
+
mmlu_kn:  48%|██████████████████████████████████████████████████████▌                                                          | 171/354 [1:06:04<1:13:32, 24.11s/it]
+
mmlu_kn:  49%|██████████████████████████████████████████████████████▉                                                          | 172/354 [1:06:24<1:09:32, 22.93s/it]
+
mmlu_kn:  49%|███████████████████████████████████████████████████████▏                                                         | 173/354 [1:06:52<1:13:43, 24.44s/it]
+
mmlu_kn:  49%|███████████████████████████████████████████████████████▌                                                         | 174/354 [1:07:12<1:09:42, 23.24s/it]
+
mmlu_kn:  49%|███████████████████████████████████████████████████████▊                                                         | 175/354 [1:07:37<1:11:01, 23.81s/it]
+
mmlu_kn:  50%|████████████████████████████████████████████████████████▏                                                        | 176/354 [1:08:04<1:12:51, 24.56s/it]
+
mmlu_kn:  50%|████████████████████████████████████████████████████████▌                                                        | 177/354 [1:08:24<1:09:04, 23.41s/it]
+
mmlu_kn:  50%|████████████████████████████████████████████████████████▊                                                        | 178/354 [1:08:54<1:14:05, 25.26s/it]
+
mmlu_kn:  51%|█████████████████████████████████████████████████████████▏                                                       | 179/354 [1:09:13<1:08:03, 23.33s/it]
+
mmlu_kn:  51%|█████████████████████████████████████████████████████████▍                                                       | 180/354 [1:09:38<1:08:52, 23.75s/it]
+
mmlu_kn:  51%|█████████████████████████████████████████████████████████▊                                                       | 181/354 [1:09:56<1:04:03, 22.22s/it]
+
mmlu_kn:  51%|██████████████████████████████████████████████████████████                                                       | 182/354 [1:10:25<1:09:21, 24.20s/it]
+
mmlu_kn:  52%|██████████████████████████████████████████████████████████▍                                                      | 183/354 [1:10:50<1:09:35, 24.42s/it]
+
mmlu_kn:  52%|██████████████████████████████████████████████████████████▋                                                      | 184/354 [1:11:20<1:14:25, 26.27s/it]
+
mmlu_kn:  52%|███████████████████████████████████████████████████████████                                                      | 185/354 [1:11:44<1:11:22, 25.34s/it]
+
mmlu_kn:  53%|███████████████████████████████████████████████████████████▎                                                     | 186/354 [1:12:03<1:06:13, 23.65s/it]
+
mmlu_kn:  53%|███████████████████████████████████████████████████████████▋                                                     | 187/354 [1:12:25<1:03:45, 22.91s/it]
+
mmlu_kn:  53%|████████████████████████████████████████████████████████████                                                     | 188/354 [1:12:49<1:04:27, 23.30s/it]
+
mmlu_kn:  53%|████████████████████████████████████████████████████████████▎                                                    | 189/354 [1:13:13<1:04:38, 23.51s/it]
+
mmlu_kn:  54%|████████████████████████████████████████████████████████████▋                                                    | 190/354 [1:13:33<1:01:17, 22.43s/it]
+
mmlu_kn:  54%|████████████████████████████████████████████████████████████▉                                                    | 191/354 [1:14:01<1:06:09, 24.35s/it]
+
mmlu_kn:  54%|█████████████████████████████████████████████████████████████▎                                                   | 192/354 [1:14:22<1:02:41, 23.22s/it]
+
mmlu_kn:  55%|█████████████████████████████████████████████████████████████▌                                                   | 193/354 [1:14:49<1:05:09, 24.28s/it]
+
mmlu_kn:  55%|█████████████████████████████████████████████████████████████▉                                                   | 194/354 [1:15:18<1:08:35, 25.72s/it]
+
mmlu_kn:  55%|██████████████████████████████████████████████████████████████▏                                                  | 195/354 [1:15:43<1:07:19, 25.41s/it]
+
mmlu_kn:  55%|██████████████████████████████████████████████████████████████▌                                                  | 196/354 [1:16:09<1:07:57, 25.81s/it]
+
mmlu_kn:  56%|██████████████████████████████████████████████████████████████▉                                                  | 197/354 [1:16:39<1:10:42, 27.02s/it]
+
mmlu_kn:  56%|███████████████████████████████████████████████████████████████▏                                                 | 198/354 [1:17:01<1:06:13, 25.47s/it]
+
mmlu_kn:  56%|███████████████████████████████████████████████████████████████▌                                                 | 199/354 [1:17:24<1:03:54, 24.74s/it]
+
mmlu_kn:  56%|███████████████████████████████████████████████████████████████▊                                                 | 200/354 [1:17:47<1:01:49, 24.09s/it]
+
mmlu_kn:  57%|████████████████████████████████████████████████████████████████▏                                                | 201/354 [1:18:12<1:02:31, 24.52s/it]
+
mmlu_kn:  57%|████████████████████████████████████████████████████████████████▍                                                | 202/354 [1:18:37<1:02:02, 24.49s/it]
+
mmlu_kn:  57%|█████████████████████████████████████████████████████████████████▉                                                 | 203/354 [1:18:58<59:19, 23.57s/it]
+
mmlu_kn:  58%|█████████████████████████████████████████████████████████████████                                                | 204/354 [1:19:25<1:01:31, 24.61s/it]
+
mmlu_kn:  58%|██████████████████████████████████████████████████████████████████▌                                                | 205/354 [1:19:44<57:09, 23.01s/it]
+
mmlu_kn:  58%|██████████████████████████████████████████████████████████████████▉                                                | 206/354 [1:20:06<55:45, 22.61s/it]
+
mmlu_kn:  58%|███████████████████████████████████████████████████████████████████▏                                               | 207/354 [1:20:27<54:13, 22.14s/it]
+
mmlu_kn:  59%|███████████████████████████████████████████████████████████████████▌                                               | 208/354 [1:20:48<53:02, 21.80s/it]
+
mmlu_kn:  59%|███████████████████████████████████████████████████████████████████▉                                               | 209/354 [1:21:10<52:49, 21.86s/it]
+
mmlu_kn:  59%|████████████████████████████████████████████████████████████████████▏                                              | 210/354 [1:21:34<53:54, 22.46s/it]
+
mmlu_kn:  60%|████████████████████████████████████████████████████████████████████▌                                              | 211/354 [1:22:01<56:45, 23.82s/it]
+
mmlu_kn:  60%|████████████████████████████████████████████████████████████████████▊                                              | 212/354 [1:22:21<53:52, 22.77s/it]
+
mmlu_kn:  60%|█████████████████████████████████████████████████████████████████████▏                                             | 213/354 [1:22:39<49:57, 21.26s/it]
+
mmlu_kn:  60%|█████████████████████████████████████████████████████████████████████▌                                             | 214/354 [1:22:59<48:54, 20.96s/it]
+
mmlu_kn:  61%|█████████████████████████████████████████████████████████████████████▊                                             | 215/354 [1:23:29<54:23, 23.48s/it]
+
mmlu_kn:  61%|██████████████████████████████████████████████████████████████████████▏                                            | 216/354 [1:23:56<56:29, 24.56s/it]
+
mmlu_kn:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 217/354 [1:24:18<54:50, 24.01s/it]
+
mmlu_kn:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 218/354 [1:24:40<53:03, 23.41s/it]
+
mmlu_kn:  62%|███████████████████████████████████████████████████████████████████████▏                                           | 219/354 [1:25:04<52:46, 23.45s/it]
+
mmlu_kn:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 220/354 [1:25:28<52:50, 23.66s/it]
+
mmlu_kn:  62%|███████████████████████████████████████████████████████████████████████▊                                           | 221/354 [1:25:51<52:15, 23.57s/it]
+
mmlu_kn:  63%|████████████████████████████████████████████████████████████████████████                                           | 222/354 [1:26:13<50:44, 23.07s/it]
+
mmlu_kn:  63%|████████████████████████████████████████████████████████████████████████▍                                          | 223/354 [1:26:31<46:34, 21.33s/it]
+
mmlu_kn:  63%|████████████████████████████████████████████████████████████████████████▊                                          | 224/354 [1:26:54<47:34, 21.96s/it]
+
mmlu_kn:  64%|█████████████████████████████████████████████████████████████████████████                                          | 225/354 [1:27:21<50:31, 23.50s/it]
+
mmlu_kn:  64%|█████████████████████████████████████████████████████████████████████████▍                                         | 226/354 [1:27:53<55:30, 26.02s/it]
+
mmlu_kn:  64%|█████████████████████████████████████████████████████████████████████████▋                                         | 227/354 [1:28:17<54:03, 25.54s/it]
+
mmlu_kn:  64%|██████████████████████████████████████████████████████████████████████████                                         | 228/354 [1:28:45<54:45, 26.07s/it]
+
mmlu_kn:  65%|██████████████████████████████████████████████████████████████████████████▍                                        | 229/354 [1:29:16<57:34, 27.64s/it]
+
mmlu_kn:  65%|██████████████████████████████████████████████████████████████████████████▋                                        | 230/354 [1:29:37<52:44, 25.52s/it]
+
mmlu_kn:  65%|███████████████████████████████████████████████████████████████████████████                                        | 231/354 [1:30:03<52:33, 25.64s/it]
+
mmlu_kn:  66%|███████████████████████████████████████████████████████████████████████████▎                                       | 232/354 [1:30:27<51:26, 25.30s/it]
+
mmlu_kn:  66%|███████████████████████████████████████████████████████████████████████████▋                                       | 233/354 [1:30:49<49:09, 24.38s/it]
+
mmlu_kn:  66%|████████████████████████████████████████████████████████████████████████████                                       | 234/354 [1:31:09<46:13, 23.11s/it]
+
mmlu_kn:  66%|████████████████████████████████████████████████████████████████████████████▎                                      | 235/354 [1:31:32<45:44, 23.06s/it]
+
mmlu_kn:  67%|████████████████████████████████████████████████████████████████████████████▋                                      | 236/354 [1:31:54<44:38, 22.70s/it]
+
mmlu_kn:  67%|████████████████████████████████████████████████████████████████████████████▉                                      | 237/354 [1:32:17<44:00, 22.57s/it]
+
mmlu_kn:  67%|█████████████████████████████████████████████████████████████████████████████▎                                     | 238/354 [1:32:36<41:43, 21.58s/it]
+
mmlu_kn:  68%|█████████████████████████████████████████████████████████████████████████████▋                                     | 239/354 [1:32:59<42:07, 21.98s/it]
+
mmlu_kn:  68%|█████████████████████████████████████████████████████████████████████████████▉                                     | 240/354 [1:33:17<39:54, 21.00s/it]
+
mmlu_kn:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 241/354 [1:33:37<38:46, 20.59s/it]
+
mmlu_kn:  68%|██████████████████████████████████████████████████████████████████████████████▌                                    | 242/354 [1:34:01<40:35, 21.74s/it]
+
mmlu_kn:  69%|██████████████████████████████████████████████████████████████████████████████▉                                    | 243/354 [1:34:26<41:30, 22.43s/it]
+
mmlu_kn:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 244/354 [1:34:52<43:05, 23.51s/it]
+
mmlu_kn:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 245/354 [1:35:18<44:31, 24.51s/it]
+
mmlu_kn:  69%|███████████████████████████████████████████████████████████████████████████████▉                                   | 246/354 [1:35:40<42:17, 23.50s/it]
+
mmlu_kn:  70%|████████████████████████████████████████████████████████████████████████████████▏                                  | 247/354 [1:36:03<42:01, 23.57s/it]
+
mmlu_kn:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 248/354 [1:36:36<46:28, 26.31s/it]
+
mmlu_kn:  70%|████████████████████████████████████████████████████████████████████████████████▉                                  | 249/354 [1:36:57<43:12, 24.69s/it]
+
mmlu_kn:  71%|█████████████████████████████████████████████████████████████████████████████████▏                                 | 250/354 [1:37:22<43:04, 24.85s/it]
+
mmlu_kn:  71%|█████████████████████████████████████████████████████████████████████████████████▌                                 | 251/354 [1:37:47<42:33, 24.79s/it]
+
mmlu_kn:  71%|█████████████████████████████████████████████████████████████████████████████████▊                                 | 252/354 [1:38:10<41:14, 24.26s/it]
+
mmlu_kn:  71%|██████████████████████████████████████████████████████████████████████████████████▏                                | 253/354 [1:38:33<40:14, 23.91s/it]
+
mmlu_kn:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 254/354 [1:39:03<42:44, 25.64s/it]
+
mmlu_kn:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 255/354 [1:39:25<40:42, 24.68s/it]
+
mmlu_kn:  72%|███████████████████████████████████████████████████████████████████████████████████▏                               | 256/354 [1:39:45<37:51, 23.18s/it]
+
mmlu_kn:  73%|███████████████████████████████████████████████████████████████████████████████████▍                               | 257/354 [1:40:11<39:03, 24.16s/it]
+
mmlu_kn:  73%|███████████████████████████████████████████████████████████████████████████████████▊                               | 258/354 [1:40:34<37:52, 23.68s/it]
+
mmlu_kn:  73%|████████████████████████████████████████████████████████████████████████████████████▏                              | 259/354 [1:41:02<39:42, 25.08s/it]
+
mmlu_kn:  73%|████████████████████████████████████████████████████████████████████████████████████▍                              | 260/354 [1:41:24<37:52, 24.17s/it]
+
mmlu_kn:  74%|████████████████████████████████████████████████████████████████████████████████████▊                              | 261/354 [1:41:45<36:00, 23.23s/it]
+
mmlu_kn:  74%|█████████████████████████████████████████████████████████████████████████████████████                              | 262/354 [1:42:09<36:02, 23.51s/it]
+
mmlu_kn:  74%|█████████████████████████████████████████████████████████████████████████████████████▍                             | 263/354 [1:42:36<37:09, 24.50s/it]
+
mmlu_kn:  75%|█████████████████████████████████████████████████████████████████████████████████████▊                             | 264/354 [1:43:06<39:01, 26.02s/it]
+
mmlu_kn:  75%|██████████████████████████████████████████████████████████████████████████████████████                             | 265/354 [1:43:26<35:56, 24.23s/it]
+
mmlu_kn:  75%|██████████████████████████████████████████████████████████████████████████████████████▍                            | 266/354 [1:43:51<36:11, 24.67s/it]
+
mmlu_kn:  75%|██████████████████████████████████████████████████████████████████████████████████████▋                            | 267/354 [1:44:18<36:31, 25.18s/it]
+
mmlu_kn:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 268/354 [1:44:43<36:01, 25.14s/it]
+
mmlu_kn:  76%|███████████████████████████████████████████████████████████████████████████████████████▍                           | 269/354 [1:45:05<34:09, 24.11s/it]
+
mmlu_kn:  76%|███████████████████████████████████████████████████████████████████████████████████████▋                           | 270/354 [1:45:25<32:13, 23.02s/it]
+
mmlu_kn:  77%|████████████████████████████████████████████████████████████████████████████████████████                           | 271/354 [1:45:43<29:49, 21.56s/it]
+
mmlu_kn:  77%|████████████████████████████████████████████████████████████████████████████████████████▎                          | 272/354 [1:46:06<29:54, 21.89s/it]
+
mmlu_kn:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 273/354 [1:46:28<29:44, 22.03s/it]
+
mmlu_kn:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 274/354 [1:46:56<31:38, 23.74s/it]
+
mmlu_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 275/354 [1:47:19<31:08, 23.65s/it]
+
mmlu_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 276/354 [1:47:41<30:04, 23.14s/it]
+
mmlu_kn:  78%|█████████████████████████████████████████████████████████████████████████████████████████▉                         | 277/354 [1:48:00<28:00, 21.82s/it]
+
mmlu_kn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▎                        | 278/354 [1:48:19<26:43, 21.10s/it]
+
mmlu_kn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 279/354 [1:48:41<26:38, 21.31s/it]
+
mmlu_kn:  79%|██████████████████████████████████████████████████████████████████████████████████████████▉                        | 280/354 [1:49:01<25:36, 20.77s/it]
+
mmlu_kn:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 281/354 [1:49:27<27:05, 22.27s/it]
+
mmlu_kn:  80%|███████████████████████████████████████████████████████████████████████████████████████████▌                       | 282/354 [1:49:46<25:36, 21.34s/it]
+
mmlu_kn:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 283/354 [1:50:12<26:59, 22.81s/it]
+
mmlu_kn:  80%|████████████████████████████████████████████████████████████████████████████████████████████▎                      | 284/354 [1:50:31<25:09, 21.57s/it]
+
mmlu_kn:  81%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 285/354 [1:50:55<25:38, 22.29s/it]
+
mmlu_kn:  81%|████████████████████████████████████████████████████████████████████████████████████████████▉                      | 286/354 [1:51:22<27:06, 23.92s/it]
+
mmlu_kn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▏                     | 287/354 [1:51:41<25:07, 22.50s/it]
+
mmlu_kn:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▌                     | 288/354 [1:51:58<22:53, 20.81s/it]
+
mmlu_kn:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▉                     | 289/354 [1:52:20<22:46, 21.02s/it]
+
mmlu_kn:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▏                    | 290/354 [1:52:43<23:06, 21.66s/it]
+
mmlu_kn:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▌                    | 291/354 [1:53:07<23:30, 22.38s/it]
+
mmlu_kn:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▊                    | 292/354 [1:53:29<23:07, 22.38s/it]
+
mmlu_kn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▏                   | 293/354 [1:53:53<23:11, 22.80s/it]
+
mmlu_kn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▌                   | 294/354 [1:54:12<21:39, 21.66s/it]
+
mmlu_kn:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 295/354 [1:54:30<20:05, 20.44s/it]
+
mmlu_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 296/354 [1:54:50<19:49, 20.50s/it]
+
mmlu_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 297/354 [1:55:11<19:36, 20.63s/it]
+
mmlu_kn:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 298/354 [1:55:38<20:57, 22.46s/it]
+
mmlu_kn:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 299/354 [1:55:54<18:40, 20.37s/it]
+
mmlu_kn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 300/354 [1:56:20<19:51, 22.06s/it]
+
mmlu_kn:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 301/354 [1:56:39<18:50, 21.34s/it]
+
mmlu_kn:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████                 | 302/354 [1:57:00<18:15, 21.07s/it]
+
mmlu_kn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 303/354 [1:57:21<17:52, 21.04s/it]
+
mmlu_kn:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 304/354 [1:57:47<18:53, 22.67s/it]
+
mmlu_kn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 305/354 [1:58:09<18:17, 22.39s/it]
+
mmlu_kn:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 306/354 [1:58:33<18:19, 22.90s/it]
+
mmlu_kn:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 307/354 [1:59:05<20:02, 25.58s/it]
+
mmlu_kn:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████               | 308/354 [1:59:29<19:16, 25.14s/it]
+
mmlu_kn:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 309/354 [1:59:53<18:34, 24.77s/it]
+
mmlu_kn:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 310/354 [2:00:17<18:04, 24.65s/it]
+
mmlu_kn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 311/354 [2:00:43<17:58, 25.09s/it]
+
mmlu_kn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 312/354 [2:01:05<16:50, 24.06s/it]
+
mmlu_kn:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 313/354 [2:01:29<16:29, 24.13s/it]
+
mmlu_kn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 314/354 [2:01:50<15:18, 22.96s/it]
+
mmlu_kn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 315/354 [2:02:13<14:59, 23.07s/it]
+
mmlu_kn:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 316/354 [2:02:36<14:35, 23.04s/it]
+
mmlu_kn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 317/354 [2:02:58<14:04, 22.82s/it]
+
mmlu_kn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 318/354 [2:03:30<15:21, 25.61s/it]
+
mmlu_kn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 319/354 [2:03:53<14:24, 24.69s/it]
+
mmlu_kn:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 320/354 [2:04:18<14:08, 24.95s/it]
+
mmlu_kn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 321/354 [2:04:39<13:04, 23.77s/it]
+
mmlu_kn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 322/354 [2:04:58<11:49, 22.18s/it]
+
mmlu_kn:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 323/354 [2:05:22<11:42, 22.66s/it]
+
mmlu_kn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 324/354 [2:05:44<11:15, 22.51s/it]
+
mmlu_kn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 325/354 [2:06:02<10:13, 21.15s/it]
+
mmlu_kn:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 326/354 [2:06:27<10:25, 22.33s/it]
+
mmlu_kn:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 327/354 [2:06:54<10:45, 23.89s/it]
+
mmlu_kn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 328/354 [2:07:20<10:34, 24.42s/it]
+
mmlu_kn:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 329/354 [2:07:40<09:36, 23.07s/it]
+
mmlu_kn:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 330/354 [2:08:05<09:26, 23.60s/it]
+
mmlu_kn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 331/354 [2:08:32<09:27, 24.69s/it]
+
mmlu_kn:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 332/354 [2:08:57<09:07, 24.88s/it]
+
mmlu_kn:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 333/354 [2:09:23<08:44, 25.00s/it]
+
mmlu_kn:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 334/354 [2:09:49<08:26, 25.31s/it]
+
mmlu_kn:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 335/354 [2:10:07<07:18, 23.08s/it]
+
mmlu_kn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 336/354 [2:10:28<06:44, 22.48s/it]
+
mmlu_kn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 337/354 [2:10:49<06:15, 22.09s/it]
+
mmlu_kn:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 338/354 [2:11:10<05:49, 21.86s/it]
+
mmlu_kn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 339/354 [2:11:29<05:16, 21.07s/it]
+
mmlu_kn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 340/354 [2:11:56<05:18, 22.74s/it]
+
mmlu_kn:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 341/354 [2:12:14<04:37, 21.31s/it]
+
mmlu_kn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 342/354 [2:12:35<04:15, 21.27s/it]
+
mmlu_kn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 343/354 [2:13:05<04:21, 23.74s/it]
+
mmlu_kn:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 344/354 [2:13:28<03:54, 23.48s/it]
+
mmlu_kn:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 345/354 [2:13:52<03:34, 23.84s/it]
+
mmlu_kn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 346/354 [2:14:22<03:24, 25.61s/it]
+
mmlu_kn:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 347/354 [2:14:49<03:01, 25.91s/it]
+
mmlu_kn:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 348/354 [2:15:13<02:33, 25.57s/it]
+
mmlu_kn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 349/354 [2:15:38<02:05, 25.20s/it]
+
mmlu_kn:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 350/354 [2:16:08<01:46, 26.60s/it]
+
mmlu_kn:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 351/354 [2:16:32<01:18, 26.01s/it]
+
mmlu_kn:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 352/354 [2:16:54<00:49, 24.71s/it]
+
mmlu_kn: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 353/354 [2:17:13<00:23, 23.06s/it]
+
mmlu_kn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 354/354 [2:17:25<00:00, 19.86s/it]
mmlu_kn: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 354/354 [2:17:25<00:00, 23.29s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_kn_acc 0.2535559678416821
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_kn_acc_norm 0.2797066878699532
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 10:45:13,600 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 10:45:13,600 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:13,723 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 10:45:13,723 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:13,845 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 10:45:13,845 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:13,967 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 10:45:13,968 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 10:45:13,968 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 10:45:14,091 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 10:45:14,091 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_kn_acc'}
+2024-05-31 10:45:14,153 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 10:45:14,153 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1233, 'value': 0.2535559678416821}
+2024-05-31 10:45:14,215 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 10:45:14,853 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 10:45:14,853 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:14,978 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 10:45:14,978 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:15,104 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 10:45:15,104 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 10:45:15,230 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 10:45:15,357 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 10:45:15,357 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_kn_acc_norm'}
+2024-05-31 10:45:15,421 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 10:45:15,421 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1234, 'value': 0.2797066878699532}
+2024-05-31 10:45:15,484 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  63%|███████████████████████████████████████████████████████████████████▉                                        | 78/124 [51:57:44<67:34:14, 5288.13s/it]['mmlu_ml']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 10:45:16,110 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 10:45:16,110 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:16,233 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 10:45:16,233 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:16,356 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 10:45:16,356 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 10:45:16,478 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 10:45:16,479 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 10:45:16,479 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_ml'}
+2024-05-31 10:45:16,603 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ml task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1669 examples [00:00, 13853.00 examples/s]
+
Generating test split: 4974 examples [00:00, 24261.40 examples/s]
+
Generating test split: 8010 examples [00:00, 26922.48 examples/s]
Generating test split: 11028 examples [00:00, 26175.03 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 265 examples [00:00, 24013.02 examples/s]
+Running loglikelihood requests
+
+
mmlu_ml:   0%|                                                                                                                               | 0/345 [00:00<?, ?it/s]
+
mmlu_ml:   0%|▎                                                                                                                    | 1/345 [00:23<2:16:11, 23.75s/it]
+
mmlu_ml:   1%|▋                                                                                                                    | 2/345 [00:48<2:17:51, 24.11s/it]
+
mmlu_ml:   1%|█                                                                                                                    | 3/345 [01:10<2:13:33, 23.43s/it]
+
mmlu_ml:   1%|█▎                                                                                                                   | 4/345 [01:34<2:14:06, 23.60s/it]
+
mmlu_ml:   1%|█▋                                                                                                                   | 5/345 [01:54<2:06:49, 22.38s/it]
+
mmlu_ml:   2%|██                                                                                                                   | 6/345 [02:15<2:02:35, 21.70s/it]
+
mmlu_ml:   2%|██▎                                                                                                                  | 7/345 [02:35<1:59:55, 21.29s/it]
+
mmlu_ml:   2%|██▋                                                                                                                  | 8/345 [02:59<2:04:11, 22.11s/it]
+
mmlu_ml:   3%|███                                                                                                                  | 9/345 [03:26<2:12:44, 23.70s/it]
+
mmlu_ml:   3%|███▎                                                                                                                | 10/345 [03:47<2:06:41, 22.69s/it]
+
mmlu_ml:   3%|███▋                                                                                                                | 11/345 [04:09<2:05:20, 22.52s/it]
+
mmlu_ml:   3%|████                                                                                                                | 12/345 [04:36<2:13:12, 24.00s/it]
+
mmlu_ml:   4%|████▎                                                                                                               | 13/345 [04:55<2:04:00, 22.41s/it]
+
mmlu_ml:   4%|████▋                                                                                                               | 14/345 [05:16<2:01:47, 22.08s/it]
+
mmlu_ml:   4%|█████                                                                                                               | 15/345 [05:38<2:01:23, 22.07s/it]
+
mmlu_ml:   5%|█████▍                                                                                                              | 16/345 [05:59<1:58:40, 21.64s/it]
+
mmlu_ml:   5%|█████▋                                                                                                              | 17/345 [06:24<2:04:16, 22.73s/it]
+
mmlu_ml:   5%|██████                                                                                                              | 18/345 [06:44<1:59:33, 21.94s/it]
+
mmlu_ml:   6%|██████▍                                                                                                             | 19/345 [07:07<2:00:28, 22.17s/it]
+
mmlu_ml:   6%|██████▋                                                                                                             | 20/345 [07:29<2:00:05, 22.17s/it]
+
mmlu_ml:   6%|███████                                                                                                             | 21/345 [07:51<1:58:48, 22.00s/it]
+
mmlu_ml:   6%|███████▍                                                                                                            | 22/345 [08:12<1:56:39, 21.67s/it]
+
mmlu_ml:   7%|███████▋                                                                                                            | 23/345 [08:30<1:51:12, 20.72s/it]
+
mmlu_ml:   7%|████████                                                                                                            | 24/345 [08:51<1:51:39, 20.87s/it]
+
mmlu_ml:   7%|████████▍                                                                                                           | 25/345 [09:22<2:06:47, 23.77s/it]
+
mmlu_ml:   8%|████████▋                                                                                                           | 26/345 [09:45<2:05:47, 23.66s/it]
+
mmlu_ml:   8%|█████████                                                                                                           | 27/345 [10:06<1:59:51, 22.61s/it]
+
mmlu_ml:   8%|█████████▍                                                                                                          | 28/345 [10:25<1:53:48, 21.54s/it]
+
mmlu_ml:   8%|█████████▊                                                                                                          | 29/345 [10:41<1:46:01, 20.13s/it]
+
mmlu_ml:   9%|██████████                                                                                                          | 30/345 [11:09<1:57:55, 22.46s/it]
+
mmlu_ml:   9%|██████████▍                                                                                                         | 31/345 [11:41<2:11:32, 25.14s/it]
+
mmlu_ml:   9%|██████████▊                                                                                                         | 32/345 [12:04<2:08:26, 24.62s/it]
+
mmlu_ml:  10%|███████████                                                                                                         | 33/345 [12:26<2:03:02, 23.66s/it]
+
mmlu_ml:  10%|███████████▍                                                                                                        | 34/345 [12:48<2:00:30, 23.25s/it]
+
mmlu_ml:  10%|███████████▊                                                                                                        | 35/345 [13:12<2:01:58, 23.61s/it]
+
mmlu_ml:  10%|████████████                                                                                                        | 36/345 [13:37<2:04:07, 24.10s/it]
+
mmlu_ml:  11%|████████████▍                                                                                                       | 37/345 [13:58<1:57:39, 22.92s/it]
+
mmlu_ml:  11%|████████████▊                                                                                                       | 38/345 [14:22<2:00:06, 23.47s/it]
+
mmlu_ml:  11%|█████████████                                                                                                       | 39/345 [14:42<1:53:03, 22.17s/it]
+
mmlu_ml:  12%|█████████████▍                                                                                                      | 40/345 [15:02<1:49:35, 21.56s/it]
+
mmlu_ml:  12%|█████████████▊                                                                                                      | 41/345 [15:29<1:57:50, 23.26s/it]
+
mmlu_ml:  12%|██████████████                                                                                                      | 42/345 [15:56<2:03:29, 24.45s/it]
+
mmlu_ml:  12%|██████████████▍                                                                                                     | 43/345 [16:17<1:58:15, 23.49s/it]
+
mmlu_ml:  13%|██████████████▊                                                                                                     | 44/345 [16:48<2:08:26, 25.60s/it]
+
mmlu_ml:  13%|███████████████▏                                                                                                    | 45/345 [17:10<2:02:27, 24.49s/it]
+
mmlu_ml:  13%|███████████████▍                                                                                                    | 46/345 [17:35<2:02:37, 24.61s/it]
+
mmlu_ml:  14%|███████████████▊                                                                                                    | 47/345 [17:54<1:55:03, 23.16s/it]
+
mmlu_ml:  14%|████████████████▏                                                                                                   | 48/345 [18:15<1:50:40, 22.36s/it]
+
mmlu_ml:  14%|████████████████▍                                                                                                   | 49/345 [18:32<1:42:17, 20.74s/it]
+
mmlu_ml:  14%|████████████████▊                                                                                                   | 50/345 [18:49<1:35:48, 19.49s/it]
+
mmlu_ml:  15%|█████████████████▏                                                                                                  | 51/345 [19:10<1:37:49, 19.96s/it]
+
mmlu_ml:  15%|█████████████████▍                                                                                                  | 52/345 [19:30<1:38:40, 20.21s/it]
+
mmlu_ml:  15%|█████████████████▊                                                                                                  | 53/345 [20:00<1:51:45, 22.97s/it]
+
mmlu_ml:  16%|██████████████████▏                                                                                                 | 54/345 [20:21<1:49:27, 22.57s/it]
+
mmlu_ml:  16%|██████████████████▍                                                                                                 | 55/345 [20:50<1:57:47, 24.37s/it]
+
mmlu_ml:  16%|██████████████████▊                                                                                                 | 56/345 [21:13<1:55:16, 23.93s/it]
+
mmlu_ml:  17%|███████████████████▏                                                                                                | 57/345 [21:37<1:55:51, 24.14s/it]
+
mmlu_ml:  17%|███████████████████▌                                                                                                | 58/345 [22:00<1:53:02, 23.63s/it]
+
mmlu_ml:  17%|███████████████████▊                                                                                                | 59/345 [22:22<1:50:14, 23.13s/it]
+
mmlu_ml:  17%|████████████████████▏                                                                                               | 60/345 [22:41<1:44:49, 22.07s/it]
+
mmlu_ml:  18%|████████████████████▌                                                                                               | 61/345 [23:07<1:49:27, 23.12s/it]
+
mmlu_ml:  18%|████████████████████▊                                                                                               | 62/345 [23:29<1:47:26, 22.78s/it]
+
mmlu_ml:  18%|█████████████████████▏                                                                                              | 63/345 [23:49<1:43:42, 22.06s/it]
+
mmlu_ml:  19%|█████████████████████▌                                                                                              | 64/345 [24:15<1:48:21, 23.14s/it]
+
mmlu_ml:  19%|█████████████████████▊                                                                                              | 65/345 [24:40<1:50:00, 23.57s/it]
+
mmlu_ml:  19%|██████████████████████▏                                                                                             | 66/345 [25:05<1:51:56, 24.07s/it]
+
mmlu_ml:  19%|██████████████████████▌                                                                                             | 67/345 [25:29<1:52:03, 24.19s/it]
+
mmlu_ml:  20%|██████████████████████▊                                                                                             | 68/345 [25:52<1:48:59, 23.61s/it]
+
mmlu_ml:  20%|███████████████████████▏                                                                                            | 69/345 [26:11<1:42:58, 22.39s/it]
+
mmlu_ml:  20%|███████████████████████▌                                                                                            | 70/345 [26:35<1:45:13, 22.96s/it]
+
mmlu_ml:  21%|███████████████████████▊                                                                                            | 71/345 [27:00<1:46:41, 23.36s/it]
+
mmlu_ml:  21%|████████████████████████▏                                                                                           | 72/345 [27:22<1:44:34, 22.98s/it]
+
mmlu_ml:  21%|████████████████████████▌                                                                                           | 73/345 [27:43<1:41:52, 22.47s/it]
+
mmlu_ml:  21%|████████████████████████▉                                                                                           | 74/345 [28:03<1:38:19, 21.77s/it]
+
mmlu_ml:  22%|█████████████████████████▏                                                                                          | 75/345 [28:24<1:35:58, 21.33s/it]
+
mmlu_ml:  22%|█████████████████████████▌                                                                                          | 76/345 [28:42<1:31:04, 20.32s/it]
+
mmlu_ml:  22%|█████████████████████████▉                                                                                          | 77/345 [29:04<1:33:16, 20.88s/it]
+
mmlu_ml:  23%|██████████████████████████▏                                                                                         | 78/345 [29:24<1:31:49, 20.64s/it]
+
mmlu_ml:  23%|██████████████████████████▌                                                                                         | 79/345 [29:47<1:35:19, 21.50s/it]
+
mmlu_ml:  23%|██████████████████████████▉                                                                                         | 80/345 [30:10<1:36:39, 21.89s/it]
+
mmlu_ml:  23%|███████████████████████████▏                                                                                        | 81/345 [30:35<1:40:53, 22.93s/it]
+
mmlu_ml:  24%|███████████████████████████▌                                                                                        | 82/345 [31:04<1:47:27, 24.51s/it]
+
mmlu_ml:  24%|███████████████████████████▉                                                                                        | 83/345 [31:22<1:39:11, 22.71s/it]
+
mmlu_ml:  24%|████████████████████████████▏                                                                                       | 84/345 [31:41<1:33:38, 21.53s/it]
+
mmlu_ml:  25%|████████████████████████████▌                                                                                       | 85/345 [32:03<1:34:33, 21.82s/it]
+
mmlu_ml:  25%|████████████████████████████▉                                                                                       | 86/345 [32:27<1:36:22, 22.33s/it]
+
mmlu_ml:  25%|█████████████████████████████▎                                                                                      | 87/345 [32:53<1:41:26, 23.59s/it]
+
mmlu_ml:  26%|█████████████████████████████▌                                                                                      | 88/345 [33:15<1:38:45, 23.06s/it]
+
mmlu_ml:  26%|█████████████████████████████▉                                                                                      | 89/345 [33:42<1:43:12, 24.19s/it]
+
mmlu_ml:  26%|██████████████████████████████▎                                                                                     | 90/345 [34:06<1:42:25, 24.10s/it]
+
mmlu_ml:  26%|██████████████████████████████▌                                                                                     | 91/345 [34:30<1:41:43, 24.03s/it]
+
mmlu_ml:  27%|██████████████████████████████▉                                                                                     | 92/345 [34:51<1:37:03, 23.02s/it]
+
mmlu_ml:  27%|███████████████████████████████▎                                                                                    | 93/345 [35:14<1:37:27, 23.20s/it]
+
mmlu_ml:  27%|███████████████████████████████▌                                                                                    | 94/345 [35:46<1:47:25, 25.68s/it]
+
mmlu_ml:  28%|███████████████████████████████▉                                                                                    | 95/345 [36:09<1:44:37, 25.11s/it]
+
mmlu_ml:  28%|████████████████████████████████▎                                                                                   | 96/345 [36:33<1:41:56, 24.56s/it]
+
mmlu_ml:  28%|████████████████████████████████▌                                                                                   | 97/345 [36:55<1:38:48, 23.90s/it]
+
mmlu_ml:  28%|████████████████████████████████▉                                                                                   | 98/345 [37:16<1:34:20, 22.92s/it]
+
mmlu_ml:  29%|█████████████████████████████████▎                                                                                  | 99/345 [37:38<1:32:46, 22.63s/it]
+
mmlu_ml:  29%|█████████████████████████████████▎                                                                                 | 100/345 [37:58<1:29:28, 21.91s/it]
+
mmlu_ml:  29%|█████████████████████████████████▋                                                                                 | 101/345 [38:18<1:27:06, 21.42s/it]
+
mmlu_ml:  30%|██████████████████████████████████                                                                                 | 102/345 [38:37<1:23:16, 20.56s/it]
+
mmlu_ml:  30%|██████████████████████████████████▎                                                                                | 103/345 [38:58<1:23:26, 20.69s/it]
+
mmlu_ml:  30%|██████████████████████████████████▋                                                                                | 104/345 [39:14<1:17:34, 19.31s/it]
+
mmlu_ml:  30%|███████████████████████████████████                                                                                | 105/345 [39:40<1:25:21, 21.34s/it]
+
mmlu_ml:  31%|███████████████████████████████████▎                                                                               | 106/345 [40:03<1:27:17, 21.92s/it]
+
mmlu_ml:  31%|███████████████████████████████████▋                                                                               | 107/345 [40:23<1:24:11, 21.23s/it]
+
mmlu_ml:  31%|████████████████████████████████████                                                                               | 108/345 [40:50<1:30:23, 22.88s/it]
+
mmlu_ml:  32%|████████████████████████████████████▎                                                                              | 109/345 [41:14<1:32:15, 23.46s/it]
+
mmlu_ml:  32%|████████████████████████████████████▋                                                                              | 110/345 [41:34<1:27:56, 22.45s/it]
+
mmlu_ml:  32%|█████████████████████████████████████                                                                              | 111/345 [41:56<1:26:16, 22.12s/it]
+
mmlu_ml:  32%|█████████████████████████████████████▎                                                                             | 112/345 [42:14<1:21:26, 20.97s/it]
+
mmlu_ml:  33%|█████████████████████████████████████▋                                                                             | 113/345 [42:35<1:20:35, 20.84s/it]
+
mmlu_ml:  33%|██████████████████████████████████████                                                                             | 114/345 [43:00<1:25:51, 22.30s/it]
+
mmlu_ml:  33%|██████████████████████████████████████▎                                                                            | 115/345 [43:22<1:24:37, 22.07s/it]
+
mmlu_ml:  34%|██████████████████████████████████████▋                                                                            | 116/345 [43:46<1:27:05, 22.82s/it]
+
mmlu_ml:  34%|███████████████████████████████████████                                                                            | 117/345 [44:05<1:21:49, 21.53s/it]
+
mmlu_ml:  34%|███████████████████████████████████████▎                                                                           | 118/345 [44:29<1:23:47, 22.15s/it]
+
mmlu_ml:  34%|███████████████████████████████████████▋                                                                           | 119/345 [44:47<1:19:46, 21.18s/it]
+
mmlu_ml:  35%|████████████████████████████████████████                                                                           | 120/345 [45:06<1:16:48, 20.48s/it]
+
mmlu_ml:  35%|████████████████████████████████████████▎                                                                          | 121/345 [45:28<1:17:45, 20.83s/it]
+
mmlu_ml:  35%|████████████████████████████████████████▋                                                                          | 122/345 [45:51<1:20:13, 21.58s/it]
+
mmlu_ml:  36%|█████████████████████████████████████████                                                                          | 123/345 [46:18<1:25:27, 23.10s/it]
+
mmlu_ml:  36%|█████████████████████████████████████████▎                                                                         | 124/345 [46:39<1:23:17, 22.61s/it]
+
mmlu_ml:  36%|█████████████████████████████████████████▋                                                                         | 125/345 [46:59<1:19:48, 21.76s/it]
+
mmlu_ml:  37%|██████████████████████████████████████████                                                                         | 126/345 [47:21<1:19:05, 21.67s/it]
+
mmlu_ml:  37%|██████████████████████████████████████████▎                                                                        | 127/345 [47:39<1:15:29, 20.78s/it]
+
mmlu_ml:  37%|██████████████████████████████████████████▋                                                                        | 128/345 [48:03<1:17:47, 21.51s/it]
+
mmlu_ml:  37%|███████████████████████████████████████████                                                                        | 129/345 [48:20<1:13:14, 20.34s/it]
+
mmlu_ml:  38%|███████████████████████████████████████████▎                                                                       | 130/345 [48:47<1:20:23, 22.44s/it]
+
mmlu_ml:  38%|███████████████████████████████████████████▋                                                                       | 131/345 [49:11<1:21:21, 22.81s/it]
+
mmlu_ml:  38%|████████████████████████████████████████████                                                                       | 132/345 [49:35<1:21:57, 23.09s/it]
+
mmlu_ml:  39%|████████████████████████████████████████████▎                                                                      | 133/345 [49:56<1:19:18, 22.45s/it]
+
mmlu_ml:  39%|████████████████████████████████████████████▋                                                                      | 134/345 [50:18<1:19:01, 22.47s/it]
+
mmlu_ml:  39%|█████████████████████████████████████████████                                                                      | 135/345 [50:39<1:16:44, 21.93s/it]
+
mmlu_ml:  39%|█████████████████████████████████████████████▎                                                                     | 136/345 [50:57<1:12:15, 20.74s/it]
+
mmlu_ml:  40%|█████████████████████████████████████████████▋                                                                     | 137/345 [51:17<1:11:16, 20.56s/it]
+
mmlu_ml:  40%|██████████████████████████████████████████████                                                                     | 138/345 [51:42<1:15:33, 21.90s/it]
+
mmlu_ml:  40%|██████████████████████████████████████████████▎                                                                    | 139/345 [52:04<1:14:43, 21.76s/it]
+
mmlu_ml:  41%|██████████████████████████████████████████████▋                                                                    | 140/345 [52:27<1:16:22, 22.35s/it]
+
mmlu_ml:  41%|███████████████████████████████████████████████                                                                    | 141/345 [52:49<1:15:37, 22.25s/it]
+
mmlu_ml:  41%|███████████████████████████████████████████████▎                                                                   | 142/345 [53:11<1:14:15, 21.95s/it]
+
mmlu_ml:  41%|███████████████████████████████████████████████▋                                                                   | 143/345 [53:34<1:15:21, 22.38s/it]
+
mmlu_ml:  42%|████████████████████████████████████████████████                                                                   | 144/345 [54:01<1:20:07, 23.92s/it]
+
mmlu_ml:  42%|████████████████████████████████████████████████▎                                                                  | 145/345 [54:22<1:16:07, 22.84s/it]
+
mmlu_ml:  42%|████████████████████████████████████████████████▋                                                                  | 146/345 [54:42<1:13:00, 22.01s/it]
+
mmlu_ml:  43%|█████████████████████████████████████████████████                                                                  | 147/345 [55:06<1:14:37, 22.61s/it]
+
mmlu_ml:  43%|█████████████████████████████████████████████████▎                                                                 | 148/345 [55:28<1:13:43, 22.45s/it]
+
mmlu_ml:  43%|█████████████████████████████████████████████████▋                                                                 | 149/345 [55:53<1:15:49, 23.21s/it]
+
mmlu_ml:  43%|██████████████████████████████████████████████████                                                                 | 150/345 [56:11<1:10:29, 21.69s/it]
+
mmlu_ml:  44%|██████████████████████████████████████████████████▎                                                                | 151/345 [56:32<1:09:23, 21.46s/it]
+
mmlu_ml:  44%|██████████████████████████████████████████████████▋                                                                | 152/345 [56:55<1:10:25, 21.89s/it]
+
mmlu_ml:  44%|███████████████████████████████████████████████████                                                                | 153/345 [57:13<1:06:23, 20.75s/it]
+
mmlu_ml:  45%|███████████████████████████████████████████████████▎                                                               | 154/345 [57:35<1:07:08, 21.09s/it]
+
mmlu_ml:  45%|███████████████████████████████████████████████████▋                                                               | 155/345 [57:53<1:04:22, 20.33s/it]
+
mmlu_ml:  45%|████████████████████████████████████████████████████                                                               | 156/345 [58:18<1:08:27, 21.73s/it]
+
mmlu_ml:  46%|████████████████████████████████████████████████████▎                                                              | 157/345 [58:36<1:04:19, 20.53s/it]
+
mmlu_ml:  46%|████████████████████████████████████████████████████▋                                                              | 158/345 [59:01<1:08:22, 21.94s/it]
+
mmlu_ml:  46%|█████████████████████████████████████████████████████                                                              | 159/345 [59:27<1:11:09, 22.95s/it]
+
mmlu_ml:  46%|█████████████████████████████████████████████████████▎                                                             | 160/345 [59:46<1:07:11, 21.79s/it]
+
mmlu_ml:  47%|████████████████████████████████████████████████████▋                                                            | 161/345 [1:00:08<1:07:01, 21.85s/it]
+
mmlu_ml:  47%|█████████████████████████████████████████████████████                                                            | 162/345 [1:00:31<1:07:33, 22.15s/it]
+
mmlu_ml:  47%|█████████████████████████████████████████████████████▍                                                           | 163/345 [1:00:50<1:04:33, 21.29s/it]
+
mmlu_ml:  48%|█████████████████████████████████████████████████████▋                                                           | 164/345 [1:01:10<1:03:12, 20.95s/it]
+
mmlu_ml:  48%|██████████████████████████████████████████████████████                                                           | 165/345 [1:01:29<1:00:37, 20.21s/it]
+
mmlu_ml:  48%|██████████████████████████████████████████████████████▎                                                          | 166/345 [1:01:51<1:01:59, 20.78s/it]
+
mmlu_ml:  48%|██████████████████████████████████████████████████████▋                                                          | 167/345 [1:02:19<1:08:36, 23.12s/it]
+
mmlu_ml:  49%|███████████████████████████████████████████████████████                                                          | 168/345 [1:02:39<1:05:32, 22.22s/it]
+
mmlu_ml:  49%|███████████████████████████████████████████████████████▎                                                         | 169/345 [1:03:05<1:07:51, 23.14s/it]
+
mmlu_ml:  49%|███████████████████████████████████████████████████████▋                                                         | 170/345 [1:03:23<1:03:41, 21.84s/it]
+
mmlu_ml:  50%|████████████████████████████████████████████████████████                                                         | 171/345 [1:03:54<1:10:36, 24.35s/it]
+
mmlu_ml:  50%|████████████████████████████████████████████████████████▎                                                        | 172/345 [1:04:10<1:03:22, 21.98s/it]
+
mmlu_ml:  50%|████████████████████████████████████████████████████████▋                                                        | 173/345 [1:04:32<1:02:44, 21.89s/it]
+
mmlu_ml:  50%|████████████████████████████████████████████████████████▉                                                        | 174/345 [1:04:52<1:00:39, 21.29s/it]
+
mmlu_ml:  51%|██████████████████████████████████████████████████████████▎                                                        | 175/345 [1:05:08<56:08, 19.82s/it]
+
mmlu_ml:  51%|██████████████████████████████████████████████████████████▋                                                        | 176/345 [1:05:24<52:29, 18.64s/it]
+
mmlu_ml:  51%|███████████████████████████████████████████████████████████                                                        | 177/345 [1:05:46<54:46, 19.56s/it]
+
mmlu_ml:  52%|███████████████████████████████████████████████████████████▎                                                       | 178/345 [1:06:06<55:02, 19.77s/it]
+
mmlu_ml:  52%|███████████████████████████████████████████████████████████▋                                                       | 179/345 [1:06:24<53:29, 19.33s/it]
+
mmlu_ml:  52%|████████████████████████████████████████████████████████████                                                       | 180/345 [1:06:49<57:17, 20.83s/it]
+
mmlu_ml:  52%|████████████████████████████████████████████████████████████▎                                                      | 181/345 [1:07:11<58:24, 21.37s/it]
+
mmlu_ml:  53%|████████████████████████████████████████████████████████████▋                                                      | 182/345 [1:07:34<59:13, 21.80s/it]
+
mmlu_ml:  53%|█████████████████████████████████████████████████████████████                                                      | 183/345 [1:07:55<58:36, 21.71s/it]
+
mmlu_ml:  53%|█████████████████████████████████████████████████████████████▎                                                     | 184/345 [1:08:16<57:17, 21.35s/it]
+
mmlu_ml:  54%|████████████████████████████████████████████████████████████▌                                                    | 185/345 [1:08:41<1:00:06, 22.54s/it]
+
mmlu_ml:  54%|████████████████████████████████████████████████████████████▉                                                    | 186/345 [1:09:09<1:03:47, 24.07s/it]
+
mmlu_ml:  54%|█████████████████████████████████████████████████████████████▏                                                   | 187/345 [1:09:30<1:01:03, 23.19s/it]
+
mmlu_ml:  54%|██████████████████████████████████████████████████████████████▋                                                    | 188/345 [1:09:48<56:41, 21.66s/it]
+
mmlu_ml:  55%|██████████████████████████████████████████████████████████████▉                                                    | 189/345 [1:10:13<58:31, 22.51s/it]
+
mmlu_ml:  55%|███████████████████████████████████████████████████████████████▎                                                   | 190/345 [1:10:35<57:54, 22.42s/it]
+
mmlu_ml:  55%|███████████████████████████████████████████████████████████████▋                                                   | 191/345 [1:10:56<56:18, 21.94s/it]
+
mmlu_ml:  56%|████████████████████████████████████████████████████████████████                                                   | 192/345 [1:11:20<57:35, 22.58s/it]
+
mmlu_ml:  56%|████████████████████████████████████████████████████████████████▎                                                  | 193/345 [1:11:39<54:21, 21.45s/it]
+
mmlu_ml:  56%|███████████████████████████████████████████████████████████████▌                                                 | 194/345 [1:12:09<1:00:37, 24.09s/it]
+
mmlu_ml:  57%|█████████████████████████████████████████████████████████████████                                                  | 195/345 [1:12:32<59:40, 23.87s/it]
+
mmlu_ml:  57%|████████████████████████████████████████████████████████████████▏                                                | 196/345 [1:13:01<1:02:39, 25.23s/it]
+
mmlu_ml:  57%|████████████████████████████████████████████████████████████████▌                                                | 197/345 [1:13:25<1:01:33, 24.96s/it]
+
mmlu_ml:  57%|████████████████████████████████████████████████████████████████▊                                                | 198/345 [1:13:51<1:02:16, 25.42s/it]
+
mmlu_ml:  58%|██████████████████████████████████████████████████████████████████▎                                                | 199/345 [1:14:11<57:41, 23.71s/it]
+
mmlu_ml:  58%|██████████████████████████████████████████████████████████████████▋                                                | 200/345 [1:14:31<54:23, 22.51s/it]
+
mmlu_ml:  58%|███████████████████████████████████████████████████████████████████                                                | 201/345 [1:14:48<50:21, 20.98s/it]
+
mmlu_ml:  59%|███████████████████████████████████████████████████████████████████▎                                               | 202/345 [1:15:09<50:07, 21.03s/it]
+
mmlu_ml:  59%|███████████████████████████████████████████████████████████████████▋                                               | 203/345 [1:15:38<55:26, 23.43s/it]
+
mmlu_ml:  59%|████████████████████████████████████████████████████████████████████                                               | 204/345 [1:16:04<56:36, 24.09s/it]
+
mmlu_ml:  59%|███████████████████████████████████████████████████████████████████▏                                             | 205/345 [1:16:34<1:00:23, 25.88s/it]
+
mmlu_ml:  60%|████████████████████████████████████████████████████████████████████▋                                              | 206/345 [1:16:58<58:30, 25.26s/it]
+
mmlu_ml:  60%|█████████████████████████████████████████████████████████████████████                                              | 207/345 [1:17:20<56:11, 24.43s/it]
+
mmlu_ml:  60%|█████████████████████████████████████████████████████████████████████▎                                             | 208/345 [1:17:47<57:14, 25.07s/it]
+
mmlu_ml:  61%|█████████████████████████████████████████████████████████████████████▋                                             | 209/345 [1:18:09<54:28, 24.04s/it]
+
mmlu_ml:  61%|██████████████████████████████████████████████████████████████████████                                             | 210/345 [1:18:32<53:47, 23.91s/it]
+
mmlu_ml:  61%|██████████████████████████████████████████████████████████████████████▎                                            | 211/345 [1:18:59<55:13, 24.73s/it]
+
mmlu_ml:  61%|██████████████████████████████████████████████████████████████████████▋                                            | 212/345 [1:19:24<54:55, 24.77s/it]
+
mmlu_ml:  62%|███████████████████████████████████████████████████████████████████████                                            | 213/345 [1:19:46<52:51, 24.03s/it]
+
mmlu_ml:  62%|███████████████████████████████████████████████████████████████████████▎                                           | 214/345 [1:20:09<51:46, 23.71s/it]
+
mmlu_ml:  62%|███████████████████████████████████████████████████████████████████████▋                                           | 215/345 [1:20:33<51:15, 23.66s/it]
+
mmlu_ml:  63%|████████████████████████████████████████████████████████████████████████                                           | 216/345 [1:20:57<51:06, 23.77s/it]
+
mmlu_ml:  63%|████████████████████████████████████████████████████████████████████████▎                                          | 217/345 [1:21:17<48:49, 22.89s/it]
+
mmlu_ml:  63%|████████████████████████████████████████████████████████████████████████▋                                          | 218/345 [1:21:40<48:14, 22.79s/it]
+
mmlu_ml:  63%|█████████████████████████████████████████████████████████████████████████                                          | 219/345 [1:22:04<48:22, 23.03s/it]
+
mmlu_ml:  64%|█████████████████████████████████████████████████████████████████████████▎                                         | 220/345 [1:22:31<50:48, 24.39s/it]
+
mmlu_ml:  64%|█████████████████████████████████████████████████████████████████████████▋                                         | 221/345 [1:22:52<48:20, 23.39s/it]
+
mmlu_ml:  64%|██████████████████████████████████████████████████████████████████████████                                         | 222/345 [1:23:14<47:06, 22.98s/it]
+
mmlu_ml:  65%|██████████████████████████████████████████████████████████████████████████▎                                        | 223/345 [1:23:39<47:45, 23.49s/it]
+
mmlu_ml:  65%|██████████████████████████████████████████████████████████████████████████▋                                        | 224/345 [1:24:06<49:51, 24.72s/it]
+
mmlu_ml:  65%|███████████████████████████████████████████████████████████████████████████                                        | 225/345 [1:24:23<44:25, 22.22s/it]
+
mmlu_ml:  66%|███████████████████████████████████████████████████████████████████████████▎                                       | 226/345 [1:24:48<45:37, 23.00s/it]
+
mmlu_ml:  66%|███████████████████████████████████████████████████████████████████████████▋                                       | 227/345 [1:25:08<43:22, 22.06s/it]
+
mmlu_ml:  66%|████████████████████████████████████████████████████████████████████████████                                       | 228/345 [1:25:36<46:56, 24.07s/it]
+
mmlu_ml:  66%|████████████████████████████████████████████████████████████████████████████▎                                      | 229/345 [1:25:58<45:21, 23.47s/it]
+
mmlu_ml:  67%|████████████████████████████████████████████████████████████████████████████▋                                      | 230/345 [1:26:26<47:35, 24.83s/it]
+
mmlu_ml:  67%|█████████████████████████████████████████████████████████████████████████████                                      | 231/345 [1:26:45<43:43, 23.02s/it]
+
mmlu_ml:  67%|█████████████████████████████████████████████████████████████████████████████▎                                     | 232/345 [1:27:07<42:25, 22.52s/it]
+
mmlu_ml:  68%|█████████████████████████████████████████████████████████████████████████████▋                                     | 233/345 [1:27:29<41:54, 22.45s/it]
+
mmlu_ml:  68%|██████████████████████████████████████████████████████████████████████████████                                     | 234/345 [1:27:59<46:01, 24.88s/it]
+
mmlu_ml:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 235/345 [1:28:23<44:57, 24.53s/it]
+
mmlu_ml:  68%|██████████████████████████████████████████████████████████████████████████████▋                                    | 236/345 [1:28:44<42:45, 23.54s/it]
+
mmlu_ml:  69%|███████████████████████████████████████████████████████████████████████████████                                    | 237/345 [1:29:06<41:25, 23.02s/it]
+
mmlu_ml:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 238/345 [1:29:29<40:53, 22.93s/it]
+
mmlu_ml:  69%|███████████████████████████████████████████████████████████████████████████████▋                                   | 239/345 [1:29:54<41:31, 23.51s/it]
+
mmlu_ml:  70%|████████████████████████████████████████████████████████████████████████████████                                   | 240/345 [1:30:12<38:20, 21.91s/it]
+
mmlu_ml:  70%|████████████████████████████████████████████████████████████████████████████████▎                                  | 241/345 [1:30:37<39:36, 22.86s/it]
+
mmlu_ml:  70%|████████████████████████████████████████████████████████████████████████████████▋                                  | 242/345 [1:30:56<37:09, 21.65s/it]
+
mmlu_ml:  70%|█████████████████████████████████████████████████████████████████████████████████                                  | 243/345 [1:31:14<34:53, 20.53s/it]
+
mmlu_ml:  71%|█████████████████████████████████████████████████████████████████████████████████▎                                 | 244/345 [1:31:38<36:40, 21.79s/it]
+
mmlu_ml:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 245/345 [1:32:02<37:02, 22.23s/it]
+
mmlu_ml:  71%|██████████████████████████████████████████████████████████████████████████████████                                 | 246/345 [1:32:22<35:39, 21.61s/it]
+
mmlu_ml:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 247/345 [1:32:42<34:27, 21.10s/it]
+
mmlu_ml:  72%|██████████████████████████████████████████████████████████████████████████████████▋                                | 248/345 [1:33:04<34:42, 21.47s/it]
+
mmlu_ml:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 249/345 [1:33:25<33:59, 21.24s/it]
+
mmlu_ml:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 250/345 [1:33:51<36:03, 22.77s/it]
+
mmlu_ml:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 251/345 [1:34:14<35:46, 22.84s/it]
+
mmlu_ml:  73%|████████████████████████████████████████████████████████████████████████████████████                               | 252/345 [1:34:41<37:19, 24.08s/it]
+
mmlu_ml:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 253/345 [1:35:06<37:27, 24.43s/it]
+
mmlu_ml:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 254/345 [1:35:22<33:07, 21.84s/it]
+
mmlu_ml:  74%|█████████████████████████████████████████████████████████████████████████████████████                              | 255/345 [1:35:41<31:23, 20.93s/it]
+
mmlu_ml:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 256/345 [1:36:02<31:07, 20.98s/it]
+
mmlu_ml:  74%|█████████████████████████████████████████████████████████████████████████████████████▋                             | 257/345 [1:36:26<32:11, 21.95s/it]
+
mmlu_ml:  75%|██████████████████████████████████████████████████████████████████████████████████████                             | 258/345 [1:36:51<32:50, 22.65s/it]
+
mmlu_ml:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 259/345 [1:37:14<32:55, 22.97s/it]
+
mmlu_ml:  75%|██████████████████████████████████████████████████████████████████████████████████████▋                            | 260/345 [1:37:35<31:24, 22.17s/it]
+
mmlu_ml:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 261/345 [1:37:56<30:53, 22.07s/it]
+
mmlu_ml:  76%|███████████████████████████████████████████████████████████████████████████████████████▎                           | 262/345 [1:38:14<28:30, 20.61s/it]
+
mmlu_ml:  76%|███████████████████████████████████████████████████████████████████████████████████████▋                           | 263/345 [1:38:32<27:20, 20.00s/it]
+
mmlu_ml:  77%|████████████████████████████████████████████████████████████████████████████████████████                           | 264/345 [1:38:57<29:04, 21.53s/it]
+
mmlu_ml:  77%|████████████████████████████████████████████████████████████████████████████████████████▎                          | 265/345 [1:39:22<30:07, 22.59s/it]
+
mmlu_ml:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 266/345 [1:39:49<31:23, 23.85s/it]
+
mmlu_ml:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 267/345 [1:40:07<28:39, 22.05s/it]
+
mmlu_ml:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 268/345 [1:40:29<28:20, 22.08s/it]
+
mmlu_ml:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 269/345 [1:40:57<30:07, 23.78s/it]
+
mmlu_ml:  78%|██████████████████████████████████████████████████████████████████████████████████████████                         | 270/345 [1:41:16<28:07, 22.50s/it]
+
mmlu_ml:  79%|██████████████████████████████████████████████████████████████████████████████████████████▎                        | 271/345 [1:41:37<27:13, 22.07s/it]
+
mmlu_ml:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 272/345 [1:42:06<29:21, 24.12s/it]
+
mmlu_ml:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 273/345 [1:42:29<28:32, 23.78s/it]
+
mmlu_ml:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 274/345 [1:42:57<29:25, 24.87s/it]
+
mmlu_ml:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 275/345 [1:43:21<28:52, 24.75s/it]
+
mmlu_ml:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 276/345 [1:43:43<27:16, 23.71s/it]
+
mmlu_ml:  80%|████████████████████████████████████████████████████████████████████████████████████████████▎                      | 277/345 [1:44:02<25:30, 22.51s/it]
+
mmlu_ml:  81%|████████████████████████████████████████████████████████████████████████████████████████████▋                      | 278/345 [1:44:25<25:06, 22.49s/it]
+
mmlu_ml:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 279/345 [1:44:44<23:49, 21.65s/it]
+
mmlu_ml:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▎                     | 280/345 [1:45:11<25:03, 23.13s/it]
+
mmlu_ml:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 281/345 [1:45:33<24:22, 22.86s/it]
+
mmlu_ml:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 282/345 [1:45:52<22:51, 21.76s/it]
+
mmlu_ml:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 283/345 [1:46:16<22:59, 22.25s/it]
+
mmlu_ml:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▋                    | 284/345 [1:46:33<21:09, 20.81s/it]
+
mmlu_ml:  83%|███████████████████████████████████████████████████████████████████████████████████████████████                    | 285/345 [1:46:52<20:11, 20.20s/it]
+
mmlu_ml:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▎                   | 286/345 [1:47:16<20:58, 21.33s/it]
+
mmlu_ml:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▋                   | 287/345 [1:47:35<20:03, 20.75s/it]
+
mmlu_ml:  83%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 288/345 [1:48:02<21:16, 22.39s/it]
+
mmlu_ml:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 289/345 [1:48:24<20:59, 22.49s/it]
+
mmlu_ml:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 290/345 [1:48:47<20:48, 22.70s/it]
+
mmlu_ml:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████                  | 291/345 [1:49:09<20:04, 22.31s/it]
+
mmlu_ml:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 292/345 [1:49:29<19:13, 21.76s/it]
+
mmlu_ml:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 293/345 [1:49:48<18:03, 20.84s/it]
+
mmlu_ml:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████                 | 294/345 [1:50:20<20:38, 24.28s/it]
+
mmlu_ml:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                | 295/345 [1:50:46<20:29, 24.59s/it]
+
mmlu_ml:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                | 296/345 [1:51:05<18:47, 23.01s/it]
+
mmlu_ml:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 297/345 [1:51:26<17:59, 22.49s/it]
+
mmlu_ml:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 298/345 [1:51:43<16:21, 20.89s/it]
+
mmlu_ml:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 299/345 [1:52:01<15:18, 19.96s/it]
+
mmlu_ml:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████               | 300/345 [1:52:25<15:47, 21.07s/it]
+
mmlu_ml:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 301/345 [1:52:51<16:33, 22.59s/it]
+
mmlu_ml:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 302/345 [1:53:12<15:44, 21.97s/it]
+
mmlu_ml:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 303/345 [1:53:36<15:47, 22.57s/it]
+
mmlu_ml:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 304/345 [1:53:55<14:45, 21.59s/it]
+
mmlu_ml:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 305/345 [1:54:14<13:51, 20.79s/it]
+
mmlu_ml:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 306/345 [1:54:38<14:10, 21.81s/it]
+
mmlu_ml:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 307/345 [1:55:02<14:11, 22.41s/it]
+
mmlu_ml:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 308/345 [1:55:24<13:51, 22.47s/it]
+
mmlu_ml:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████            | 309/345 [1:55:53<14:35, 24.33s/it]
+
mmlu_ml:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 310/345 [1:56:19<14:25, 24.73s/it]
+
mmlu_ml:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 311/345 [1:56:39<13:13, 23.35s/it]
+
mmlu_ml:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████           | 312/345 [1:57:04<13:03, 23.76s/it]
+
mmlu_ml:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 313/345 [1:57:29<12:54, 24.20s/it]
+
mmlu_ml:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 314/345 [1:57:56<12:59, 25.14s/it]
+
mmlu_ml:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████          | 315/345 [1:58:12<11:09, 22.33s/it]
+
mmlu_ml:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 316/345 [1:58:32<10:31, 21.79s/it]
+
mmlu_ml:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 317/345 [1:58:58<10:42, 22.93s/it]
+
mmlu_ml:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████         | 318/345 [1:59:19<10:03, 22.35s/it]
+
mmlu_ml:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 319/345 [1:59:43<09:51, 22.74s/it]
+
mmlu_ml:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 320/345 [2:00:05<09:25, 22.61s/it]
+
mmlu_ml:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 321/345 [2:00:28<09:04, 22.70s/it]
+
mmlu_ml:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 322/345 [2:00:45<08:04, 21.04s/it]
+
mmlu_ml:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 323/345 [2:01:12<08:20, 22.73s/it]
+
mmlu_ml:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 324/345 [2:01:29<07:25, 21.20s/it]
+
mmlu_ml:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 325/345 [2:01:49<06:54, 20.74s/it]
+
mmlu_ml:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 326/345 [2:02:11<06:42, 21.16s/it]
+
mmlu_ml:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 327/345 [2:02:27<05:53, 19.65s/it]
+
mmlu_ml:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 328/345 [2:02:49<05:45, 20.33s/it]
+
mmlu_ml:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 329/345 [2:03:11<05:32, 20.76s/it]
+
mmlu_ml:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 330/345 [2:03:38<05:41, 22.74s/it]
+
mmlu_ml:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 331/345 [2:04:01<05:18, 22.76s/it]
+
mmlu_ml:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 332/345 [2:04:24<04:56, 22.81s/it]
+
mmlu_ml:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 333/345 [2:04:43<04:18, 21.55s/it]
+
mmlu_ml:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 334/345 [2:05:08<04:09, 22.70s/it]
+
mmlu_ml:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 335/345 [2:05:32<03:52, 23.21s/it]
+
mmlu_ml:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 336/345 [2:05:53<03:21, 22.35s/it]
+
mmlu_ml:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 337/345 [2:06:18<03:05, 23.16s/it]
+
mmlu_ml:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 338/345 [2:06:40<02:40, 22.95s/it]
+
mmlu_ml:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 339/345 [2:07:03<02:18, 23.01s/it]
+
mmlu_ml:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/345 [2:07:23<01:50, 22.06s/it]
+
mmlu_ml:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 341/345 [2:07:48<01:31, 22.99s/it]
+
mmlu_ml:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 342/345 [2:08:13<01:10, 23.38s/it]
+
mmlu_ml:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 343/345 [2:08:32<00:44, 22.05s/it]
+
mmlu_ml: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 344/345 [2:08:51<00:21, 21.29s/it]
+
mmlu_ml: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 345/345 [2:09:08<00:00, 19.92s/it]
mmlu_ml: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 345/345 [2:09:08<00:00, 22.46s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ml_acc 0.24546608632571637
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ml_acc_norm 0.2714000725426188
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 12:54:27,241 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 12:54:27,241 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:27,369 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 12:54:27,369 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:27,498 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 12:54:27,498 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:27,626 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 12:54:27,627 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 12:54:27,627 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 12:54:27,757 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 12:54:27,757 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ml_acc'}
+2024-05-31 12:54:27,822 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 12:54:27,822 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1235, 'value': 0.24546608632571637}
+2024-05-31 12:54:27,888 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 12:54:28,547 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 12:54:28,547 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:28,676 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 12:54:28,676 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:28,806 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 12:54:28,806 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:28,936 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 12:54:28,937 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 12:54:28,937 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 12:54:29,067 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 12:54:29,067 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_ml_acc_norm'}
+2024-05-31 12:54:29,133 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 12:54:29,133 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1236, 'value': 0.2714000725426188}
+2024-05-31 12:54:29,199 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  64%|████████████████████████████████████████████████████████████████████▊                                       | 79/124 [54:06:58<75:20:51, 6027.81s/it]['mmlu_mr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 12:54:29,864 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 12:54:29,864 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:29,995 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 12:54:29,996 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:30,127 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 12:54:30,127 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 12:54:30,258 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_mr'}
+2024-05-31 12:54:30,390 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_mr task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1659 examples [00:00, 13386.23 examples/s]
+
Generating test split: 4979 examples [00:00, 23992.96 examples/s]
+
Generating test split: 8056 examples [00:00, 26925.93 examples/s]
+
Generating test split: 11392 examples [00:00, 29382.84 examples/s]
Generating test split: 12313 examples [00:00, 26676.04 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 221 examples [00:00, 25545.42 examples/s]
+Running loglikelihood requests
+
+
mmlu_mr:   0%|                                                                                                                               | 0/385 [00:00<?, ?it/s]
+
mmlu_mr:   0%|▎                                                                                                                    | 1/385 [00:13<1:27:16, 13.64s/it]
+
mmlu_mr:   1%|▌                                                                                                                    | 2/385 [00:27<1:26:09, 13.50s/it]
+
mmlu_mr:   1%|▉                                                                                                                    | 3/385 [00:41<1:27:19, 13.71s/it]
+
mmlu_mr:   1%|█▏                                                                                                                   | 4/385 [00:54<1:27:35, 13.79s/it]
+
mmlu_mr:   1%|█▌                                                                                                                   | 5/385 [01:11<1:34:27, 14.92s/it]
+
mmlu_mr:   2%|█▊                                                                                                                   | 6/385 [01:29<1:40:22, 15.89s/it]
+
mmlu_mr:   2%|██▏                                                                                                                  | 7/385 [01:46<1:42:23, 16.25s/it]
+
mmlu_mr:   2%|██▍                                                                                                                  | 8/385 [02:00<1:37:08, 15.46s/it]
+
mmlu_mr:   2%|██▋                                                                                                                  | 9/385 [02:16<1:39:05, 15.81s/it]
+
mmlu_mr:   3%|███                                                                                                                 | 10/385 [02:34<1:41:24, 16.23s/it]
+
mmlu_mr:   3%|███▎                                                                                                                | 11/385 [02:52<1:45:09, 16.87s/it]
+
mmlu_mr:   3%|███▌                                                                                                                | 12/385 [03:08<1:42:26, 16.48s/it]
+
mmlu_mr:   3%|███▉                                                                                                                | 13/385 [03:24<1:42:06, 16.47s/it]
+
mmlu_mr:   4%|████▏                                                                                                               | 14/385 [03:42<1:44:25, 16.89s/it]
+
mmlu_mr:   4%|████▌                                                                                                               | 15/385 [03:58<1:42:44, 16.66s/it]
+
mmlu_mr:   4%|████▊                                                                                                               | 16/385 [04:13<1:39:34, 16.19s/it]
+
mmlu_mr:   4%|█████                                                                                                               | 17/385 [04:30<1:41:35, 16.56s/it]
+
mmlu_mr:   5%|█████▍                                                                                                              | 18/385 [04:48<1:42:18, 16.73s/it]
+
mmlu_mr:   5%|█████▋                                                                                                              | 19/385 [05:02<1:38:03, 16.08s/it]
+
mmlu_mr:   5%|██████                                                                                                              | 20/385 [05:19<1:38:43, 16.23s/it]
+
mmlu_mr:   5%|██████▎                                                                                                             | 21/385 [05:33<1:34:26, 15.57s/it]
+
mmlu_mr:   6%|██████▋                                                                                                             | 22/385 [05:51<1:39:40, 16.47s/it]
+
mmlu_mr:   6%|██████▉                                                                                                             | 23/385 [06:08<1:40:03, 16.58s/it]
+
mmlu_mr:   6%|███████▏                                                                                                            | 24/385 [06:23<1:37:25, 16.19s/it]
+
mmlu_mr:   6%|███████▌                                                                                                            | 25/385 [06:42<1:40:34, 16.76s/it]
+
mmlu_mr:   7%|███████▊                                                                                                            | 26/385 [06:58<1:38:49, 16.52s/it]
+
mmlu_mr:   7%|████████▏                                                                                                           | 27/385 [07:15<1:39:28, 16.67s/it]
+
mmlu_mr:   7%|████████▍                                                                                                           | 28/385 [07:30<1:36:46, 16.26s/it]
+
mmlu_mr:   8%|████████▋                                                                                                           | 29/385 [07:49<1:41:11, 17.05s/it]
+
mmlu_mr:   8%|█████████                                                                                                           | 30/385 [08:02<1:34:18, 15.94s/it]
+
mmlu_mr:   8%|█████████▎                                                                                                          | 31/385 [08:19<1:36:27, 16.35s/it]
+
mmlu_mr:   8%|█████████▋                                                                                                          | 32/385 [08:40<1:43:06, 17.53s/it]
+
mmlu_mr:   9%|█████████▉                                                                                                          | 33/385 [08:57<1:43:13, 17.59s/it]
+
mmlu_mr:   9%|██████████▏                                                                                                         | 34/385 [09:13<1:39:29, 17.01s/it]
+
mmlu_mr:   9%|██████████▌                                                                                                         | 35/385 [09:32<1:42:05, 17.50s/it]
+
mmlu_mr:   9%|██████████▊                                                                                                         | 36/385 [09:48<1:39:58, 17.19s/it]
+
mmlu_mr:  10%|███████████▏                                                                                                        | 37/385 [10:05<1:38:44, 17.02s/it]
+
mmlu_mr:  10%|███████████▍                                                                                                        | 38/385 [10:21<1:37:15, 16.82s/it]
+
mmlu_mr:  10%|███████████▊                                                                                                        | 39/385 [10:36<1:33:12, 16.16s/it]
+
mmlu_mr:  10%|████████████                                                                                                        | 40/385 [10:53<1:35:35, 16.63s/it]
+
mmlu_mr:  11%|████████████▎                                                                                                       | 41/385 [11:07<1:29:48, 15.66s/it]
+
mmlu_mr:  11%|████████████▋                                                                                                       | 42/385 [11:20<1:24:59, 14.87s/it]
+
mmlu_mr:  11%|████████████▉                                                                                                       | 43/385 [11:36<1:26:51, 15.24s/it]
+
mmlu_mr:  11%|█████████████▎                                                                                                      | 44/385 [11:53<1:29:01, 15.67s/it]
+
mmlu_mr:  12%|█████████████▌                                                                                                      | 45/385 [12:11<1:32:58, 16.41s/it]
+
mmlu_mr:  12%|█████████████▊                                                                                                      | 46/385 [12:30<1:37:24, 17.24s/it]
+
mmlu_mr:  12%|██████████████▏                                                                                                     | 47/385 [12:50<1:41:24, 18.00s/it]
+
mmlu_mr:  12%|██████████████▍                                                                                                     | 48/385 [13:07<1:39:49, 17.77s/it]
+
mmlu_mr:  13%|██████████████▊                                                                                                     | 49/385 [13:21<1:33:56, 16.78s/it]
+
mmlu_mr:  13%|███████████████                                                                                                     | 50/385 [13:39<1:35:31, 17.11s/it]
+
mmlu_mr:  13%|███████████████▎                                                                                                    | 51/385 [13:59<1:38:46, 17.74s/it]
+
mmlu_mr:  14%|███████████████▋                                                                                                    | 52/385 [14:12<1:31:29, 16.49s/it]
+
mmlu_mr:  14%|███████████████▉                                                                                                    | 53/385 [14:29<1:31:44, 16.58s/it]
+
mmlu_mr:  14%|████████████████▎                                                                                                   | 54/385 [14:45<1:30:21, 16.38s/it]
+
mmlu_mr:  14%|████████████████▌                                                                                                   | 55/385 [14:58<1:24:47, 15.42s/it]
+
mmlu_mr:  15%|████████████████▊                                                                                                   | 56/385 [15:14<1:26:14, 15.73s/it]
+
mmlu_mr:  15%|█████████████████▏                                                                                                  | 57/385 [15:35<1:33:34, 17.12s/it]
+
mmlu_mr:  15%|█████████████████▍                                                                                                  | 58/385 [15:50<1:30:39, 16.64s/it]
+
mmlu_mr:  15%|█████████████████▊                                                                                                  | 59/385 [16:10<1:35:29, 17.58s/it]
+
mmlu_mr:  16%|██████████████████                                                                                                  | 60/385 [16:25<1:31:23, 16.87s/it]
+
mmlu_mr:  16%|██████████████████▍                                                                                                 | 61/385 [16:40<1:28:06, 16.32s/it]
+
mmlu_mr:  16%|██████████████████▋                                                                                                 | 62/385 [16:57<1:28:01, 16.35s/it]
+
mmlu_mr:  16%|██████████████████▉                                                                                                 | 63/385 [17:15<1:31:12, 16.99s/it]
+
mmlu_mr:  17%|███████████████████▎                                                                                                | 64/385 [17:35<1:35:08, 17.78s/it]
+
mmlu_mr:  17%|███████████████████▌                                                                                                | 65/385 [17:53<1:35:50, 17.97s/it]
+
mmlu_mr:  17%|███████████████████▉                                                                                                | 66/385 [18:08<1:29:56, 16.92s/it]
+
mmlu_mr:  17%|████████████████████▏                                                                                               | 67/385 [18:29<1:36:27, 18.20s/it]
+
mmlu_mr:  18%|████████████████████▍                                                                                               | 68/385 [18:45<1:33:01, 17.61s/it]
+
mmlu_mr:  18%|████████████████████▊                                                                                               | 69/385 [19:01<1:29:34, 17.01s/it]
+
mmlu_mr:  18%|█████████████████████                                                                                               | 70/385 [19:15<1:24:19, 16.06s/it]
+
mmlu_mr:  18%|█████████████████████▍                                                                                              | 71/385 [19:29<1:21:38, 15.60s/it]
+
mmlu_mr:  19%|█████████████████████▋                                                                                              | 72/385 [19:43<1:19:16, 15.20s/it]
+
mmlu_mr:  19%|█████████████████████▉                                                                                              | 73/385 [19:57<1:16:25, 14.70s/it]
+
mmlu_mr:  19%|██████████████████████▎                                                                                             | 74/385 [20:16<1:22:12, 15.86s/it]
+
mmlu_mr:  19%|██████████████████████▌                                                                                             | 75/385 [20:31<1:21:32, 15.78s/it]
+
mmlu_mr:  20%|██████████████████████▉                                                                                             | 76/385 [20:47<1:20:41, 15.67s/it]
+
mmlu_mr:  20%|███████████████████████▏                                                                                            | 77/385 [21:05<1:24:39, 16.49s/it]
+
mmlu_mr:  20%|███████████████████████▌                                                                                            | 78/385 [21:21<1:23:28, 16.32s/it]
+
mmlu_mr:  21%|███████████████████████▊                                                                                            | 79/385 [21:36<1:20:58, 15.88s/it]
+
mmlu_mr:  21%|████████████████████████                                                                                            | 80/385 [21:56<1:26:53, 17.09s/it]
+
mmlu_mr:  21%|████████████████████████▍                                                                                           | 81/385 [22:12<1:26:12, 17.01s/it]
+
mmlu_mr:  21%|████████████████████████▋                                                                                           | 82/385 [22:31<1:28:38, 17.55s/it]
+
mmlu_mr:  22%|█████████████████████████                                                                                           | 83/385 [22:44<1:21:20, 16.16s/it]
+
mmlu_mr:  22%|█████████████████████████▎                                                                                          | 84/385 [23:01<1:21:31, 16.25s/it]
+
mmlu_mr:  22%|█████████████████████████▌                                                                                          | 85/385 [23:14<1:17:15, 15.45s/it]
+
mmlu_mr:  22%|█████████████████████████▉                                                                                          | 86/385 [23:30<1:17:49, 15.62s/it]
+
mmlu_mr:  23%|██████████████████████████▏                                                                                         | 87/385 [23:50<1:23:35, 16.83s/it]
+
mmlu_mr:  23%|██████████████████████████▌                                                                                         | 88/385 [24:06<1:22:08, 16.60s/it]
+
mmlu_mr:  23%|██████████████████████████▊                                                                                         | 89/385 [24:22<1:21:08, 16.45s/it]
+
mmlu_mr:  23%|███████████████████████████                                                                                         | 90/385 [24:38<1:20:00, 16.27s/it]
+
mmlu_mr:  24%|███████████████████████████▍                                                                                        | 91/385 [24:52<1:16:41, 15.65s/it]
+
mmlu_mr:  24%|███████████████████████████▋                                                                                        | 92/385 [25:07<1:15:37, 15.49s/it]
+
mmlu_mr:  24%|████████████████████████████                                                                                        | 93/385 [25:25<1:18:43, 16.18s/it]
+
mmlu_mr:  24%|████████████████████████████▎                                                                                       | 94/385 [25:42<1:19:58, 16.49s/it]
+
mmlu_mr:  25%|████████████████████████████▌                                                                                       | 95/385 [25:55<1:13:51, 15.28s/it]
+
mmlu_mr:  25%|████████████████████████████▉                                                                                       | 96/385 [26:08<1:10:38, 14.67s/it]
+
mmlu_mr:  25%|█████████████████████████████▏                                                                                      | 97/385 [26:25<1:13:49, 15.38s/it]
+
mmlu_mr:  25%|█████████████████████████████▌                                                                                      | 98/385 [26:42<1:15:18, 15.74s/it]
+
mmlu_mr:  26%|█████████████████████████████▊                                                                                      | 99/385 [26:57<1:15:15, 15.79s/it]
+
mmlu_mr:  26%|█████████████████████████████▊                                                                                     | 100/385 [27:12<1:13:19, 15.44s/it]
+
mmlu_mr:  26%|██████████████████████████████▏                                                                                    | 101/385 [27:28<1:13:39, 15.56s/it]
+
mmlu_mr:  26%|██████████████████████████████▍                                                                                    | 102/385 [27:45<1:16:06, 16.14s/it]
+
mmlu_mr:  27%|██████████████████████████████▊                                                                                    | 103/385 [28:02<1:16:27, 16.27s/it]
+
mmlu_mr:  27%|███████████████████████████████                                                                                    | 104/385 [28:20<1:18:14, 16.71s/it]
+
mmlu_mr:  27%|███████████████████████████████▎                                                                                   | 105/385 [28:37<1:18:30, 16.82s/it]
+
mmlu_mr:  28%|███████████████████████████████▋                                                                                   | 106/385 [28:53<1:16:44, 16.51s/it]
+
mmlu_mr:  28%|███████████████████████████████▉                                                                                   | 107/385 [29:11<1:19:31, 17.16s/it]
+
mmlu_mr:  28%|████████████████████████████████▎                                                                                  | 108/385 [29:31<1:22:09, 17.79s/it]
+
mmlu_mr:  28%|████████████████████████████████▌                                                                                  | 109/385 [29:47<1:20:31, 17.51s/it]
+
mmlu_mr:  29%|████████████████████████████████▊                                                                                  | 110/385 [30:03<1:17:15, 16.86s/it]
+
mmlu_mr:  29%|█████████████████████████████████▏                                                                                 | 111/385 [30:18<1:15:28, 16.53s/it]
+
mmlu_mr:  29%|█████████████████████████████████▍                                                                                 | 112/385 [30:35<1:15:38, 16.63s/it]
+
mmlu_mr:  29%|█████████████████████████████████▊                                                                                 | 113/385 [30:52<1:15:16, 16.60s/it]
+
mmlu_mr:  30%|██████████████████████████████████                                                                                 | 114/385 [31:07<1:12:54, 16.14s/it]
+
mmlu_mr:  30%|██████████████████████████████████▎                                                                                | 115/385 [31:23<1:12:33, 16.12s/it]
+
mmlu_mr:  30%|██████████████████████████████████▋                                                                                | 116/385 [31:38<1:10:48, 15.79s/it]
+
mmlu_mr:  30%|██████████████████████████████████▉                                                                                | 117/385 [31:56<1:13:30, 16.46s/it]
+
mmlu_mr:  31%|███████████████████████████████████▏                                                                               | 118/385 [32:16<1:17:24, 17.39s/it]
+
mmlu_mr:  31%|███████████████████████████████████▌                                                                               | 119/385 [32:32<1:16:23, 17.23s/it]
+
mmlu_mr:  31%|███████████████████████████████████▊                                                                               | 120/385 [32:50<1:17:03, 17.45s/it]
+
mmlu_mr:  31%|████████████████████████████████████▏                                                                              | 121/385 [33:09<1:18:18, 17.80s/it]
+
mmlu_mr:  32%|████████████████████████████████████▍                                                                              | 122/385 [33:24<1:14:33, 17.01s/it]
+
mmlu_mr:  32%|████████████████████████████████████▋                                                                              | 123/385 [33:39<1:11:01, 16.26s/it]
+
mmlu_mr:  32%|█████████████████████████████████████                                                                              | 124/385 [33:59<1:15:24, 17.33s/it]
+
mmlu_mr:  32%|█████████████████████████████████████▎                                                                             | 125/385 [34:13<1:11:38, 16.53s/it]
+
mmlu_mr:  33%|█████████████████████████████████████▋                                                                             | 126/385 [34:32<1:14:32, 17.27s/it]
+
mmlu_mr:  33%|█████████████████████████████████████▉                                                                             | 127/385 [34:49<1:13:48, 17.16s/it]
+
mmlu_mr:  33%|██████████████████████████████████████▏                                                                            | 128/385 [35:07<1:14:00, 17.28s/it]
+
mmlu_mr:  34%|██████████████████████████████████████▌                                                                            | 129/385 [35:26<1:15:57, 17.80s/it]
+
mmlu_mr:  34%|██████████████████████████████████████▊                                                                            | 130/385 [35:42<1:13:20, 17.26s/it]
+
mmlu_mr:  34%|███████████████████████████████████████▏                                                                           | 131/385 [36:00<1:14:44, 17.66s/it]
+
mmlu_mr:  34%|███████████████████████████████████████▍                                                                           | 132/385 [36:17<1:12:38, 17.23s/it]
+
mmlu_mr:  35%|███████████████████████████████████████▋                                                                           | 133/385 [36:31<1:08:49, 16.39s/it]
+
mmlu_mr:  35%|████████████████████████████████████████                                                                           | 134/385 [36:43<1:03:16, 15.13s/it]
+
mmlu_mr:  35%|████████████████████████████████████████▎                                                                          | 135/385 [37:00<1:05:03, 15.61s/it]
+
mmlu_mr:  35%|████████████████████████████████████████▌                                                                          | 136/385 [37:18<1:08:02, 16.40s/it]
+
mmlu_mr:  36%|████████████████████████████████████████▉                                                                          | 137/385 [37:35<1:08:05, 16.47s/it]
+
mmlu_mr:  36%|█████████████████████████████████████████▏                                                                         | 138/385 [37:51<1:08:03, 16.53s/it]
+
mmlu_mr:  36%|█████████████████████████████████████████▌                                                                         | 139/385 [38:09<1:09:30, 16.95s/it]
+
mmlu_mr:  36%|█████████████████████████████████████████▊                                                                         | 140/385 [38:23<1:05:32, 16.05s/it]
+
mmlu_mr:  37%|██████████████████████████████████████████                                                                         | 141/385 [38:38<1:03:05, 15.51s/it]
+
mmlu_mr:  37%|██████████████████████████████████████████▍                                                                        | 142/385 [38:52<1:01:51, 15.27s/it]
+
mmlu_mr:  37%|██████████████████████████████████████████▋                                                                        | 143/385 [39:08<1:01:46, 15.32s/it]
+
mmlu_mr:  37%|███████████████████████████████████████████                                                                        | 144/385 [39:22<1:00:00, 14.94s/it]
+
mmlu_mr:  38%|████████████████████████████████████████████                                                                         | 145/385 [39:37<59:45, 14.94s/it]
+
mmlu_mr:  38%|███████████████████████████████████████████▌                                                                       | 146/385 [39:54<1:01:55, 15.55s/it]
+
mmlu_mr:  38%|███████████████████████████████████████████▉                                                                       | 147/385 [40:13<1:06:12, 16.69s/it]
+
mmlu_mr:  38%|████████████████████████████████████████████▏                                                                      | 148/385 [40:30<1:05:59, 16.71s/it]
+
mmlu_mr:  39%|████████████████████████████████████████████▌                                                                      | 149/385 [40:47<1:06:25, 16.89s/it]
+
mmlu_mr:  39%|████████████████████████████████████████████▊                                                                      | 150/385 [41:02<1:03:42, 16.27s/it]
+
mmlu_mr:  39%|█████████████████████████████████████████████                                                                      | 151/385 [41:18<1:03:05, 16.18s/it]
+
mmlu_mr:  39%|█████████████████████████████████████████████▍                                                                     | 152/385 [41:35<1:03:38, 16.39s/it]
+
mmlu_mr:  40%|█████████████████████████████████████████████▋                                                                     | 153/385 [41:50<1:02:00, 16.04s/it]
+
mmlu_mr:  40%|██████████████████████████████████████████████                                                                     | 154/385 [42:06<1:01:37, 16.01s/it]
+
mmlu_mr:  40%|██████████████████████████████████████████████▎                                                                    | 155/385 [42:25<1:04:43, 16.88s/it]
+
mmlu_mr:  41%|██████████████████████████████████████████████▌                                                                    | 156/385 [42:42<1:05:19, 17.12s/it]
+
mmlu_mr:  41%|██████████████████████████████████████████████▉                                                                    | 157/385 [42:58<1:03:04, 16.60s/it]
+
mmlu_mr:  41%|███████████████████████████████████████████████▏                                                                   | 158/385 [43:15<1:03:27, 16.77s/it]
+
mmlu_mr:  41%|███████████████████████████████████████████████▍                                                                   | 159/385 [43:32<1:03:05, 16.75s/it]
+
mmlu_mr:  42%|███████████████████████████████████████████████▊                                                                   | 160/385 [43:47<1:01:26, 16.39s/it]
+
mmlu_mr:  42%|████████████████████████████████████████████████▉                                                                    | 161/385 [44:02<59:43, 16.00s/it]
+
mmlu_mr:  42%|█████████████████████████████████████████████████▏                                                                   | 162/385 [44:17<58:05, 15.63s/it]
+
mmlu_mr:  42%|█████████████████████████████████████████████████▌                                                                   | 163/385 [44:31<56:17, 15.21s/it]
+
mmlu_mr:  43%|█████████████████████████████████████████████████▊                                                                   | 164/385 [44:48<57:45, 15.68s/it]
+
mmlu_mr:  43%|██████████████████████████████████████████████████▏                                                                  | 165/385 [45:05<58:34, 15.98s/it]
+
mmlu_mr:  43%|██████████████████████████████████████████████████▍                                                                  | 166/385 [45:21<58:38, 16.07s/it]
+
mmlu_mr:  43%|██████████████████████████████████████████████████▊                                                                  | 167/385 [45:38<59:27, 16.37s/it]
+
mmlu_mr:  44%|███████████████████████████████████████████████████                                                                  | 168/385 [45:52<56:01, 15.49s/it]
+
mmlu_mr:  44%|███████████████████████████████████████████████████▎                                                                 | 169/385 [46:08<57:01, 15.84s/it]
+
mmlu_mr:  44%|███████████████████████████████████████████████████▋                                                                 | 170/385 [46:21<53:56, 15.05s/it]
+
mmlu_mr:  44%|███████████████████████████████████████████████████▉                                                                 | 171/385 [46:38<55:37, 15.59s/it]
+
mmlu_mr:  45%|████████████████████████████████████████████████████▎                                                                | 172/385 [46:55<56:20, 15.87s/it]
+
mmlu_mr:  45%|████████████████████████████████████████████████████▌                                                                | 173/385 [47:12<57:25, 16.25s/it]
+
mmlu_mr:  45%|████████████████████████████████████████████████████▉                                                                | 174/385 [47:28<56:34, 16.09s/it]
+
mmlu_mr:  45%|█████████████████████████████████████████████████████▏                                                               | 175/385 [47:40<52:30, 15.00s/it]
+
mmlu_mr:  46%|█████████████████████████████████████████████████████▍                                                               | 176/385 [47:55<52:17, 15.01s/it]
+
mmlu_mr:  46%|█████████████████████████████████████████████████████▊                                                               | 177/385 [48:11<53:14, 15.36s/it]
+
mmlu_mr:  46%|██████████████████████████████████████████████████████                                                               | 178/385 [48:27<53:22, 15.47s/it]
+
mmlu_mr:  46%|██████████████████████████████████████████████████████▍                                                              | 179/385 [48:46<56:11, 16.37s/it]
+
mmlu_mr:  47%|██████████████████████████████████████████████████████▋                                                              | 180/385 [49:03<57:04, 16.70s/it]
+
mmlu_mr:  47%|███████████████████████████████████████████████████████                                                              | 181/385 [49:21<57:35, 16.94s/it]
+
mmlu_mr:  47%|███████████████████████████████████████████████████████▎                                                             | 182/385 [49:37<57:18, 16.94s/it]
+
mmlu_mr:  48%|███████████████████████████████████████████████████████▌                                                             | 183/385 [49:57<59:58, 17.81s/it]
+
mmlu_mr:  48%|███████████████████████████████████████████████████████▉                                                             | 184/385 [50:11<55:49, 16.66s/it]
+
mmlu_mr:  48%|████████████████████████████████████████████████████████▏                                                            | 185/385 [50:27<54:37, 16.39s/it]
+
mmlu_mr:  48%|████████████████████████████████████████████████████████▌                                                            | 186/385 [50:45<56:14, 16.96s/it]
+
mmlu_mr:  49%|████████████████████████████████████████████████████████▊                                                            | 187/385 [50:58<51:39, 15.66s/it]
+
mmlu_mr:  49%|█████████████████████████████████████████████████████████▏                                                           | 188/385 [51:15<53:04, 16.16s/it]
+
mmlu_mr:  49%|█████████████████████████████████████████████████████████▍                                                           | 189/385 [51:31<52:25, 16.05s/it]
+
mmlu_mr:  49%|█████████████████████████████████████████████████████████▋                                                           | 190/385 [51:45<49:57, 15.37s/it]
+
mmlu_mr:  50%|██████████████████████████████████████████████████████████                                                           | 191/385 [52:05<54:31, 16.86s/it]
+
mmlu_mr:  50%|██████████████████████████████████████████████████████████▎                                                          | 192/385 [52:26<57:37, 17.91s/it]
+
mmlu_mr:  50%|██████████████████████████████████████████████████████████▋                                                          | 193/385 [52:46<59:19, 18.54s/it]
+
mmlu_mr:  50%|██████████████████████████████████████████████████████████▉                                                          | 194/385 [53:03<58:03, 18.24s/it]
+
mmlu_mr:  51%|███████████████████████████████████████████████████████████▎                                                         | 195/385 [53:20<56:43, 17.91s/it]
+
mmlu_mr:  51%|███████████████████████████████████████████████████████████▌                                                         | 196/385 [53:39<56:56, 18.08s/it]
+
mmlu_mr:  51%|███████████████████████████████████████████████████████████▊                                                         | 197/385 [53:53<52:35, 16.79s/it]
+
mmlu_mr:  51%|████████████████████████████████████████████████████████████▏                                                        | 198/385 [54:11<54:08, 17.37s/it]
+
mmlu_mr:  52%|████████████████████████████████████████████████████████████▍                                                        | 199/385 [54:27<52:23, 16.90s/it]
+
mmlu_mr:  52%|████████████████████████████████████████████████████████████▊                                                        | 200/385 [54:44<51:53, 16.83s/it]
+
mmlu_mr:  52%|█████████████████████████████████████████████████████████████                                                        | 201/385 [55:02<53:21, 17.40s/it]
+
mmlu_mr:  52%|█████████████████████████████████████████████████████████████▍                                                       | 202/385 [55:19<52:03, 17.07s/it]
+
mmlu_mr:  53%|█████████████████████████████████████████████████████████████▋                                                       | 203/385 [55:35<51:12, 16.88s/it]
+
mmlu_mr:  53%|█████████████████████████████████████████████████████████████▉                                                       | 204/385 [55:52<51:12, 16.98s/it]
+
mmlu_mr:  53%|██████████████████████████████████████████████████████████████▎                                                      | 205/385 [56:08<49:27, 16.48s/it]
+
mmlu_mr:  54%|██████████████████████████████████████████████████████████████▌                                                      | 206/385 [56:22<47:33, 15.94s/it]
+
mmlu_mr:  54%|██████████████████████████████████████████████████████████████▉                                                      | 207/385 [56:42<50:20, 16.97s/it]
+
mmlu_mr:  54%|███████████████████████████████████████████████████████████████▏                                                     | 208/385 [56:56<47:36, 16.14s/it]
+
mmlu_mr:  54%|███████████████████████████████████████████████████████████████▌                                                     | 209/385 [57:14<48:53, 16.67s/it]
+
mmlu_mr:  55%|███████████████████████████████████████████████████████████████▊                                                     | 210/385 [57:28<46:19, 15.88s/it]
+
mmlu_mr:  55%|████████████████████████████████████████████████████████████████                                                     | 211/385 [57:43<45:09, 15.57s/it]
+
mmlu_mr:  55%|████████████████████████████████████████████████████████████████▍                                                    | 212/385 [57:59<45:13, 15.68s/it]
+
mmlu_mr:  55%|████████████████████████████████████████████████████████████████▋                                                    | 213/385 [58:16<46:17, 16.15s/it]
+
mmlu_mr:  56%|█████████████████████████████████████████████████████████████████                                                    | 214/385 [58:30<43:54, 15.41s/it]
+
mmlu_mr:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 215/385 [58:43<42:16, 14.92s/it]
+
mmlu_mr:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 216/385 [59:00<43:06, 15.30s/it]
+
mmlu_mr:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 217/385 [59:19<46:04, 16.45s/it]
+
mmlu_mr:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 218/385 [59:35<46:02, 16.54s/it]
+
mmlu_mr:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 219/385 [59:50<44:18, 16.01s/it]
+
mmlu_mr:  57%|█████████████████████████████████████████████████████████████████▋                                                 | 220/385 [1:00:07<44:58, 16.35s/it]
+
mmlu_mr:  57%|██████████████████████████████████████████████████████████████████                                                 | 221/385 [1:00:26<46:20, 16.96s/it]
+
mmlu_mr:  58%|██████████████████████████████████████████████████████████████████▎                                                | 222/385 [1:00:43<45:56, 16.91s/it]
+
mmlu_mr:  58%|██████████████████████████████████████████████████████████████████▌                                                | 223/385 [1:01:00<46:10, 17.10s/it]
+
mmlu_mr:  58%|██████████████████████████████████████████████████████████████████▉                                                | 224/385 [1:01:17<45:36, 17.00s/it]
+
mmlu_mr:  58%|███████████████████████████████████████████████████████████████████▏                                               | 225/385 [1:01:35<46:24, 17.40s/it]
+
mmlu_mr:  59%|███████████████████████████████████████████████████████████████████▌                                               | 226/385 [1:01:51<44:53, 16.94s/it]
+
mmlu_mr:  59%|███████████████████████████████████████████████████████████████████▊                                               | 227/385 [1:02:07<44:07, 16.75s/it]
+
mmlu_mr:  59%|████████████████████████████████████████████████████████████████████                                               | 228/385 [1:02:23<42:31, 16.25s/it]
+
mmlu_mr:  59%|████████████████████████████████████████████████████████████████████▍                                              | 229/385 [1:02:40<43:11, 16.61s/it]
+
mmlu_mr:  60%|████████████████████████████████████████████████████████████████████▋                                              | 230/385 [1:02:56<42:37, 16.50s/it]
+
mmlu_mr:  60%|█████████████████████████████████████████████████████████████████████                                              | 231/385 [1:03:15<44:19, 17.27s/it]
+
mmlu_mr:  60%|█████████████████████████████████████████████████████████████████████▎                                             | 232/385 [1:03:32<43:51, 17.20s/it]
+
mmlu_mr:  61%|█████████████████████████████████████████████████████████████████████▌                                             | 233/385 [1:03:49<42:58, 16.96s/it]
+
mmlu_mr:  61%|█████████████████████████████████████████████████████████████████████▉                                             | 234/385 [1:04:05<42:29, 16.89s/it]
+
mmlu_mr:  61%|██████████████████████████████████████████████████████████████████████▏                                            | 235/385 [1:04:22<42:08, 16.86s/it]
+
mmlu_mr:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 236/385 [1:04:37<40:32, 16.33s/it]
+
mmlu_mr:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 237/385 [1:04:54<40:53, 16.58s/it]
+
mmlu_mr:  62%|███████████████████████████████████████████████████████████████████████                                            | 238/385 [1:05:09<39:25, 16.10s/it]
+
mmlu_mr:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 239/385 [1:05:27<39:58, 16.42s/it]
+
mmlu_mr:  62%|███████████████████████████████████████████████████████████████████████▋                                           | 240/385 [1:05:41<37:55, 15.69s/it]
+
mmlu_mr:  63%|███████████████████████████████████████████████████████████████████████▉                                           | 241/385 [1:06:00<39:58, 16.65s/it]
+
mmlu_mr:  63%|████████████████████████████████████████████████████████████████████████▎                                          | 242/385 [1:06:15<39:02, 16.38s/it]
+
mmlu_mr:  63%|████████████████████████████████████████████████████████████████████████▌                                          | 243/385 [1:06:29<36:41, 15.50s/it]
+
mmlu_mr:  63%|████████████████████████████████████████████████████████████████████████▉                                          | 244/385 [1:06:43<35:25, 15.08s/it]
+
mmlu_mr:  64%|█████████████████████████████████████████████████████████████████████████▏                                         | 245/385 [1:06:58<35:18, 15.13s/it]
+
mmlu_mr:  64%|█████████████████████████████████████████████████████████████████████████▍                                         | 246/385 [1:07:12<34:27, 14.87s/it]
+
mmlu_mr:  64%|█████████████████████████████████████████████████████████████████████████▊                                         | 247/385 [1:07:27<34:01, 14.79s/it]
+
mmlu_mr:  64%|██████████████████████████████████████████████████████████████████████████                                         | 248/385 [1:07:43<34:50, 15.26s/it]
+
mmlu_mr:  65%|██████████████████████████████████████████████████████████████████████████▍                                        | 249/385 [1:07:56<33:10, 14.63s/it]
+
mmlu_mr:  65%|██████████████████████████████████████████████████████████████████████████▋                                        | 250/385 [1:08:17<36:43, 16.32s/it]
+
mmlu_mr:  65%|██████████████████████████████████████████████████████████████████████████▉                                        | 251/385 [1:08:34<37:02, 16.59s/it]
+
mmlu_mr:  65%|███████████████████████████████████████████████████████████████████████████▎                                       | 252/385 [1:08:53<38:25, 17.33s/it]
+
mmlu_mr:  66%|███████████████████████████████████████████████████████████████████████████▌                                       | 253/385 [1:09:07<35:52, 16.30s/it]
+
mmlu_mr:  66%|███████████████████████████████████████████████████████████████████████████▊                                       | 254/385 [1:09:22<34:46, 15.92s/it]
+
mmlu_mr:  66%|████████████████████████████████████████████████████████████████████████████▏                                      | 255/385 [1:09:38<34:19, 15.85s/it]
+
mmlu_mr:  66%|████████████████████████████████████████████████████████████████████████████▍                                      | 256/385 [1:09:55<34:56, 16.25s/it]
+
mmlu_mr:  67%|████████████████████████████████████████████████████████████████████████████▊                                      | 257/385 [1:10:09<33:38, 15.77s/it]
+
mmlu_mr:  67%|█████████████████████████████████████████████████████████████████████████████                                      | 258/385 [1:10:26<33:50, 15.99s/it]
+
mmlu_mr:  67%|█████████████████████████████████████████████████████████████████████████████▎                                     | 259/385 [1:10:42<33:41, 16.05s/it]
+
mmlu_mr:  68%|█████████████████████████████████████████████████████████████████████████████▋                                     | 260/385 [1:11:03<36:39, 17.60s/it]
+
mmlu_mr:  68%|█████████████████████████████████████████████████████████████████████████████▉                                     | 261/385 [1:11:19<35:12, 17.04s/it]
+
mmlu_mr:  68%|██████████████████████████████████████████████████████████████████████████████▎                                    | 262/385 [1:11:38<35:47, 17.46s/it]
+
mmlu_mr:  68%|██████████████████████████████████████████████████████████████████████████████▌                                    | 263/385 [1:11:52<33:27, 16.45s/it]
+
mmlu_mr:  69%|██████████████████████████████████████████████████████████████████████████████▊                                    | 264/385 [1:12:07<32:15, 15.99s/it]
+
mmlu_mr:  69%|███████████████████████████████████████████████████████████████████████████████▏                                   | 265/385 [1:12:21<30:47, 15.39s/it]
+
mmlu_mr:  69%|███████████████████████████████████████████████████████████████████████████████▍                                   | 266/385 [1:12:34<29:37, 14.94s/it]
+
mmlu_mr:  69%|███████████████████████████████████████████████████████████████████████████████▊                                   | 267/385 [1:12:50<29:44, 15.13s/it]
+
mmlu_mr:  70%|████████████████████████████████████████████████████████████████████████████████                                   | 268/385 [1:13:05<29:16, 15.02s/it]
+
mmlu_mr:  70%|████████████████████████████████████████████████████████████████████████████████▎                                  | 269/385 [1:13:19<28:50, 14.91s/it]
+
mmlu_mr:  70%|████████████████████████████████████████████████████████████████████████████████▋                                  | 270/385 [1:13:35<28:52, 15.07s/it]
+
mmlu_mr:  70%|████████████████████████████████████████████████████████████████████████████████▉                                  | 271/385 [1:13:49<28:14, 14.87s/it]
+
mmlu_mr:  71%|█████████████████████████████████████████████████████████████████████████████████▏                                 | 272/385 [1:14:06<28:48, 15.30s/it]
+
mmlu_mr:  71%|█████████████████████████████████████████████████████████████████████████████████▌                                 | 273/385 [1:14:21<28:49, 15.44s/it]
+
mmlu_mr:  71%|█████████████████████████████████████████████████████████████████████████████████▊                                 | 274/385 [1:14:38<29:28, 15.93s/it]
+
mmlu_mr:  71%|██████████████████████████████████████████████████████████████████████████████████▏                                | 275/385 [1:14:52<28:01, 15.28s/it]
+
mmlu_mr:  72%|██████████████████████████████████████████████████████████████████████████████████▍                                | 276/385 [1:15:06<27:06, 14.92s/it]
+
mmlu_mr:  72%|██████████████████████████████████████████████████████████████████████████████████▋                                | 277/385 [1:15:24<28:17, 15.72s/it]
+
mmlu_mr:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 278/385 [1:15:39<28:01, 15.71s/it]
+
mmlu_mr:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 279/385 [1:15:56<28:21, 16.05s/it]
+
mmlu_mr:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 280/385 [1:16:13<28:30, 16.30s/it]
+
mmlu_mr:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 281/385 [1:16:29<27:54, 16.10s/it]
+
mmlu_mr:  73%|████████████████████████████████████████████████████████████████████████████████████▏                              | 282/385 [1:16:47<28:29, 16.60s/it]
+
mmlu_mr:  74%|████████████████████████████████████████████████████████████████████████████████████▌                              | 283/385 [1:17:03<28:01, 16.48s/it]
+
mmlu_mr:  74%|████████████████████████████████████████████████████████████████████████████████████▊                              | 284/385 [1:17:16<26:14, 15.59s/it]
+
mmlu_mr:  74%|█████████████████████████████████████████████████████████████████████████████████████▏                             | 285/385 [1:17:31<25:27, 15.27s/it]
+
mmlu_mr:  74%|█████████████████████████████████████████████████████████████████████████████████████▍                             | 286/385 [1:17:51<27:40, 16.78s/it]
+
mmlu_mr:  75%|█████████████████████████████████████████████████████████████████████████████████████▋                             | 287/385 [1:18:04<25:38, 15.69s/it]
+
mmlu_mr:  75%|██████████████████████████████████████████████████████████████████████████████████████                             | 288/385 [1:18:21<25:51, 16.00s/it]
+
mmlu_mr:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 289/385 [1:18:38<25:57, 16.22s/it]
+
mmlu_mr:  75%|██████████████████████████████████████████████████████████████████████████████████████▌                            | 290/385 [1:18:53<25:08, 15.88s/it]
+
mmlu_mr:  76%|██████████████████████████████████████████████████████████████████████████████████████▉                            | 291/385 [1:19:06<23:41, 15.13s/it]
+
mmlu_mr:  76%|███████████████████████████████████████████████████████████████████████████████████████▏                           | 292/385 [1:19:25<24:59, 16.13s/it]
+
mmlu_mr:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 293/385 [1:19:39<24:06, 15.72s/it]
+
mmlu_mr:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 294/385 [1:19:57<24:49, 16.37s/it]
+
mmlu_mr:  77%|████████████████████████████████████████████████████████████████████████████████████████                           | 295/385 [1:20:15<25:01, 16.68s/it]
+
mmlu_mr:  77%|████████████████████████████████████████████████████████████████████████████████████████▍                          | 296/385 [1:20:30<24:12, 16.32s/it]
+
mmlu_mr:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 297/385 [1:20:44<22:42, 15.49s/it]
+
mmlu_mr:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 298/385 [1:21:02<23:52, 16.46s/it]
+
mmlu_mr:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 299/385 [1:21:21<24:35, 17.16s/it]
+
mmlu_mr:  78%|█████████████████████████████████████████████████████████████████████████████████████████▌                         | 300/385 [1:21:35<23:00, 16.25s/it]
+
mmlu_mr:  78%|█████████████████████████████████████████████████████████████████████████████████████████▉                         | 301/385 [1:21:57<25:06, 17.93s/it]
+
mmlu_mr:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 302/385 [1:22:11<22:59, 16.62s/it]
+
mmlu_mr:  79%|██████████████████████████████████████████████████████████████████████████████████████████▌                        | 303/385 [1:22:27<22:34, 16.52s/it]
+
mmlu_mr:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 304/385 [1:22:45<22:52, 16.95s/it]
+
mmlu_mr:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 305/385 [1:23:01<22:15, 16.69s/it]
+
mmlu_mr:  79%|███████████████████████████████████████████████████████████████████████████████████████████▍                       | 306/385 [1:23:22<23:30, 17.85s/it]
+
mmlu_mr:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 307/385 [1:23:36<21:55, 16.87s/it]
+
mmlu_mr:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 308/385 [1:23:52<21:07, 16.46s/it]
+
mmlu_mr:  80%|████████████████████████████████████████████████████████████████████████████████████████████▎                      | 309/385 [1:24:05<19:48, 15.63s/it]
+
mmlu_mr:  81%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 310/385 [1:24:23<20:18, 16.25s/it]
+
mmlu_mr:  81%|████████████████████████████████████████████████████████████████████████████████████████████▉                      | 311/385 [1:24:39<19:49, 16.07s/it]
+
mmlu_mr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▏                     | 312/385 [1:24:52<18:34, 15.27s/it]
+
mmlu_mr:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▍                     | 313/385 [1:25:08<18:28, 15.40s/it]
+
mmlu_mr:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▊                     | 314/385 [1:25:23<18:03, 15.26s/it]
+
mmlu_mr:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 315/385 [1:25:36<16:53, 14.48s/it]
+
mmlu_mr:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▍                    | 316/385 [1:25:50<16:40, 14.50s/it]
+
mmlu_mr:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▋                    | 317/385 [1:26:07<17:11, 15.16s/it]
+
mmlu_mr:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 318/385 [1:26:27<18:31, 16.59s/it]
+
mmlu_mr:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▎                   | 319/385 [1:26:41<17:39, 16.05s/it]
+
mmlu_mr:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▌                   | 320/385 [1:26:57<17:11, 15.86s/it]
+
mmlu_mr:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▉                   | 321/385 [1:27:15<17:36, 16.50s/it]
+
mmlu_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 322/385 [1:27:31<17:14, 16.43s/it]
+
mmlu_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 323/385 [1:27:52<18:18, 17.71s/it]
+
mmlu_mr:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 324/385 [1:28:08<17:24, 17.12s/it]
+
mmlu_mr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████                  | 325/385 [1:28:23<16:44, 16.74s/it]
+
mmlu_mr:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 326/385 [1:28:41<16:44, 17.03s/it]
+
mmlu_mr:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 327/385 [1:29:03<17:52, 18.49s/it]
+
mmlu_mr:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 328/385 [1:29:19<16:48, 17.70s/it]
+
mmlu_mr:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                | 329/385 [1:29:36<16:13, 17.39s/it]
+
mmlu_mr:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                | 330/385 [1:29:52<15:35, 17.01s/it]
+
mmlu_mr:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 331/385 [1:30:08<15:07, 16.81s/it]
+
mmlu_mr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏               | 332/385 [1:30:25<14:45, 16.70s/it]
+
mmlu_mr:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 333/385 [1:30:41<14:20, 16.55s/it]
+
mmlu_mr:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊               | 334/385 [1:30:57<13:57, 16.42s/it]
+
mmlu_mr:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████               | 335/385 [1:31:16<14:18, 17.18s/it]
+
mmlu_mr:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 336/385 [1:31:32<13:47, 16.89s/it]
+
mmlu_mr:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 337/385 [1:31:48<13:12, 16.50s/it]
+
mmlu_mr:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 338/385 [1:32:03<12:35, 16.08s/it]
+
mmlu_mr:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 339/385 [1:32:19<12:27, 16.24s/it]
+
mmlu_mr:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 340/385 [1:32:34<11:53, 15.85s/it]
+
mmlu_mr:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 341/385 [1:32:49<11:17, 15.39s/it]
+
mmlu_mr:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 342/385 [1:33:06<11:26, 15.97s/it]
+
mmlu_mr:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 343/385 [1:33:24<11:42, 16.73s/it]
+
mmlu_mr:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 344/385 [1:33:41<11:19, 16.57s/it]
+
mmlu_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████            | 345/385 [1:34:01<11:43, 17.59s/it]
+
mmlu_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 346/385 [1:34:16<10:59, 16.92s/it]
+
mmlu_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 347/385 [1:34:34<10:57, 17.31s/it]
+
mmlu_mr:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 348/385 [1:34:54<11:14, 18.22s/it]
+
mmlu_mr:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 349/385 [1:35:09<10:21, 17.25s/it]
+
mmlu_mr:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 350/385 [1:35:26<09:52, 16.93s/it]
+
mmlu_mr:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 351/385 [1:35:42<09:30, 16.79s/it]
+
mmlu_mr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 352/385 [1:35:57<08:57, 16.28s/it]
+
mmlu_mr:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 353/385 [1:36:16<09:04, 17.01s/it]
+
mmlu_mr:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 354/385 [1:36:32<08:37, 16.71s/it]
+
mmlu_mr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████         | 355/385 [1:36:49<08:24, 16.82s/it]
+
mmlu_mr:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 356/385 [1:37:06<08:09, 16.86s/it]
+
mmlu_mr:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 357/385 [1:37:25<08:06, 17.37s/it]
+
mmlu_mr:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 358/385 [1:37:38<07:17, 16.21s/it]
+
mmlu_mr:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 359/385 [1:37:55<07:04, 16.34s/it]
+
mmlu_mr:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 360/385 [1:38:10<06:37, 15.92s/it]
+
mmlu_mr:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 361/385 [1:38:25<06:16, 15.70s/it]
+
mmlu_mr:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 362/385 [1:38:41<06:02, 15.78s/it]
+
mmlu_mr:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 363/385 [1:39:00<06:07, 16.68s/it]
+
mmlu_mr:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 364/385 [1:39:16<05:47, 16.53s/it]
+
mmlu_mr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 365/385 [1:39:32<05:26, 16.33s/it]
+
mmlu_mr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 366/385 [1:39:46<04:56, 15.62s/it]
+
mmlu_mr:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 367/385 [1:39:59<04:30, 15.01s/it]
+
mmlu_mr:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 368/385 [1:40:16<04:24, 15.56s/it]
+
mmlu_mr:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 369/385 [1:40:33<04:15, 15.95s/it]
+
mmlu_mr:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 370/385 [1:40:48<03:53, 15.57s/it]
+
mmlu_mr:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 371/385 [1:41:04<03:43, 15.99s/it]
+
mmlu_mr:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 372/385 [1:41:22<03:32, 16.31s/it]
+
mmlu_mr:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 373/385 [1:41:35<03:06, 15.56s/it]
+
mmlu_mr:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 374/385 [1:41:51<02:52, 15.70s/it]
+
mmlu_mr:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 375/385 [1:42:11<02:49, 16.95s/it]
+
mmlu_mr:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 376/385 [1:42:29<02:34, 17.19s/it]
+
mmlu_mr:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 377/385 [1:42:45<02:15, 16.88s/it]
+
mmlu_mr:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 378/385 [1:43:02<01:58, 16.95s/it]
+
mmlu_mr:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 379/385 [1:43:19<01:41, 16.95s/it]
+
mmlu_mr:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 380/385 [1:43:33<01:20, 16.02s/it]
+
mmlu_mr:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 381/385 [1:43:52<01:07, 16.84s/it]
+
mmlu_mr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 382/385 [1:44:09<00:50, 16.84s/it]
+
mmlu_mr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 383/385 [1:44:25<00:33, 16.70s/it]
+
mmlu_mr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 384/385 [1:44:42<00:16, 16.90s/it]
+
mmlu_mr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 385/385 [1:44:57<00:00, 16.07s/it]
mmlu_mr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 385/385 [1:44:57<00:00, 16.36s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_mr_acc 0.2565581093153578
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_mr_acc_norm 0.2812474620319987
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 14:39:30,122 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 14:39:30,122 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:30,251 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 14:39:30,251 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:30,380 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 14:39:30,380 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 14:39:30,509 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 14:39:30,639 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 14:39:30,640 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_mr_acc'}
+2024-05-31 14:39:30,705 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 14:39:30,705 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1237, 'value': 0.2565581093153578}
+2024-05-31 14:39:30,771 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 14:39:31,423 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 14:39:31,423 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:31,551 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 14:39:31,552 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:31,680 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 14:39:31,680 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 14:39:31,808 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 14:39:31,938 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 14:39:31,938 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_mr_acc_norm'}
+2024-05-31 14:39:32,003 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 14:39:32,003 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1238, 'value': 0.2812474620319987}
+2024-05-31 14:39:32,068 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  65%|█████████████████████████████████████████████████████████████████████▋                                      | 80/124 [55:52:01<74:40:54, 6110.33s/it]['mmlu_ne']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 14:39:32,731 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 14:39:32,732 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:32,862 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 14:39:32,862 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:32,993 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 14:39:32,993 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 14:39:33,124 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 14:39:33,125 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 14:39:33,125 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_ne'}
+2024-05-31 14:39:33,257 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ne task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  9.47 examples/s]
+
Generating test split: 3262 examples [00:00, 18754.60 examples/s]
+
Generating test split: 6787 examples [00:00, 25707.39 examples/s]
+
Generating test split: 10000 examples [00:00, 27948.71 examples/s]
Generating test split: 12453 examples [00:00, 25227.16 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 215 examples [00:00, 25633.91 examples/s]
+Running loglikelihood requests
+
+
mmlu_ne:   0%|                                                                                                                               | 0/390 [00:00<?, ?it/s]
+
mmlu_ne:   0%|▎                                                                                                                    | 1/390 [00:15<1:38:54, 15.26s/it]
+
mmlu_ne:   1%|▌                                                                                                                    | 2/390 [00:31<1:43:00, 15.93s/it]
+
mmlu_ne:   1%|▉                                                                                                                    | 3/390 [00:50<1:52:16, 17.41s/it]
+
mmlu_ne:   1%|█▏                                                                                                                   | 4/390 [01:05<1:44:38, 16.26s/it]
+
mmlu_ne:   1%|█▌                                                                                                                   | 5/390 [01:20<1:41:55, 15.88s/it]
+
mmlu_ne:   2%|█▊                                                                                                                   | 6/390 [01:38<1:46:24, 16.63s/it]
+
mmlu_ne:   2%|██                                                                                                                   | 7/390 [01:53<1:41:34, 15.91s/it]
+
mmlu_ne:   2%|██▍                                                                                                                  | 8/390 [02:10<1:43:41, 16.29s/it]
+
mmlu_ne:   2%|██▋                                                                                                                  | 9/390 [02:27<1:44:36, 16.47s/it]
+
mmlu_ne:   3%|██▉                                                                                                                 | 10/390 [02:45<1:48:35, 17.15s/it]
+
mmlu_ne:   3%|███▎                                                                                                                | 11/390 [02:58<1:40:27, 15.90s/it]
+
mmlu_ne:   3%|███▌                                                                                                                | 12/390 [03:12<1:36:11, 15.27s/it]
+
mmlu_ne:   3%|███▊                                                                                                                | 13/390 [03:28<1:37:11, 15.47s/it]
+
mmlu_ne:   4%|████▏                                                                                                               | 14/390 [03:45<1:39:51, 15.94s/it]
+
mmlu_ne:   4%|████▍                                                                                                               | 15/390 [03:59<1:36:24, 15.43s/it]
+
mmlu_ne:   4%|████▊                                                                                                               | 16/390 [04:16<1:38:39, 15.83s/it]
+
mmlu_ne:   4%|█████                                                                                                               | 17/390 [04:29<1:33:39, 15.07s/it]
+
mmlu_ne:   5%|█████▎                                                                                                              | 18/390 [04:43<1:31:42, 14.79s/it]
+
mmlu_ne:   5%|█████▋                                                                                                              | 19/390 [04:57<1:29:25, 14.46s/it]
+
mmlu_ne:   5%|█████▉                                                                                                              | 20/390 [05:09<1:25:06, 13.80s/it]
+
mmlu_ne:   5%|██████▏                                                                                                             | 21/390 [05:25<1:27:31, 14.23s/it]
+
mmlu_ne:   6%|██████▌                                                                                                             | 22/390 [05:38<1:25:08, 13.88s/it]
+
mmlu_ne:   6%|██████▊                                                                                                             | 23/390 [05:55<1:30:25, 14.78s/it]
+
mmlu_ne:   6%|███████▏                                                                                                            | 24/390 [06:11<1:32:21, 15.14s/it]
+
mmlu_ne:   6%|███████▍                                                                                                            | 25/390 [06:29<1:38:02, 16.12s/it]
+
mmlu_ne:   7%|███████▋                                                                                                            | 26/390 [06:43<1:33:19, 15.38s/it]
+
mmlu_ne:   7%|████████                                                                                                            | 27/390 [06:59<1:35:25, 15.77s/it]
+
mmlu_ne:   7%|████████▎                                                                                                           | 28/390 [07:14<1:33:40, 15.53s/it]
+
mmlu_ne:   7%|████████▋                                                                                                           | 29/390 [07:29<1:31:10, 15.15s/it]
+
mmlu_ne:   8%|████████▉                                                                                                           | 30/390 [07:46<1:34:31, 15.75s/it]
+
mmlu_ne:   8%|█████████▏                                                                                                          | 31/390 [08:00<1:32:20, 15.43s/it]
+
mmlu_ne:   8%|█████████▌                                                                                                          | 32/390 [08:18<1:35:58, 16.09s/it]
+
mmlu_ne:   8%|█████████▊                                                                                                          | 33/390 [08:34<1:34:56, 15.96s/it]
+
mmlu_ne:   9%|██████████                                                                                                          | 34/390 [08:50<1:35:19, 16.07s/it]
+
mmlu_ne:   9%|██████████▍                                                                                                         | 35/390 [09:06<1:34:57, 16.05s/it]
+
mmlu_ne:   9%|██████████▋                                                                                                         | 36/390 [09:24<1:37:52, 16.59s/it]
+
mmlu_ne:   9%|███████████                                                                                                         | 37/390 [09:40<1:36:59, 16.48s/it]
+
mmlu_ne:  10%|███████████▎                                                                                                        | 38/390 [09:56<1:35:19, 16.25s/it]
+
mmlu_ne:  10%|███████████▌                                                                                                        | 39/390 [10:07<1:26:56, 14.86s/it]
+
mmlu_ne:  10%|███████████▉                                                                                                        | 40/390 [10:24<1:29:43, 15.38s/it]
+
mmlu_ne:  11%|████████████▏                                                                                                       | 41/390 [10:41<1:32:30, 15.90s/it]
+
mmlu_ne:  11%|████████████▍                                                                                                       | 42/390 [10:55<1:29:28, 15.43s/it]
+
mmlu_ne:  11%|████████████▊                                                                                                       | 43/390 [11:10<1:26:55, 15.03s/it]
+
mmlu_ne:  11%|█████████████                                                                                                       | 44/390 [11:23<1:23:54, 14.55s/it]
+
mmlu_ne:  12%|█████████████▍                                                                                                      | 45/390 [11:38<1:23:54, 14.59s/it]
+
mmlu_ne:  12%|█████████████▋                                                                                                      | 46/390 [11:52<1:23:55, 14.64s/it]
+
mmlu_ne:  12%|█████████████▉                                                                                                      | 47/390 [12:07<1:23:45, 14.65s/it]
+
mmlu_ne:  12%|██████████████▎                                                                                                     | 48/390 [12:21<1:21:34, 14.31s/it]
+
mmlu_ne:  13%|██████████████▌                                                                                                     | 49/390 [12:34<1:19:11, 13.93s/it]
+
mmlu_ne:  13%|██████████████▊                                                                                                     | 50/390 [12:49<1:20:34, 14.22s/it]
+
mmlu_ne:  13%|███████████████▏                                                                                                    | 51/390 [13:03<1:21:01, 14.34s/it]
+
mmlu_ne:  13%|███████████████▍                                                                                                    | 52/390 [13:18<1:21:34, 14.48s/it]
+
mmlu_ne:  14%|███████████████▊                                                                                                    | 53/390 [13:31<1:18:51, 14.04s/it]
+
mmlu_ne:  14%|████████████████                                                                                                    | 54/390 [13:46<1:20:21, 14.35s/it]
+
mmlu_ne:  14%|████████████████▎                                                                                                   | 55/390 [14:03<1:23:54, 15.03s/it]
+
mmlu_ne:  14%|████████████████▋                                                                                                   | 56/390 [14:17<1:21:58, 14.73s/it]
+
mmlu_ne:  15%|████████████████▉                                                                                                   | 57/390 [14:33<1:23:34, 15.06s/it]
+
mmlu_ne:  15%|█████████████████▎                                                                                                  | 58/390 [14:48<1:23:51, 15.16s/it]
+
mmlu_ne:  15%|█████████████████▌                                                                                                  | 59/390 [15:01<1:20:38, 14.62s/it]
+
mmlu_ne:  15%|█████████████████▊                                                                                                  | 60/390 [15:17<1:21:34, 14.83s/it]
+
mmlu_ne:  16%|██████████████████▏                                                                                                 | 61/390 [15:32<1:21:55, 14.94s/it]
+
mmlu_ne:  16%|██████████████████▍                                                                                                 | 62/390 [15:47<1:21:15, 14.86s/it]
+
mmlu_ne:  16%|██████████████████▋                                                                                                 | 63/390 [16:07<1:30:19, 16.57s/it]
+
mmlu_ne:  16%|███████████████████                                                                                                 | 64/390 [16:24<1:30:51, 16.72s/it]
+
mmlu_ne:  17%|███████████████████▎                                                                                                | 65/390 [16:40<1:29:28, 16.52s/it]
+
mmlu_ne:  17%|███████████████████▋                                                                                                | 66/390 [16:57<1:29:10, 16.51s/it]
+
mmlu_ne:  17%|███████████████████▉                                                                                                | 67/390 [17:12<1:27:06, 16.18s/it]
+
mmlu_ne:  17%|████████████████████▏                                                                                               | 68/390 [17:28<1:26:15, 16.07s/it]
+
mmlu_ne:  18%|████████████████████▌                                                                                               | 69/390 [17:42<1:22:36, 15.44s/it]
+
mmlu_ne:  18%|████████████████████▊                                                                                               | 70/390 [17:56<1:19:43, 14.95s/it]
+
mmlu_ne:  18%|█████████████████████                                                                                               | 71/390 [18:12<1:22:09, 15.45s/it]
+
mmlu_ne:  18%|█████████████████████▍                                                                                              | 72/390 [18:28<1:22:35, 15.58s/it]
+
mmlu_ne:  19%|█████████████████████▋                                                                                              | 73/390 [18:44<1:23:11, 15.74s/it]
+
mmlu_ne:  19%|██████████████████████                                                                                              | 74/390 [18:56<1:15:49, 14.40s/it]
+
mmlu_ne:  19%|██████████████████████▎                                                                                             | 75/390 [19:11<1:16:40, 14.60s/it]
+
mmlu_ne:  19%|██████████████████████▌                                                                                             | 76/390 [19:26<1:17:28, 14.80s/it]
+
mmlu_ne:  20%|██████████████████████▉                                                                                             | 77/390 [19:43<1:20:12, 15.38s/it]
+
mmlu_ne:  20%|███████████████████████▏                                                                                            | 78/390 [19:57<1:18:10, 15.03s/it]
+
mmlu_ne:  20%|███████████████████████▍                                                                                            | 79/390 [20:14<1:21:10, 15.66s/it]
+
mmlu_ne:  21%|███████████████████████▊                                                                                            | 80/390 [20:29<1:20:24, 15.56s/it]
+
mmlu_ne:  21%|████████████████████████                                                                                            | 81/390 [20:45<1:20:24, 15.61s/it]
+
mmlu_ne:  21%|████████████████████████▍                                                                                           | 82/390 [20:59<1:17:55, 15.18s/it]
+
mmlu_ne:  21%|████████████████████████▋                                                                                           | 83/390 [21:14<1:17:10, 15.08s/it]
+
mmlu_ne:  22%|████████████████████████▉                                                                                           | 84/390 [21:31<1:20:11, 15.72s/it]
+
mmlu_ne:  22%|█████████████████████████▎                                                                                          | 85/390 [21:45<1:17:18, 15.21s/it]
+
mmlu_ne:  22%|█████████████████████████▌                                                                                          | 86/390 [22:00<1:16:38, 15.13s/it]
+
mmlu_ne:  22%|█████████████████████████▉                                                                                          | 87/390 [22:14<1:14:14, 14.70s/it]
+
mmlu_ne:  23%|██████████████████████████▏                                                                                         | 88/390 [22:33<1:20:09, 15.93s/it]
+
mmlu_ne:  23%|██████████████████████████▍                                                                                         | 89/390 [22:51<1:23:06, 16.57s/it]
+
mmlu_ne:  23%|██████████████████████████▊                                                                                         | 90/390 [23:02<1:15:23, 15.08s/it]
+
mmlu_ne:  23%|███████████████████████████                                                                                         | 91/390 [23:17<1:14:36, 14.97s/it]
+
mmlu_ne:  24%|███████████████████████████▎                                                                                        | 92/390 [23:32<1:14:13, 14.95s/it]
+
mmlu_ne:  24%|███████████████████████████▋                                                                                        | 93/390 [23:48<1:15:23, 15.23s/it]
+
mmlu_ne:  24%|███████████████████████████▉                                                                                        | 94/390 [24:03<1:14:39, 15.13s/it]
+
mmlu_ne:  24%|████████████████████████████▎                                                                                       | 95/390 [24:19<1:16:18, 15.52s/it]
+
mmlu_ne:  25%|████████████████████████████▌                                                                                       | 96/390 [24:36<1:17:24, 15.80s/it]
+
mmlu_ne:  25%|████████████████████████████▊                                                                                       | 97/390 [24:52<1:17:37, 15.90s/it]
+
mmlu_ne:  25%|█████████████████████████████▏                                                                                      | 98/390 [25:08<1:17:04, 15.84s/it]
+
mmlu_ne:  25%|█████████████████████████████▍                                                                                      | 99/390 [25:21<1:13:21, 15.13s/it]
+
mmlu_ne:  26%|█████████████████████████████▍                                                                                     | 100/390 [25:41<1:20:08, 16.58s/it]
+
mmlu_ne:  26%|█████████████████████████████▊                                                                                     | 101/390 [25:58<1:19:57, 16.60s/it]
+
mmlu_ne:  26%|██████████████████████████████                                                                                     | 102/390 [26:11<1:15:35, 15.75s/it]
+
mmlu_ne:  26%|██████████████████████████████▎                                                                                    | 103/390 [26:30<1:18:57, 16.51s/it]
+
mmlu_ne:  27%|██████████████████████████████▋                                                                                    | 104/390 [26:48<1:21:13, 17.04s/it]
+
mmlu_ne:  27%|██████████████████████████████▉                                                                                    | 105/390 [27:04<1:19:22, 16.71s/it]
+
mmlu_ne:  27%|███████████████████████████████▎                                                                                   | 106/390 [27:21<1:19:47, 16.86s/it]
+
mmlu_ne:  27%|███████████████████████████████▌                                                                                   | 107/390 [27:35<1:15:59, 16.11s/it]
+
mmlu_ne:  28%|███████████████████████████████▊                                                                                   | 108/390 [27:54<1:19:37, 16.94s/it]
+
mmlu_ne:  28%|████████████████████████████████▏                                                                                  | 109/390 [28:12<1:20:53, 17.27s/it]
+
mmlu_ne:  28%|████████████████████████████████▍                                                                                  | 110/390 [28:26<1:15:32, 16.19s/it]
+
mmlu_ne:  28%|████████████████████████████████▋                                                                                  | 111/390 [28:41<1:13:53, 15.89s/it]
+
mmlu_ne:  29%|█████████████████████████████████                                                                                  | 112/390 [28:56<1:11:53, 15.52s/it]
+
mmlu_ne:  29%|█████████████████████████████████▎                                                                                 | 113/390 [29:12<1:12:59, 15.81s/it]
+
mmlu_ne:  29%|█████████████████████████████████▌                                                                                 | 114/390 [29:28<1:12:40, 15.80s/it]
+
mmlu_ne:  29%|█████████████████████████████████▉                                                                                 | 115/390 [29:43<1:10:49, 15.45s/it]
+
mmlu_ne:  30%|██████████████████████████████████▏                                                                                | 116/390 [29:57<1:08:52, 15.08s/it]
+
mmlu_ne:  30%|██████████████████████████████████▌                                                                                | 117/390 [30:15<1:13:00, 16.05s/it]
+
mmlu_ne:  30%|██████████████████████████████████▊                                                                                | 118/390 [30:32<1:13:56, 16.31s/it]
+
mmlu_ne:  31%|███████████████████████████████████                                                                                | 119/390 [30:50<1:15:53, 16.80s/it]
+
mmlu_ne:  31%|███████████████████████████████████▍                                                                               | 120/390 [31:10<1:19:32, 17.67s/it]
+
mmlu_ne:  31%|███████████████████████████████████▋                                                                               | 121/390 [31:26<1:16:44, 17.12s/it]
+
mmlu_ne:  31%|███████████████████████████████████▉                                                                               | 122/390 [31:42<1:15:10, 16.83s/it]
+
mmlu_ne:  32%|████████████████████████████████████▎                                                                              | 123/390 [32:02<1:19:34, 17.88s/it]
+
mmlu_ne:  32%|████████████████████████████████████▌                                                                              | 124/390 [32:19<1:17:24, 17.46s/it]
+
mmlu_ne:  32%|████████████████████████████████████▊                                                                              | 125/390 [32:30<1:09:06, 15.65s/it]
+
mmlu_ne:  32%|█████████████████████████████████████▏                                                                             | 126/390 [32:44<1:07:01, 15.23s/it]
+
mmlu_ne:  33%|█████████████████████████████████████▍                                                                             | 127/390 [32:59<1:06:10, 15.10s/it]
+
mmlu_ne:  33%|█████████████████████████████████████▋                                                                             | 128/390 [33:14<1:05:43, 15.05s/it]
+
mmlu_ne:  33%|██████████████████████████████████████                                                                             | 129/390 [33:31<1:07:42, 15.56s/it]
+
mmlu_ne:  33%|██████████████████████████████████████▎                                                                            | 130/390 [33:48<1:09:44, 16.09s/it]
+
mmlu_ne:  34%|██████████████████████████████████████▋                                                                            | 131/390 [34:03<1:07:24, 15.61s/it]
+
mmlu_ne:  34%|██████████████████████████████████████▉                                                                            | 132/390 [34:16<1:04:47, 15.07s/it]
+
mmlu_ne:  34%|███████████████████████████████████████▏                                                                           | 133/390 [34:33<1:06:25, 15.51s/it]
+
mmlu_ne:  34%|███████████████████████████████████████▌                                                                           | 134/390 [34:52<1:10:10, 16.45s/it]
+
mmlu_ne:  35%|███████████████████████████████████████▊                                                                           | 135/390 [35:10<1:12:21, 17.02s/it]
+
mmlu_ne:  35%|████████████████████████████████████████                                                                           | 136/390 [35:25<1:09:17, 16.37s/it]
+
mmlu_ne:  35%|████████████████████████████████████████▍                                                                          | 137/390 [35:38<1:05:32, 15.54s/it]
+
mmlu_ne:  35%|████████████████████████████████████████▋                                                                          | 138/390 [35:53<1:04:22, 15.33s/it]
+
mmlu_ne:  36%|████████████████████████████████████████▉                                                                          | 139/390 [36:07<1:02:41, 14.99s/it]
+
mmlu_ne:  36%|█████████████████████████████████████████▎                                                                         | 140/390 [36:23<1:02:37, 15.03s/it]
+
mmlu_ne:  36%|█████████████████████████████████████████▌                                                                         | 141/390 [36:39<1:04:42, 15.59s/it]
+
mmlu_ne:  36%|█████████████████████████████████████████▊                                                                         | 142/390 [36:58<1:07:33, 16.35s/it]
+
mmlu_ne:  37%|██████████████████████████████████████████▏                                                                        | 143/390 [37:16<1:09:52, 16.97s/it]
+
mmlu_ne:  37%|██████████████████████████████████████████▍                                                                        | 144/390 [37:30<1:05:27, 15.97s/it]
+
mmlu_ne:  37%|██████████████████████████████████████████▊                                                                        | 145/390 [37:46<1:06:08, 16.20s/it]
+
mmlu_ne:  37%|███████████████████████████████████████████                                                                        | 146/390 [38:00<1:02:59, 15.49s/it]
+
mmlu_ne:  38%|███████████████████████████████████████████▎                                                                       | 147/390 [38:17<1:04:26, 15.91s/it]
+
mmlu_ne:  38%|███████████████████████████████████████████▋                                                                       | 148/390 [38:34<1:05:55, 16.34s/it]
+
mmlu_ne:  38%|███████████████████████████████████████████▉                                                                       | 149/390 [38:50<1:04:37, 16.09s/it]
+
mmlu_ne:  38%|████████████████████████████████████████████▏                                                                      | 150/390 [39:06<1:04:08, 16.03s/it]
+
mmlu_ne:  39%|████████████████████████████████████████████▌                                                                      | 151/390 [39:22<1:03:33, 15.95s/it]
+
mmlu_ne:  39%|████████████████████████████████████████████▊                                                                      | 152/390 [39:37<1:02:10, 15.67s/it]
+
mmlu_ne:  39%|█████████████████████████████████████████████                                                                      | 153/390 [39:52<1:01:51, 15.66s/it]
+
mmlu_ne:  39%|██████████████████████████████████████████████▏                                                                      | 154/390 [40:06<58:45, 14.94s/it]
+
mmlu_ne:  40%|██████████████████████████████████████████████▌                                                                      | 155/390 [40:21<59:27, 15.18s/it]
+
mmlu_ne:  40%|██████████████████████████████████████████████▊                                                                      | 156/390 [40:36<59:06, 15.16s/it]
+
mmlu_ne:  40%|███████████████████████████████████████████████                                                                      | 157/390 [40:50<56:39, 14.59s/it]
+
mmlu_ne:  41%|███████████████████████████████████████████████▍                                                                     | 158/390 [41:04<55:46, 14.43s/it]
+
mmlu_ne:  41%|███████████████████████████████████████████████▋                                                                     | 159/390 [41:18<55:06, 14.31s/it]
+
mmlu_ne:  41%|████████████████████████████████████████████████                                                                     | 160/390 [41:35<58:18, 15.21s/it]
+
mmlu_ne:  41%|████████████████████████████████████████████████▎                                                                    | 161/390 [41:48<55:28, 14.53s/it]
+
mmlu_ne:  42%|████████████████████████████████████████████████▌                                                                    | 162/390 [42:01<53:15, 14.01s/it]
+
mmlu_ne:  42%|████████████████████████████████████████████████▉                                                                    | 163/390 [42:17<55:20, 14.63s/it]
+
mmlu_ne:  42%|█████████████████████████████████████████████████▏                                                                   | 164/390 [42:30<53:08, 14.11s/it]
+
mmlu_ne:  42%|█████████████████████████████████████████████████▌                                                                   | 165/390 [42:48<57:25, 15.32s/it]
+
mmlu_ne:  43%|█████████████████████████████████████████████████▊                                                                   | 166/390 [43:04<57:48, 15.48s/it]
+
mmlu_ne:  43%|█████████████████████████████████████████████████▏                                                                 | 167/390 [43:23<1:01:14, 16.48s/it]
+
mmlu_ne:  43%|█████████████████████████████████████████████████▌                                                                 | 168/390 [43:38<1:00:20, 16.31s/it]
+
mmlu_ne:  43%|██████████████████████████████████████████████████▋                                                                  | 169/390 [43:54<59:43, 16.21s/it]
+
mmlu_ne:  44%|███████████████████████████████████████████████████                                                                  | 170/390 [44:11<59:54, 16.34s/it]
+
mmlu_ne:  44%|██████████████████████████████████████████████████▍                                                                | 171/390 [44:28<1:00:03, 16.45s/it]
+
mmlu_ne:  44%|██████████████████████████████████████████████████▋                                                                | 172/390 [44:45<1:00:42, 16.71s/it]
+
mmlu_ne:  44%|███████████████████████████████████████████████████▉                                                                 | 173/390 [45:00<57:57, 16.03s/it]
+
mmlu_ne:  45%|████████████████████████████████████████████████████▏                                                                | 174/390 [45:17<58:57, 16.38s/it]
+
mmlu_ne:  45%|████████████████████████████████████████████████████▌                                                                | 175/390 [45:31<56:24, 15.74s/it]
+
mmlu_ne:  45%|████████████████████████████████████████████████████▊                                                                | 176/390 [45:45<54:30, 15.28s/it]
+
mmlu_ne:  45%|█████████████████████████████████████████████████████                                                                | 177/390 [46:01<54:58, 15.48s/it]
+
mmlu_ne:  46%|█████████████████████████████████████████████████████▍                                                               | 178/390 [46:14<51:25, 14.56s/it]
+
mmlu_ne:  46%|█████████████████████████████████████████████████████▋                                                               | 179/390 [46:29<52:11, 14.84s/it]
+
mmlu_ne:  46%|██████████████████████████████████████████████████████                                                               | 180/390 [46:44<52:26, 14.98s/it]
+
mmlu_ne:  46%|██████████████████████████████████████████████████████▎                                                              | 181/390 [47:02<54:46, 15.73s/it]
+
mmlu_ne:  47%|██████████████████████████████████████████████████████▌                                                              | 182/390 [47:17<54:02, 15.59s/it]
+
mmlu_ne:  47%|██████████████████████████████████████████████████████▉                                                              | 183/390 [47:33<54:17, 15.74s/it]
+
mmlu_ne:  47%|███████████████████████████████████████████████████████▏                                                             | 184/390 [47:50<55:14, 16.09s/it]
+
mmlu_ne:  47%|███████████████████████████████████████████████████████▌                                                             | 185/390 [48:07<55:50, 16.34s/it]
+
mmlu_ne:  48%|███████████████████████████████████████████████████████▊                                                             | 186/390 [48:22<54:36, 16.06s/it]
+
mmlu_ne:  48%|████████████████████████████████████████████████████████                                                             | 187/390 [48:38<54:00, 15.96s/it]
+
mmlu_ne:  48%|████████████████████████████████████████████████████████▍                                                            | 188/390 [48:51<50:21, 14.96s/it]
+
mmlu_ne:  48%|████████████████████████████████████████████████████████▋                                                            | 189/390 [49:07<51:03, 15.24s/it]
+
mmlu_ne:  49%|█████████████████████████████████████████████████████████                                                            | 190/390 [49:22<50:56, 15.28s/it]
+
mmlu_ne:  49%|█████████████████████████████████████████████████████████▎                                                           | 191/390 [49:38<51:08, 15.42s/it]
+
mmlu_ne:  49%|█████████████████████████████████████████████████████████▌                                                           | 192/390 [49:54<51:30, 15.61s/it]
+
mmlu_ne:  49%|█████████████████████████████████████████████████████████▉                                                           | 193/390 [50:10<52:06, 15.87s/it]
+
mmlu_ne:  50%|██████████████████████████████████████████████████████████▏                                                          | 194/390 [50:25<50:40, 15.51s/it]
+
mmlu_ne:  50%|██████████████████████████████████████████████████████████▌                                                          | 195/390 [50:42<52:13, 16.07s/it]
+
mmlu_ne:  50%|██████████████████████████████████████████████████████████▊                                                          | 196/390 [50:57<50:36, 15.65s/it]
+
mmlu_ne:  51%|███████████████████████████████████████████████████████████                                                          | 197/390 [51:10<48:10, 14.97s/it]
+
mmlu_ne:  51%|███████████████████████████████████████████████████████████▍                                                         | 198/390 [51:28<50:34, 15.80s/it]
+
mmlu_ne:  51%|███████████████████████████████████████████████████████████▋                                                         | 199/390 [51:44<50:01, 15.71s/it]
+
mmlu_ne:  51%|███████████████████████████████████████████████████████████▉                                                         | 200/390 [52:00<50:03, 15.81s/it]
+
mmlu_ne:  52%|████████████████████████████████████████████████████████████▎                                                        | 201/390 [52:15<49:32, 15.73s/it]
+
mmlu_ne:  52%|████████████████████████████████████████████████████████████▌                                                        | 202/390 [52:30<48:44, 15.56s/it]
+
mmlu_ne:  52%|████████████████████████████████████████████████████████████▉                                                        | 203/390 [52:46<48:14, 15.48s/it]
+
mmlu_ne:  52%|█████████████████████████████████████████████████████████████▏                                                       | 204/390 [52:58<44:57, 14.50s/it]
+
mmlu_ne:  53%|█████████████████████████████████████████████████████████████▌                                                       | 205/390 [53:12<44:40, 14.49s/it]
+
mmlu_ne:  53%|█████████████████████████████████████████████████████████████▊                                                       | 206/390 [53:29<46:33, 15.18s/it]
+
mmlu_ne:  53%|██████████████████████████████████████████████████████████████                                                       | 207/390 [53:45<46:59, 15.41s/it]
+
mmlu_ne:  53%|██████████████████████████████████████████████████████████████▍                                                      | 208/390 [54:03<49:21, 16.27s/it]
+
mmlu_ne:  54%|██████████████████████████████████████████████████████████████▋                                                      | 209/390 [54:19<48:46, 16.17s/it]
+
mmlu_ne:  54%|███████████████████████████████████████████████████████████████                                                      | 210/390 [54:35<48:20, 16.11s/it]
+
mmlu_ne:  54%|███████████████████████████████████████████████████████████████▎                                                     | 211/390 [54:51<47:17, 15.85s/it]
+
mmlu_ne:  54%|███████████████████████████████████████████████████████████████▌                                                     | 212/390 [55:04<44:39, 15.05s/it]
+
mmlu_ne:  55%|███████████████████████████████████████████████████████████████▉                                                     | 213/390 [55:19<44:52, 15.21s/it]
+
mmlu_ne:  55%|████████████████████████████████████████████████████████████████▏                                                    | 214/390 [55:33<43:35, 14.86s/it]
+
mmlu_ne:  55%|████████████████████████████████████████████████████████████████▌                                                    | 215/390 [55:50<44:41, 15.32s/it]
+
mmlu_ne:  55%|████████████████████████████████████████████████████████████████▊                                                    | 216/390 [56:10<48:19, 16.66s/it]
+
mmlu_ne:  56%|█████████████████████████████████████████████████████████████████                                                    | 217/390 [56:25<46:35, 16.16s/it]
+
mmlu_ne:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 218/390 [56:39<45:03, 15.72s/it]
+
mmlu_ne:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 219/390 [56:55<44:23, 15.58s/it]
+
mmlu_ne:  56%|██████████████████████████████████████████████████████████████████                                                   | 220/390 [57:13<46:29, 16.41s/it]
+
mmlu_ne:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 221/390 [57:27<44:34, 15.82s/it]
+
mmlu_ne:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 222/390 [57:41<42:48, 15.29s/it]
+
mmlu_ne:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 223/390 [57:55<41:04, 14.76s/it]
+
mmlu_ne:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 224/390 [58:10<41:01, 14.83s/it]
+
mmlu_ne:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 225/390 [58:26<41:45, 15.19s/it]
+
mmlu_ne:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 226/390 [58:42<42:20, 15.49s/it]
+
mmlu_ne:  58%|████████████████████████████████████████████████████████████████████                                                 | 227/390 [59:01<45:03, 16.58s/it]
+
mmlu_ne:  58%|████████████████████████████████████████████████████████████████████▍                                                | 228/390 [59:18<45:02, 16.68s/it]
+
mmlu_ne:  59%|████████████████████████████████████████████████████████████████████▋                                                | 229/390 [59:37<46:13, 17.23s/it]
+
mmlu_ne:  59%|█████████████████████████████████████████████████████████████████████                                                | 230/390 [59:49<42:13, 15.83s/it]
+
mmlu_ne:  59%|████████████████████████████████████████████████████████████████████                                               | 231/390 [1:00:03<40:35, 15.32s/it]
+
mmlu_ne:  59%|████████████████████████████████████████████████████████████████████▍                                              | 232/390 [1:00:18<40:12, 15.27s/it]
+
mmlu_ne:  60%|████████████████████████████████████████████████████████████████████▋                                              | 233/390 [1:00:36<41:56, 16.03s/it]
+
mmlu_ne:  60%|█████████████████████████████████████████████████████████████████████                                              | 234/390 [1:00:52<41:25, 15.93s/it]
+
mmlu_ne:  60%|█████████████████████████████████████████████████████████████████████▎                                             | 235/390 [1:01:06<39:37, 15.34s/it]
+
mmlu_ne:  61%|█████████████████████████████████████████████████████████████████████▌                                             | 236/390 [1:01:21<38:46, 15.11s/it]
+
mmlu_ne:  61%|█████████████████████████████████████████████████████████████████████▉                                             | 237/390 [1:01:36<39:06, 15.34s/it]
+
mmlu_ne:  61%|██████████████████████████████████████████████████████████████████████▏                                            | 238/390 [1:01:52<38:41, 15.28s/it]
+
mmlu_ne:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 239/390 [1:02:08<39:35, 15.73s/it]
+
mmlu_ne:  62%|██████████████████████████████████████████████████████████████████████▊                                            | 240/390 [1:02:24<39:05, 15.63s/it]
+
mmlu_ne:  62%|███████████████████████████████████████████████████████████████████████                                            | 241/390 [1:02:38<37:37, 15.15s/it]
+
mmlu_ne:  62%|███████████████████████████████████████████████████████████████████████▎                                           | 242/390 [1:02:51<36:00, 14.60s/it]
+
mmlu_ne:  62%|███████████████████████████████████████████████████████████████████████▋                                           | 243/390 [1:03:07<36:44, 15.00s/it]
+
mmlu_ne:  63%|███████████████████████████████████████████████████████████████████████▉                                           | 244/390 [1:03:23<37:00, 15.21s/it]
+
mmlu_ne:  63%|████████████████████████████████████████████████████████████████████████▏                                          | 245/390 [1:03:36<35:10, 14.55s/it]
+
mmlu_ne:  63%|████████████████████████████████████████████████████████████████████████▌                                          | 246/390 [1:03:50<34:50, 14.52s/it]
+
mmlu_ne:  63%|████████████████████████████████████████████████████████████████████████▊                                          | 247/390 [1:04:06<35:53, 15.06s/it]
+
mmlu_ne:  64%|█████████████████████████████████████████████████████████████████████████▏                                         | 248/390 [1:04:25<37:56, 16.03s/it]
+
mmlu_ne:  64%|█████████████████████████████████████████████████████████████████████████▍                                         | 249/390 [1:04:39<36:10, 15.39s/it]
+
mmlu_ne:  64%|█████████████████████████████████████████████████████████████████████████▋                                         | 250/390 [1:04:55<36:20, 15.58s/it]
+
mmlu_ne:  64%|██████████████████████████████████████████████████████████████████████████                                         | 251/390 [1:05:08<34:25, 14.86s/it]
+
mmlu_ne:  65%|██████████████████████████████████████████████████████████████████████████▎                                        | 252/390 [1:05:24<35:16, 15.33s/it]
+
mmlu_ne:  65%|██████████████████████████████████████████████████████████████████████████▌                                        | 253/390 [1:05:40<35:22, 15.49s/it]
+
mmlu_ne:  65%|██████████████████████████████████████████████████████████████████████████▉                                        | 254/390 [1:05:54<33:42, 14.87s/it]
+
mmlu_ne:  65%|███████████████████████████████████████████████████████████████████████████▏                                       | 255/390 [1:06:11<35:16, 15.68s/it]
+
mmlu_ne:  66%|███████████████████████████████████████████████████████████████████████████▍                                       | 256/390 [1:06:28<35:48, 16.03s/it]
+
mmlu_ne:  66%|███████████████████████████████████████████████████████████████████████████▊                                       | 257/390 [1:06:44<35:30, 16.02s/it]
+
mmlu_ne:  66%|████████████████████████████████████████████████████████████████████████████                                       | 258/390 [1:06:56<32:50, 14.93s/it]
+
mmlu_ne:  66%|████████████████████████████████████████████████████████████████████████████▎                                      | 259/390 [1:07:12<33:11, 15.20s/it]
+
mmlu_ne:  67%|████████████████████████████████████████████████████████████████████████████▋                                      | 260/390 [1:07:25<31:11, 14.40s/it]
+
mmlu_ne:  67%|████████████████████████████████████████████████████████████████████████████▉                                      | 261/390 [1:07:38<30:11, 14.04s/it]
+
mmlu_ne:  67%|█████████████████████████████████████████████████████████████████████████████▎                                     | 262/390 [1:07:55<31:39, 14.84s/it]
+
mmlu_ne:  67%|█████████████████████████████████████████████████████████████████████████████▌                                     | 263/390 [1:08:09<30:51, 14.58s/it]
+
mmlu_ne:  68%|█████████████████████████████████████████████████████████████████████████████▊                                     | 264/390 [1:08:24<31:01, 14.77s/it]
+
mmlu_ne:  68%|██████████████████████████████████████████████████████████████████████████████▏                                    | 265/390 [1:08:39<31:05, 14.92s/it]
+
mmlu_ne:  68%|██████████████████████████████████████████████████████████████████████████████▍                                    | 266/390 [1:08:57<32:37, 15.79s/it]
+
mmlu_ne:  68%|██████████████████████████████████████████████████████████████████████████████▋                                    | 267/390 [1:09:11<31:05, 15.17s/it]
+
mmlu_ne:  69%|███████████████████████████████████████████████████████████████████████████████                                    | 268/390 [1:09:28<32:18, 15.89s/it]
+
mmlu_ne:  69%|███████████████████████████████████████████████████████████████████████████████▎                                   | 269/390 [1:09:45<32:35, 16.16s/it]
+
mmlu_ne:  69%|███████████████████████████████████████████████████████████████████████████████▌                                   | 270/390 [1:09:59<30:52, 15.44s/it]
+
mmlu_ne:  69%|███████████████████████████████████████████████████████████████████████████████▉                                   | 271/390 [1:10:16<31:26, 15.85s/it]
+
mmlu_ne:  70%|████████████████████████████████████████████████████████████████████████████████▏                                  | 272/390 [1:10:32<31:40, 16.11s/it]
+
mmlu_ne:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 273/390 [1:10:53<33:51, 17.36s/it]
+
mmlu_ne:  70%|████████████████████████████████████████████████████████████████████████████████▊                                  | 274/390 [1:11:07<31:34, 16.33s/it]
+
mmlu_ne:  71%|█████████████████████████████████████████████████████████████████████████████████                                  | 275/390 [1:11:23<31:38, 16.51s/it]
+
mmlu_ne:  71%|█████████████████████████████████████████████████████████████████████████████████▍                                 | 276/390 [1:11:39<30:42, 16.17s/it]
+
mmlu_ne:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 277/390 [1:11:56<31:18, 16.62s/it]
+
mmlu_ne:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 278/390 [1:12:16<32:35, 17.46s/it]
+
mmlu_ne:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 279/390 [1:12:31<30:59, 16.76s/it]
+
mmlu_ne:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 280/390 [1:12:47<30:19, 16.54s/it]
+
mmlu_ne:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 281/390 [1:13:05<30:57, 17.04s/it]
+
mmlu_ne:  72%|███████████████████████████████████████████████████████████████████████████████████▏                               | 282/390 [1:13:21<29:48, 16.56s/it]
+
mmlu_ne:  73%|███████████████████████████████████████████████████████████████████████████████████▍                               | 283/390 [1:13:36<28:50, 16.18s/it]
+
mmlu_ne:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 284/390 [1:13:47<25:57, 14.70s/it]
+
mmlu_ne:  73%|████████████████████████████████████████████████████████████████████████████████████                               | 285/390 [1:14:00<24:55, 14.24s/it]
+
mmlu_ne:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 286/390 [1:14:18<26:35, 15.34s/it]
+
mmlu_ne:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 287/390 [1:14:33<26:03, 15.18s/it]
+
mmlu_ne:  74%|████████████████████████████████████████████████████████████████████████████████████▉                              | 288/390 [1:14:48<25:36, 15.06s/it]
+
mmlu_ne:  74%|█████████████████████████████████████████████████████████████████████████████████████▏                             | 289/390 [1:15:02<24:38, 14.64s/it]
+
mmlu_ne:  74%|█████████████████████████████████████████████████████████████████████████████████████▌                             | 290/390 [1:15:17<24:50, 14.90s/it]
+
mmlu_ne:  75%|█████████████████████████████████████████████████████████████████████████████████████▊                             | 291/390 [1:15:31<24:01, 14.56s/it]
+
mmlu_ne:  75%|██████████████████████████████████████████████████████████████████████████████████████                             | 292/390 [1:15:45<23:40, 14.49s/it]
+
mmlu_ne:  75%|██████████████████████████████████████████████████████████████████████████████████████▍                            | 293/390 [1:16:03<25:02, 15.49s/it]
+
mmlu_ne:  75%|██████████████████████████████████████████████████████████████████████████████████████▋                            | 294/390 [1:16:18<24:20, 15.22s/it]
+
mmlu_ne:  76%|██████████████████████████████████████████████████████████████████████████████████████▉                            | 295/390 [1:16:34<24:53, 15.73s/it]
+
mmlu_ne:  76%|███████████████████████████████████████████████████████████████████████████████████████▎                           | 296/390 [1:16:46<22:35, 14.42s/it]
+
mmlu_ne:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 297/390 [1:17:00<22:06, 14.27s/it]
+
mmlu_ne:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 298/390 [1:17:12<20:55, 13.65s/it]
+
mmlu_ne:  77%|████████████████████████████████████████████████████████████████████████████████████████▏                          | 299/390 [1:17:28<21:37, 14.26s/it]
+
mmlu_ne:  77%|████████████████████████████████████████████████████████████████████████████████████████▍                          | 300/390 [1:17:45<22:34, 15.05s/it]
+
mmlu_ne:  77%|████████████████████████████████████████████████████████████████████████████████████████▊                          | 301/390 [1:18:06<25:14, 17.02s/it]
+
mmlu_ne:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 302/390 [1:18:23<24:55, 17.00s/it]
+
mmlu_ne:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 303/390 [1:18:40<24:36, 16.97s/it]
+
mmlu_ne:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 304/390 [1:19:01<25:50, 18.03s/it]
+
mmlu_ne:  78%|█████████████████████████████████████████████████████████████████████████████████████████▉                         | 305/390 [1:19:15<23:49, 16.82s/it]
+
mmlu_ne:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 306/390 [1:19:30<22:52, 16.34s/it]
+
mmlu_ne:  79%|██████████████████████████████████████████████████████████████████████████████████████████▌                        | 307/390 [1:19:47<23:01, 16.65s/it]
+
mmlu_ne:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 308/390 [1:20:09<24:43, 18.09s/it]
+
mmlu_ne:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 309/390 [1:20:24<23:12, 17.19s/it]
+
mmlu_ne:  79%|███████████████████████████████████████████████████████████████████████████████████████████▍                       | 310/390 [1:20:38<21:38, 16.23s/it]
+
mmlu_ne:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 311/390 [1:20:54<21:23, 16.25s/it]
+
mmlu_ne:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 312/390 [1:21:07<19:59, 15.38s/it]
+
mmlu_ne:  80%|████████████████████████████████████████████████████████████████████████████████████████████▎                      | 313/390 [1:21:20<18:51, 14.70s/it]
+
mmlu_ne:  81%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 314/390 [1:21:36<19:03, 15.05s/it]
+
mmlu_ne:  81%|████████████████████████████████████████████████████████████████████████████████████████████▉                      | 315/390 [1:21:52<18:59, 15.19s/it]
+
mmlu_ne:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▏                     | 316/390 [1:22:05<17:55, 14.54s/it]
+
mmlu_ne:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▍                     | 317/390 [1:22:20<18:06, 14.88s/it]
+
mmlu_ne:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▊                     | 318/390 [1:22:35<17:41, 14.74s/it]
+
mmlu_ne:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 319/390 [1:22:50<17:33, 14.84s/it]
+
mmlu_ne:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 320/390 [1:23:05<17:20, 14.87s/it]
+
mmlu_ne:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▋                    | 321/390 [1:23:20<17:15, 15.00s/it]
+
mmlu_ne:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 322/390 [1:23:38<18:06, 15.98s/it]
+
mmlu_ne:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▏                   | 323/390 [1:23:53<17:19, 15.51s/it]
+
mmlu_ne:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▌                   | 324/390 [1:24:08<16:55, 15.38s/it]
+
mmlu_ne:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 325/390 [1:24:24<16:47, 15.50s/it]
+
mmlu_ne:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 326/390 [1:24:45<18:29, 17.33s/it]
+
mmlu_ne:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 327/390 [1:25:00<17:28, 16.64s/it]
+
mmlu_ne:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 328/390 [1:25:17<17:07, 16.58s/it]
+
mmlu_ne:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████                  | 329/390 [1:25:33<16:46, 16.50s/it]
+
mmlu_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 330/390 [1:25:51<16:46, 16.78s/it]
+
mmlu_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 331/390 [1:26:08<16:43, 17.02s/it]
+
mmlu_ne:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 332/390 [1:26:21<15:12, 15.73s/it]
+
mmlu_ne:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 333/390 [1:26:36<14:47, 15.56s/it]
+
mmlu_ne:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 334/390 [1:26:53<14:59, 16.05s/it]
+
mmlu_ne:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 335/390 [1:27:08<14:26, 15.76s/it]
+
mmlu_ne:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 336/390 [1:27:24<14:16, 15.86s/it]
+
mmlu_ne:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 337/390 [1:27:42<14:24, 16.31s/it]
+
mmlu_ne:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 338/390 [1:27:58<14:02, 16.20s/it]
+
mmlu_ne:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉               | 339/390 [1:28:15<14:05, 16.57s/it]
+
mmlu_ne:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 340/390 [1:28:30<13:20, 16.01s/it]
+
mmlu_ne:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 341/390 [1:28:47<13:19, 16.31s/it]
+
mmlu_ne:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 342/390 [1:29:04<13:18, 16.63s/it]
+
mmlu_ne:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 343/390 [1:29:21<13:00, 16.60s/it]
+
mmlu_ne:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 344/390 [1:29:36<12:31, 16.34s/it]
+
mmlu_ne:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 345/390 [1:29:57<13:08, 17.51s/it]
+
mmlu_ne:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 346/390 [1:30:11<12:13, 16.66s/it]
+
mmlu_ne:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 347/390 [1:30:28<11:50, 16.53s/it]
+
mmlu_ne:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 348/390 [1:30:43<11:14, 16.07s/it]
+
mmlu_ne:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 349/390 [1:31:00<11:10, 16.35s/it]
+
mmlu_ne:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 350/390 [1:31:15<10:37, 15.93s/it]
+
mmlu_ne:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 351/390 [1:31:28<09:49, 15.11s/it]
+
mmlu_ne:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 352/390 [1:31:46<10:05, 15.93s/it]
+
mmlu_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████           | 353/390 [1:32:02<09:58, 16.17s/it]
+
mmlu_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 354/390 [1:32:18<09:34, 15.96s/it]
+
mmlu_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 355/390 [1:32:32<09:04, 15.57s/it]
+
mmlu_ne:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 356/390 [1:32:47<08:40, 15.30s/it]
+
mmlu_ne:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 357/390 [1:33:01<08:12, 14.93s/it]
+
mmlu_ne:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 358/390 [1:33:16<07:58, 14.94s/it]
+
mmlu_ne:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 359/390 [1:33:32<07:47, 15.08s/it]
+
mmlu_ne:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 360/390 [1:33:47<07:38, 15.27s/it]
+
mmlu_ne:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 361/390 [1:34:01<07:09, 14.80s/it]
+
mmlu_ne:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 362/390 [1:34:16<06:54, 14.81s/it]
+
mmlu_ne:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 363/390 [1:34:32<06:48, 15.14s/it]
+
mmlu_ne:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 364/390 [1:34:47<06:33, 15.13s/it]
+
mmlu_ne:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 365/390 [1:35:02<06:17, 15.09s/it]
+
mmlu_ne:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 366/390 [1:35:16<05:56, 14.84s/it]
+
mmlu_ne:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 367/390 [1:35:30<05:37, 14.69s/it]
+
mmlu_ne:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 368/390 [1:35:44<05:13, 14.25s/it]
+
mmlu_ne:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 369/390 [1:35:59<05:07, 14.64s/it]
+
mmlu_ne:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 370/390 [1:36:13<04:49, 14.46s/it]
+
mmlu_ne:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 371/390 [1:36:28<04:36, 14.58s/it]
+
mmlu_ne:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 372/390 [1:36:42<04:16, 14.24s/it]
+
mmlu_ne:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 373/390 [1:36:55<03:59, 14.07s/it]
+
mmlu_ne:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 374/390 [1:37:10<03:48, 14.28s/it]
+
mmlu_ne:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 375/390 [1:37:25<03:36, 14.46s/it]
+
mmlu_ne:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 376/390 [1:37:38<03:16, 14.03s/it]
+
mmlu_ne:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 377/390 [1:37:53<03:05, 14.23s/it]
+
mmlu_ne:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 378/390 [1:38:06<02:49, 14.10s/it]
+
mmlu_ne:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 379/390 [1:38:21<02:36, 14.24s/it]
+
mmlu_ne:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 380/390 [1:38:39<02:34, 15.48s/it]
+
mmlu_ne:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 381/390 [1:38:57<02:24, 16.10s/it]
+
mmlu_ne:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 382/390 [1:39:13<02:09, 16.15s/it]
+
mmlu_ne:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 383/390 [1:39:29<01:52, 16.00s/it]
+
mmlu_ne:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 384/390 [1:39:47<01:39, 16.58s/it]
+
mmlu_ne:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 385/390 [1:40:01<01:19, 15.90s/it]
+
mmlu_ne:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 386/390 [1:40:20<01:07, 16.84s/it]
+
mmlu_ne:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 387/390 [1:40:37<00:50, 16.75s/it]
+
mmlu_ne:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 388/390 [1:40:53<00:33, 16.76s/it]
+
mmlu_ne: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 389/390 [1:41:08<00:16, 16.01s/it]
+
mmlu_ne: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 390/390 [1:41:13<00:00, 12.92s/it]
mmlu_ne: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 390/390 [1:41:13<00:00, 15.57s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ne_acc 0.26138279932546377
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ne_acc_norm 0.28322492572070984
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 16:20:49,590 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 16:20:49,590 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:49,719 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 16:20:49,719 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:49,847 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 16:20:49,847 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:49,976 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 16:20:49,977 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 16:20:49,977 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 16:20:50,108 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 16:20:50,108 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ne_acc'}
+2024-05-31 16:20:50,174 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 16:20:50,174 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1239, 'value': 0.26138279932546377}
+2024-05-31 16:20:50,240 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 16:20:50,889 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 16:20:50,889 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:51,017 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 16:20:51,017 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:51,145 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 16:20:51,145 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 16:20:51,273 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 16:20:51,402 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 16:20:51,403 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_ne_acc_norm'}
+2024-05-31 16:20:51,467 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 16:20:51,467 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1240, 'value': 0.28322492572070984}
+2024-05-31 16:20:51,532 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  65%|██████████████████████████████████████████████████████████████████████▌                                     | 81/124 [57:33:20<72:52:25, 6101.07s/it]['mmlu_nl']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 16:20:52,187 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 16:20:52,187 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:52,316 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 16:20:52,316 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:52,445 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 16:20:52,445 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 16:20:52,574 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 16:20:52,575 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 16:20:52,575 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_nl'}
+2024-05-31 16:20:52,705 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_nl task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1809 examples [00:00, 15819.71 examples/s]
+
Generating test split: 5290 examples [00:00, 26362.98 examples/s]
+
Generating test split: 8929 examples [00:00, 30795.07 examples/s]
+
Generating test split: 12417 examples [00:00, 32375.51 examples/s]
Generating test split: 13177 examples [00:00, 29857.04 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 280 examples [00:00, 27933.43 examples/s]
+Running loglikelihood requests
+
+
mmlu_nl:   0%|                                                                                                                               | 0/412 [00:00<?, ?it/s]
+
mmlu_nl:   0%|▎                                                                                                                      | 1/412 [00:08<55:26,  8.09s/it]
+
mmlu_nl:   0%|▌                                                                                                                      | 2/412 [00:15<54:06,  7.92s/it]
+
mmlu_nl:   1%|▊                                                                                                                      | 3/412 [00:23<52:00,  7.63s/it]
+
mmlu_nl:   1%|█▏                                                                                                                     | 4/412 [00:29<49:11,  7.23s/it]
+
mmlu_nl:   1%|█▍                                                                                                                     | 5/412 [00:37<50:55,  7.51s/it]
+
mmlu_nl:   1%|█▋                                                                                                                     | 6/412 [00:45<51:35,  7.63s/it]
+
mmlu_nl:   2%|██                                                                                                                     | 7/412 [00:53<52:09,  7.73s/it]
+
mmlu_nl:   2%|██▎                                                                                                                    | 8/412 [01:00<51:10,  7.60s/it]
+
mmlu_nl:   2%|██▌                                                                                                                    | 9/412 [01:09<53:47,  8.01s/it]
+
mmlu_nl:   2%|██▊                                                                                                                   | 10/412 [01:17<53:28,  7.98s/it]
+
mmlu_nl:   3%|███▏                                                                                                                  | 11/412 [01:24<51:14,  7.67s/it]
+
mmlu_nl:   3%|███▍                                                                                                                  | 12/412 [01:33<52:55,  7.94s/it]
+
mmlu_nl:   3%|███▋                                                                                                                  | 13/412 [01:40<50:39,  7.62s/it]
+
mmlu_nl:   3%|████                                                                                                                  | 14/412 [01:47<50:01,  7.54s/it]
+
mmlu_nl:   4%|████▎                                                                                                                 | 15/412 [01:55<50:55,  7.70s/it]
+
mmlu_nl:   4%|████▌                                                                                                                 | 16/412 [02:02<49:26,  7.49s/it]
+
mmlu_nl:   4%|████▊                                                                                                                 | 17/412 [02:10<50:38,  7.69s/it]
+
mmlu_nl:   4%|█████▏                                                                                                                | 18/412 [02:18<51:21,  7.82s/it]
+
mmlu_nl:   5%|█████▍                                                                                                                | 19/412 [02:27<52:04,  7.95s/it]
+
mmlu_nl:   5%|█████▋                                                                                                                | 20/412 [02:34<51:08,  7.83s/it]
+
mmlu_nl:   5%|██████                                                                                                                | 21/412 [02:43<52:35,  8.07s/it]
+
mmlu_nl:   5%|██████▎                                                                                                               | 22/412 [02:50<51:19,  7.90s/it]
+
mmlu_nl:   6%|██████▌                                                                                                               | 23/412 [02:59<51:56,  8.01s/it]
+
mmlu_nl:   6%|██████▊                                                                                                               | 24/412 [03:06<50:57,  7.88s/it]
+
mmlu_nl:   6%|███████▏                                                                                                              | 25/412 [03:13<49:02,  7.60s/it]
+
mmlu_nl:   6%|███████▍                                                                                                              | 26/412 [03:21<50:16,  7.81s/it]
+
mmlu_nl:   7%|███████▋                                                                                                              | 27/412 [03:30<50:56,  7.94s/it]
+
mmlu_nl:   7%|████████                                                                                                              | 28/412 [03:37<50:01,  7.82s/it]
+
mmlu_nl:   7%|████████▎                                                                                                             | 29/412 [03:45<49:20,  7.73s/it]
+
mmlu_nl:   7%|████████▌                                                                                                             | 30/412 [03:52<49:02,  7.70s/it]
+
mmlu_nl:   8%|████████▉                                                                                                             | 31/412 [04:00<49:01,  7.72s/it]
+
mmlu_nl:   8%|█████████▏                                                                                                            | 32/412 [04:07<48:04,  7.59s/it]
+
mmlu_nl:   8%|█████████▍                                                                                                            | 33/412 [04:15<47:28,  7.52s/it]
+
mmlu_nl:   8%|█████████▋                                                                                                            | 34/412 [04:22<46:09,  7.33s/it]
+
mmlu_nl:   8%|██████████                                                                                                            | 35/412 [04:30<47:17,  7.53s/it]
+
mmlu_nl:   9%|██████████▎                                                                                                           | 36/412 [04:36<45:56,  7.33s/it]
+
mmlu_nl:   9%|██████████▌                                                                                                           | 37/412 [04:43<45:15,  7.24s/it]
+
mmlu_nl:   9%|██████████▉                                                                                                           | 38/412 [04:52<47:41,  7.65s/it]
+
mmlu_nl:   9%|███████████▏                                                                                                          | 39/412 [05:01<49:11,  7.91s/it]
+
mmlu_nl:  10%|███████████▍                                                                                                          | 40/412 [05:08<47:23,  7.64s/it]
+
mmlu_nl:  10%|███████████▋                                                                                                          | 41/412 [05:15<46:22,  7.50s/it]
+
mmlu_nl:  10%|████████████                                                                                                          | 42/412 [05:23<47:01,  7.62s/it]
+
mmlu_nl:  10%|████████████▎                                                                                                         | 43/412 [05:30<46:05,  7.50s/it]
+
mmlu_nl:  11%|████████████▌                                                                                                         | 44/412 [05:37<45:19,  7.39s/it]
+
mmlu_nl:  11%|████████████▉                                                                                                         | 45/412 [05:45<46:26,  7.59s/it]
+
mmlu_nl:  11%|█████████████▏                                                                                                        | 46/412 [05:53<47:28,  7.78s/it]
+
mmlu_nl:  11%|█████████████▍                                                                                                        | 47/412 [06:01<47:10,  7.75s/it]
+
mmlu_nl:  12%|█████████████▋                                                                                                        | 48/412 [06:09<46:36,  7.68s/it]
+
mmlu_nl:  12%|██████████████                                                                                                        | 49/412 [06:16<46:12,  7.64s/it]
+
mmlu_nl:  12%|██████████████▎                                                                                                       | 50/412 [06:24<46:10,  7.65s/it]
+
mmlu_nl:  12%|██████████████▌                                                                                                       | 51/412 [06:31<46:09,  7.67s/it]
+
mmlu_nl:  13%|██████████████▉                                                                                                       | 52/412 [06:40<47:18,  7.88s/it]
+
mmlu_nl:  13%|███████████████▏                                                                                                      | 53/412 [06:48<48:10,  8.05s/it]
+
mmlu_nl:  13%|███████████████▍                                                                                                      | 54/412 [06:55<45:53,  7.69s/it]
+
mmlu_nl:  13%|███████████████▊                                                                                                      | 55/412 [07:02<44:49,  7.53s/it]
+
mmlu_nl:  14%|████████████████                                                                                                      | 56/412 [07:10<45:09,  7.61s/it]
+
mmlu_nl:  14%|████████████████▎                                                                                                     | 57/412 [07:18<44:55,  7.59s/it]
+
mmlu_nl:  14%|████████████████▌                                                                                                     | 58/412 [07:25<45:05,  7.64s/it]
+
mmlu_nl:  14%|████████████████▉                                                                                                     | 59/412 [07:33<44:47,  7.61s/it]
+
mmlu_nl:  15%|█████████████████▏                                                                                                    | 60/412 [07:40<44:23,  7.57s/it]
+
mmlu_nl:  15%|█████████████████▍                                                                                                    | 61/412 [07:48<44:06,  7.54s/it]
+
mmlu_nl:  15%|█████████████████▊                                                                                                    | 62/412 [07:55<42:48,  7.34s/it]
+
mmlu_nl:  15%|██████████████████                                                                                                    | 63/412 [08:02<41:44,  7.18s/it]
+
mmlu_nl:  16%|██████████████████▎                                                                                                   | 64/412 [08:09<42:24,  7.31s/it]
+
mmlu_nl:  16%|██████████████████▌                                                                                                   | 65/412 [08:17<42:52,  7.41s/it]
+
mmlu_nl:  16%|██████████████████▉                                                                                                   | 66/412 [08:26<45:23,  7.87s/it]
+
mmlu_nl:  16%|███████████████████▏                                                                                                  | 67/412 [08:34<45:17,  7.88s/it]
+
mmlu_nl:  17%|███████████████████▍                                                                                                  | 68/412 [08:42<45:55,  8.01s/it]
+
mmlu_nl:  17%|███████████████████▊                                                                                                  | 69/412 [08:49<44:15,  7.74s/it]
+
mmlu_nl:  17%|████████████████████                                                                                                  | 70/412 [08:57<43:58,  7.71s/it]
+
mmlu_nl:  17%|████████████████████▎                                                                                                 | 71/412 [09:04<42:49,  7.54s/it]
+
mmlu_nl:  17%|████████████████████▌                                                                                                 | 72/412 [09:12<43:29,  7.68s/it]
+
mmlu_nl:  18%|████████████████████▉                                                                                                 | 73/412 [09:18<41:11,  7.29s/it]
+
mmlu_nl:  18%|█████████████████████▏                                                                                                | 74/412 [09:26<41:27,  7.36s/it]
+
mmlu_nl:  18%|█████████████████████▍                                                                                                | 75/412 [09:34<42:15,  7.52s/it]
+
mmlu_nl:  18%|█████████████████████▊                                                                                                | 76/412 [09:41<41:40,  7.44s/it]
+
mmlu_nl:  19%|██████████████████████                                                                                                | 77/412 [09:50<43:41,  7.83s/it]
+
mmlu_nl:  19%|██████████████████████▎                                                                                               | 78/412 [09:57<42:07,  7.57s/it]
+
mmlu_nl:  19%|██████████████████████▋                                                                                               | 79/412 [10:05<43:36,  7.86s/it]
+
mmlu_nl:  19%|██████████████████████▉                                                                                               | 80/412 [10:13<43:05,  7.79s/it]
+
mmlu_nl:  20%|███████████████████████▏                                                                                              | 81/412 [10:20<42:02,  7.62s/it]
+
mmlu_nl:  20%|███████████████████████▍                                                                                              | 82/412 [10:27<41:34,  7.56s/it]
+
mmlu_nl:  20%|███████████████████████▊                                                                                              | 83/412 [10:35<41:43,  7.61s/it]
+
mmlu_nl:  20%|████████████████████████                                                                                              | 84/412 [10:42<41:00,  7.50s/it]
+
mmlu_nl:  21%|████████████████████████▎                                                                                             | 85/412 [10:51<42:02,  7.71s/it]
+
mmlu_nl:  21%|████████████████████████▋                                                                                             | 86/412 [10:58<42:00,  7.73s/it]
+
mmlu_nl:  21%|████████████████████████▉                                                                                             | 87/412 [11:06<41:54,  7.74s/it]
+
mmlu_nl:  21%|█████████████████████████▏                                                                                            | 88/412 [11:14<41:22,  7.66s/it]
+
mmlu_nl:  22%|█████████████████████████▍                                                                                            | 89/412 [11:21<41:28,  7.70s/it]
+
mmlu_nl:  22%|█████████████████████████▊                                                                                            | 90/412 [11:29<41:08,  7.67s/it]
+
mmlu_nl:  22%|██████████████████████████                                                                                            | 91/412 [11:38<42:36,  7.97s/it]
+
mmlu_nl:  22%|██████████████████████████▎                                                                                           | 92/412 [11:45<41:15,  7.74s/it]
+
mmlu_nl:  23%|██████████████████████████▋                                                                                           | 93/412 [11:53<41:07,  7.73s/it]
+
mmlu_nl:  23%|██████████████████████████▉                                                                                           | 94/412 [12:01<41:20,  7.80s/it]
+
mmlu_nl:  23%|███████████████████████████▏                                                                                          | 95/412 [12:08<39:56,  7.56s/it]
+
mmlu_nl:  23%|███████████████████████████▍                                                                                          | 96/412 [12:17<42:58,  8.16s/it]
+
mmlu_nl:  24%|███████████████████████████▊                                                                                          | 97/412 [12:25<42:34,  8.11s/it]
+
mmlu_nl:  24%|████████████████████████████                                                                                          | 98/412 [12:33<41:56,  8.01s/it]
+
mmlu_nl:  24%|████████████████████████████▎                                                                                         | 99/412 [12:40<40:39,  7.79s/it]
+
mmlu_nl:  24%|████████████████████████████▍                                                                                        | 100/412 [12:47<39:04,  7.51s/it]
+
mmlu_nl:  25%|████████████████████████████▋                                                                                        | 101/412 [12:54<38:04,  7.35s/it]
+
mmlu_nl:  25%|████████████████████████████▉                                                                                        | 102/412 [13:01<37:45,  7.31s/it]
+
mmlu_nl:  25%|█████████████████████████████▎                                                                                       | 103/412 [13:08<37:12,  7.22s/it]
+
mmlu_nl:  25%|█████████████████████████████▌                                                                                       | 104/412 [13:16<37:26,  7.29s/it]
+
mmlu_nl:  25%|█████████████████████████████▊                                                                                       | 105/412 [13:24<38:15,  7.48s/it]
+
mmlu_nl:  26%|██████████████████████████████                                                                                       | 106/412 [13:32<39:10,  7.68s/it]
+
mmlu_nl:  26%|██████████████████████████████▍                                                                                      | 107/412 [13:39<37:53,  7.45s/it]
+
mmlu_nl:  26%|██████████████████████████████▋                                                                                      | 108/412 [13:46<38:05,  7.52s/it]
+
mmlu_nl:  26%|██████████████████████████████▉                                                                                      | 109/412 [13:54<38:18,  7.58s/it]
+
mmlu_nl:  27%|███████████████████████████████▏                                                                                     | 110/412 [14:02<38:09,  7.58s/it]
+
mmlu_nl:  27%|███████████████████████████████▌                                                                                     | 111/412 [14:09<37:18,  7.44s/it]
+
mmlu_nl:  27%|███████████████████████████████▊                                                                                     | 112/412 [14:15<35:54,  7.18s/it]
+
mmlu_nl:  27%|████████████████████████████████                                                                                     | 113/412 [14:23<37:08,  7.45s/it]
+
mmlu_nl:  28%|████████████████████████████████▎                                                                                    | 114/412 [14:31<36:23,  7.33s/it]
+
mmlu_nl:  28%|████████████████████████████████▋                                                                                    | 115/412 [14:38<36:36,  7.40s/it]
+
mmlu_nl:  28%|████████████████████████████████▉                                                                                    | 116/412 [14:46<36:55,  7.49s/it]
+
mmlu_nl:  28%|█████████████████████████████████▏                                                                                   | 117/412 [14:53<36:22,  7.40s/it]
+
mmlu_nl:  29%|█████████████████████████████████▌                                                                                   | 118/412 [15:01<36:45,  7.50s/it]
+
mmlu_nl:  29%|█████████████████████████████████▊                                                                                   | 119/412 [15:09<37:25,  7.66s/it]
+
mmlu_nl:  29%|██████████████████████████████████                                                                                   | 120/412 [15:17<37:56,  7.80s/it]
+
mmlu_nl:  29%|██████████████████████████████████▎                                                                                  | 121/412 [15:25<37:49,  7.80s/it]
+
mmlu_nl:  30%|██████████████████████████████████▋                                                                                  | 122/412 [15:32<36:54,  7.64s/it]
+
mmlu_nl:  30%|██████████████████████████████████▉                                                                                  | 123/412 [15:39<35:52,  7.45s/it]
+
mmlu_nl:  30%|███████████████████████████████████▏                                                                                 | 124/412 [15:46<35:42,  7.44s/it]
+
mmlu_nl:  30%|███████████████████████████████████▍                                                                                 | 125/412 [15:55<36:53,  7.71s/it]
+
mmlu_nl:  31%|███████████████████████████████████▊                                                                                 | 126/412 [16:02<36:23,  7.64s/it]
+
mmlu_nl:  31%|████████████████████████████████████                                                                                 | 127/412 [16:10<36:42,  7.73s/it]
+
mmlu_nl:  31%|████████████████████████████████████▎                                                                                | 128/412 [16:18<36:42,  7.76s/it]
+
mmlu_nl:  31%|████████████████████████████████████▋                                                                                | 129/412 [16:25<35:48,  7.59s/it]
+
mmlu_nl:  32%|████████████████████████████████████▉                                                                                | 130/412 [16:33<35:35,  7.57s/it]
+
mmlu_nl:  32%|█████████████████████████████████████▏                                                                               | 131/412 [16:40<34:42,  7.41s/it]
+
mmlu_nl:  32%|█████████████████████████████████████▍                                                                               | 132/412 [16:47<34:03,  7.30s/it]
+
mmlu_nl:  32%|█████████████████████████████████████▊                                                                               | 133/412 [16:55<35:21,  7.61s/it]
+
mmlu_nl:  33%|██████████████████████████████████████                                                                               | 134/412 [17:03<35:20,  7.63s/it]
+
mmlu_nl:  33%|██████████████████████████████████████▎                                                                              | 135/412 [17:11<35:40,  7.73s/it]
+
mmlu_nl:  33%|██████████████████████████████████████▌                                                                              | 136/412 [17:20<37:19,  8.12s/it]
+
mmlu_nl:  33%|██████████████████████████████████████▉                                                                              | 137/412 [17:27<36:41,  8.01s/it]
+
mmlu_nl:  33%|███████████████████████████████████████▏                                                                             | 138/412 [17:35<36:04,  7.90s/it]
+
mmlu_nl:  34%|███████████████████████████████████████▍                                                                             | 139/412 [17:43<35:26,  7.79s/it]
+
mmlu_nl:  34%|███████████████████████████████████████▊                                                                             | 140/412 [17:51<36:45,  8.11s/it]
+
mmlu_nl:  34%|████████████████████████████████████████                                                                             | 141/412 [17:59<35:49,  7.93s/it]
+
mmlu_nl:  34%|████████████████████████████████████████▎                                                                            | 142/412 [18:08<36:38,  8.14s/it]
+
mmlu_nl:  35%|████████████████████████████████████████▌                                                                            | 143/412 [18:15<35:33,  7.93s/it]
+
mmlu_nl:  35%|████████████████████████████████████████▉                                                                            | 144/412 [18:23<35:23,  7.92s/it]
+
mmlu_nl:  35%|█████████████████████████████████████████▏                                                                           | 145/412 [18:30<34:23,  7.73s/it]
+
mmlu_nl:  35%|█████████████████████████████████████████▍                                                                           | 146/412 [18:38<34:41,  7.83s/it]
+
mmlu_nl:  36%|█████████████████████████████████████████▋                                                                           | 147/412 [18:46<34:36,  7.84s/it]
+
mmlu_nl:  36%|██████████████████████████████████████████                                                                           | 148/412 [18:54<34:07,  7.76s/it]
+
mmlu_nl:  36%|██████████████████████████████████████████▎                                                                          | 149/412 [19:02<34:09,  7.79s/it]
+
mmlu_nl:  36%|██████████████████████████████████████████▌                                                                          | 150/412 [19:09<33:07,  7.58s/it]
+
mmlu_nl:  37%|██████████████████████████████████████████▉                                                                          | 151/412 [19:17<33:21,  7.67s/it]
+
mmlu_nl:  37%|███████████████████████████████████████████▏                                                                         | 152/412 [19:23<32:13,  7.44s/it]
+
mmlu_nl:  37%|███████████████████████████████████████████▍                                                                         | 153/412 [19:31<32:03,  7.43s/it]
+
mmlu_nl:  37%|███████████████████████████████████████████▋                                                                         | 154/412 [19:38<31:14,  7.27s/it]
+
mmlu_nl:  38%|████████████████████████████████████████████                                                                         | 155/412 [19:45<31:21,  7.32s/it]
+
mmlu_nl:  38%|████████████████████████████████████████████▎                                                                        | 156/412 [19:53<31:58,  7.49s/it]
+
mmlu_nl:  38%|████████████████████████████████████████████▌                                                                        | 157/412 [20:00<31:21,  7.38s/it]
+
mmlu_nl:  38%|████████████████████████████████████████████▊                                                                        | 158/412 [20:08<31:56,  7.55s/it]
+
mmlu_nl:  39%|█████████████████████████████████████████████▏                                                                       | 159/412 [20:16<32:27,  7.70s/it]
+
mmlu_nl:  39%|█████████████████████████████████████████████▍                                                                       | 160/412 [20:24<32:31,  7.74s/it]
+
mmlu_nl:  39%|█████████████████████████████████████████████▋                                                                       | 161/412 [20:32<32:03,  7.66s/it]
+
mmlu_nl:  39%|██████████████████████████████████████████████                                                                       | 162/412 [20:39<31:20,  7.52s/it]
+
mmlu_nl:  40%|██████████████████████████████████████████████▎                                                                      | 163/412 [20:47<31:47,  7.66s/it]
+
mmlu_nl:  40%|██████████████████████████████████████████████▌                                                                      | 164/412 [20:55<32:14,  7.80s/it]
+
mmlu_nl:  40%|██████████████████████████████████████████████▊                                                                      | 165/412 [21:03<33:10,  8.06s/it]
+
mmlu_nl:  40%|███████████████████████████████████████████████▏                                                                     | 166/412 [21:10<31:34,  7.70s/it]
+
mmlu_nl:  41%|███████████████████████████████████████████████▍                                                                     | 167/412 [21:19<32:17,  7.91s/it]
+
mmlu_nl:  41%|███████████████████████████████████████████████▋                                                                     | 168/412 [21:26<31:07,  7.65s/it]
+
mmlu_nl:  41%|███████████████████████████████████████████████▉                                                                     | 169/412 [21:34<31:20,  7.74s/it]
+
mmlu_nl:  41%|████████████████████████████████████████████████▎                                                                    | 170/412 [21:41<30:06,  7.47s/it]
+
mmlu_nl:  42%|████████████████████████████████████████████████▌                                                                    | 171/412 [21:49<30:44,  7.66s/it]
+
mmlu_nl:  42%|████████████████████████████████████████████████▊                                                                    | 172/412 [21:57<31:54,  7.98s/it]
+
mmlu_nl:  42%|█████████████████████████████████████████████████▏                                                                   | 173/412 [22:05<31:17,  7.86s/it]
+
mmlu_nl:  42%|█████████████████████████████████████████████████▍                                                                   | 174/412 [22:12<30:15,  7.63s/it]
+
mmlu_nl:  42%|█████████████████████████████████████████████████▋                                                                   | 175/412 [22:20<30:42,  7.77s/it]
+
mmlu_nl:  43%|█████████████████████████████████████████████████▉                                                                   | 176/412 [22:28<30:15,  7.69s/it]
+
mmlu_nl:  43%|██████████████████████████████████████████████████▎                                                                  | 177/412 [22:35<29:15,  7.47s/it]
+
mmlu_nl:  43%|██████████████████████████████████████████████████▌                                                                  | 178/412 [22:42<29:19,  7.52s/it]
+
mmlu_nl:  43%|██████████████████████████████████████████████████▊                                                                  | 179/412 [22:50<29:41,  7.65s/it]
+
mmlu_nl:  44%|███████████████████████████████████████████████████                                                                  | 180/412 [22:59<30:22,  7.86s/it]
+
mmlu_nl:  44%|███████████████████████████████████████████████████▍                                                                 | 181/412 [23:06<29:41,  7.71s/it]
+
mmlu_nl:  44%|███████████████████████████████████████████████████▋                                                                 | 182/412 [23:14<29:50,  7.78s/it]
+
mmlu_nl:  44%|███████████████████████████████████████████████████▉                                                                 | 183/412 [23:21<29:04,  7.62s/it]
+
mmlu_nl:  45%|████████████████████████████████████████████████████▎                                                                | 184/412 [23:29<29:28,  7.76s/it]
+
mmlu_nl:  45%|████████████████████████████████████████████████████▌                                                                | 185/412 [23:36<28:49,  7.62s/it]
+
mmlu_nl:  45%|████████████████████████████████████████████████████▊                                                                | 186/412 [23:44<28:45,  7.64s/it]
+
mmlu_nl:  45%|█████████████████████████████████████████████████████                                                                | 187/412 [23:52<28:43,  7.66s/it]
+
mmlu_nl:  46%|█████████████████████████████████████████████████████▍                                                               | 188/412 [23:59<27:54,  7.48s/it]
+
mmlu_nl:  46%|█████████████████████████████████████████████████████▋                                                               | 189/412 [24:06<27:25,  7.38s/it]
+
mmlu_nl:  46%|█████████████████████████████████████████████████████▉                                                               | 190/412 [24:14<27:34,  7.45s/it]
+
mmlu_nl:  46%|██████████████████████████████████████████████████████▏                                                              | 191/412 [24:21<27:33,  7.48s/it]
+
mmlu_nl:  47%|██████████████████████████████████████████████████████▌                                                              | 192/412 [24:29<27:15,  7.43s/it]
+
mmlu_nl:  47%|██████████████████████████████████████████████████████▊                                                              | 193/412 [24:36<27:05,  7.42s/it]
+
mmlu_nl:  47%|███████████████████████████████████████████████████████                                                              | 194/412 [24:44<27:17,  7.51s/it]
+
mmlu_nl:  47%|███████████████████████████████████████████████████████▍                                                             | 195/412 [24:51<26:33,  7.34s/it]
+
mmlu_nl:  48%|███████████████████████████████████████████████████████▋                                                             | 196/412 [24:58<26:48,  7.45s/it]
+
mmlu_nl:  48%|███████████████████████████████████████████████████████▉                                                             | 197/412 [25:05<26:01,  7.26s/it]
+
mmlu_nl:  48%|████████████████████████████████████████████████████████▏                                                            | 198/412 [25:12<25:54,  7.26s/it]
+
mmlu_nl:  48%|████████████████████████████████████████████████████████▌                                                            | 199/412 [25:20<26:05,  7.35s/it]
+
mmlu_nl:  49%|████████████████████████████████████████████████████████▊                                                            | 200/412 [25:28<26:22,  7.46s/it]
+
mmlu_nl:  49%|█████████████████████████████████████████████████████████                                                            | 201/412 [25:35<26:12,  7.45s/it]
+
mmlu_nl:  49%|█████████████████████████████████████████████████████████▎                                                           | 202/412 [25:44<27:09,  7.76s/it]
+
mmlu_nl:  49%|█████████████████████████████████████████████████████████▋                                                           | 203/412 [25:52<27:47,  7.98s/it]
+
mmlu_nl:  50%|█████████████████████████████████████████████████████████▉                                                           | 204/412 [25:59<26:45,  7.72s/it]
+
mmlu_nl:  50%|██████████████████████████████████████████████████████████▏                                                          | 205/412 [26:08<28:06,  8.15s/it]
+
mmlu_nl:  50%|██████████████████████████████████████████████████████████▌                                                          | 206/412 [26:16<27:07,  7.90s/it]
+
mmlu_nl:  50%|██████████████████████████████████████████████████████████▊                                                          | 207/412 [26:23<26:28,  7.75s/it]
+
mmlu_nl:  50%|███████████████████████████████████████████████████████████                                                          | 208/412 [26:32<27:38,  8.13s/it]
+
mmlu_nl:  51%|███████████████████████████████████████████████████████████▎                                                         | 209/412 [26:40<27:11,  8.03s/it]
+
mmlu_nl:  51%|███████████████████████████████████████████████████████████▋                                                         | 210/412 [26:47<26:09,  7.77s/it]
+
mmlu_nl:  51%|███████████████████████████████████████████████████████████▉                                                         | 211/412 [26:55<25:59,  7.76s/it]
+
mmlu_nl:  51%|████████████████████████████████████████████████████████████▏                                                        | 212/412 [27:02<25:31,  7.66s/it]
+
mmlu_nl:  52%|████████████████████████████████████████████████████████████▍                                                        | 213/412 [27:09<24:48,  7.48s/it]
+
mmlu_nl:  52%|████████████████████████████████████████████████████████████▊                                                        | 214/412 [27:16<24:08,  7.32s/it]
+
mmlu_nl:  52%|█████████████████████████████████████████████████████████████                                                        | 215/412 [27:24<24:19,  7.41s/it]
+
mmlu_nl:  52%|█████████████████████████████████████████████████████████████▎                                                       | 216/412 [27:31<23:53,  7.31s/it]
+
mmlu_nl:  53%|█████████████████████████████████████████████████████████████▌                                                       | 217/412 [27:40<25:28,  7.84s/it]
+
mmlu_nl:  53%|█████████████████████████████████████████████████████████████▉                                                       | 218/412 [27:47<24:32,  7.59s/it]
+
mmlu_nl:  53%|██████████████████████████████████████████████████████████████▏                                                      | 219/412 [27:55<24:22,  7.58s/it]
+
mmlu_nl:  53%|██████████████████████████████████████████████████████████████▍                                                      | 220/412 [28:02<23:42,  7.41s/it]
+
mmlu_nl:  54%|██████████████████████████████████████████████████████████████▊                                                      | 221/412 [28:09<23:40,  7.44s/it]
+
mmlu_nl:  54%|███████████████████████████████████████████████████████████████                                                      | 222/412 [28:17<23:53,  7.55s/it]
+
mmlu_nl:  54%|███████████████████████████████████████████████████████████████▎                                                     | 223/412 [28:25<24:15,  7.70s/it]
+
mmlu_nl:  54%|███████████████████████████████████████████████████████████████▌                                                     | 224/412 [28:33<24:00,  7.66s/it]
+
mmlu_nl:  55%|███████████████████████████████████████████████████████████████▉                                                     | 225/412 [28:40<23:59,  7.70s/it]
+
mmlu_nl:  55%|████████████████████████████████████████████████████████████████▏                                                    | 226/412 [28:47<23:18,  7.52s/it]
+
mmlu_nl:  55%|████████████████████████████████████████████████████████████████▍                                                    | 227/412 [28:55<23:08,  7.51s/it]
+
mmlu_nl:  55%|████████████████████████████████████████████████████████████████▋                                                    | 228/412 [29:03<23:30,  7.67s/it]
+
mmlu_nl:  56%|█████████████████████████████████████████████████████████████████                                                    | 229/412 [29:12<24:26,  8.01s/it]
+
mmlu_nl:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 230/412 [29:19<23:32,  7.76s/it]
+
mmlu_nl:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 231/412 [29:27<23:37,  7.83s/it]
+
mmlu_nl:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 232/412 [29:35<23:33,  7.85s/it]
+
mmlu_nl:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 233/412 [29:42<22:40,  7.60s/it]
+
mmlu_nl:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 234/412 [29:49<22:29,  7.58s/it]
+
mmlu_nl:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 235/412 [29:58<23:24,  7.94s/it]
+
mmlu_nl:  57%|███████████████████████████████████████████████████████████████████                                                  | 236/412 [30:05<22:32,  7.68s/it]
+
mmlu_nl:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 237/412 [30:12<21:57,  7.53s/it]
+
mmlu_nl:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 238/412 [30:20<22:06,  7.62s/it]
+
mmlu_nl:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 239/412 [30:28<22:19,  7.74s/it]
+
mmlu_nl:  58%|████████████████████████████████████████████████████████████████████▏                                                | 240/412 [30:36<22:07,  7.72s/it]
+
mmlu_nl:  58%|████████████████████████████████████████████████████████████████████▍                                                | 241/412 [30:43<21:47,  7.65s/it]
+
mmlu_nl:  59%|████████████████████████████████████████████████████████████████████▋                                                | 242/412 [30:51<21:36,  7.63s/it]
+
mmlu_nl:  59%|█████████████████████████████████████████████████████████████████████                                                | 243/412 [30:59<22:10,  7.87s/it]
+
mmlu_nl:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 244/412 [31:07<21:42,  7.75s/it]
+
mmlu_nl:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 245/412 [31:14<20:45,  7.46s/it]
+
mmlu_nl:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 246/412 [31:22<21:18,  7.70s/it]
+
mmlu_nl:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 247/412 [31:30<21:44,  7.90s/it]
+
mmlu_nl:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 248/412 [31:39<22:19,  8.17s/it]
+
mmlu_nl:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 249/412 [31:47<22:08,  8.15s/it]
+
mmlu_nl:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 250/412 [31:55<21:50,  8.09s/it]
+
mmlu_nl:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 251/412 [32:03<21:24,  7.98s/it]
+
mmlu_nl:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 252/412 [32:11<21:25,  8.03s/it]
+
mmlu_nl:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 253/412 [32:19<21:06,  7.97s/it]
+
mmlu_nl:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 254/412 [32:27<21:18,  8.09s/it]
+
mmlu_nl:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 255/412 [32:35<21:17,  8.14s/it]
+
mmlu_nl:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 256/412 [32:42<20:14,  7.79s/it]
+
mmlu_nl:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 257/412 [32:50<20:08,  7.79s/it]
+
mmlu_nl:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 258/412 [32:58<19:44,  7.69s/it]
+
mmlu_nl:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 259/412 [33:06<20:10,  7.91s/it]
+
mmlu_nl:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 260/412 [33:13<19:37,  7.74s/it]
+
mmlu_nl:  63%|██████████████████████████████████████████████████████████████████████████                                           | 261/412 [33:21<19:15,  7.65s/it]
+
mmlu_nl:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 262/412 [33:28<18:26,  7.38s/it]
+
mmlu_nl:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 263/412 [33:34<17:51,  7.19s/it]
+
mmlu_nl:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 264/412 [33:42<18:09,  7.36s/it]
+
mmlu_nl:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 265/412 [33:50<18:05,  7.38s/it]
+
mmlu_nl:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 266/412 [33:58<19:02,  7.82s/it]
+
mmlu_nl:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 267/412 [34:07<19:21,  8.01s/it]
+
mmlu_nl:  65%|████████████████████████████████████████████████████████████████████████████                                         | 268/412 [34:15<19:19,  8.05s/it]
+
mmlu_nl:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 269/412 [34:23<19:02,  7.99s/it]
+
mmlu_nl:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 270/412 [34:31<18:51,  7.97s/it]
+
mmlu_nl:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 271/412 [34:38<18:27,  7.86s/it]
+
mmlu_nl:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 272/412 [34:46<18:20,  7.86s/it]
+
mmlu_nl:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 273/412 [34:53<17:43,  7.65s/it]
+
mmlu_nl:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 274/412 [35:00<17:09,  7.46s/it]
+
mmlu_nl:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 275/412 [35:08<16:51,  7.38s/it]
+
mmlu_nl:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 276/412 [35:15<16:33,  7.31s/it]
+
mmlu_nl:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 277/412 [35:23<17:17,  7.69s/it]
+
mmlu_nl:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 278/412 [35:31<16:54,  7.57s/it]
+
mmlu_nl:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 279/412 [35:39<16:58,  7.65s/it]
+
mmlu_nl:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 280/412 [35:47<17:24,  7.91s/it]
+
mmlu_nl:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 281/412 [35:54<16:53,  7.74s/it]
+
mmlu_nl:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 282/412 [36:03<17:04,  7.88s/it]
+
mmlu_nl:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 283/412 [36:10<16:54,  7.86s/it]
+
mmlu_nl:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 284/412 [36:19<17:03,  7.99s/it]
+
mmlu_nl:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 285/412 [36:26<16:44,  7.91s/it]
+
mmlu_nl:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 286/412 [36:34<16:08,  7.69s/it]
+
mmlu_nl:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 287/412 [36:41<15:47,  7.58s/it]
+
mmlu_nl:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 288/412 [36:49<16:00,  7.74s/it]
+
mmlu_nl:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 289/412 [36:58<16:50,  8.22s/it]
+
mmlu_nl:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 290/412 [37:07<16:58,  8.35s/it]
+
mmlu_nl:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 291/412 [37:16<17:16,  8.57s/it]
+
mmlu_nl:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 292/412 [37:23<16:12,  8.11s/it]
+
mmlu_nl:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 293/412 [37:31<16:13,  8.18s/it]
+
mmlu_nl:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 294/412 [37:40<16:21,  8.32s/it]
+
mmlu_nl:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 295/412 [37:47<15:27,  7.93s/it]
+
mmlu_nl:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 296/412 [37:56<15:50,  8.19s/it]
+
mmlu_nl:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 297/412 [38:04<15:42,  8.19s/it]
+
mmlu_nl:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 298/412 [38:11<14:53,  7.84s/it]
+
mmlu_nl:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 299/412 [38:19<14:32,  7.72s/it]
+
mmlu_nl:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 300/412 [38:26<14:23,  7.71s/it]
+
mmlu_nl:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 301/412 [38:34<14:27,  7.82s/it]
+
mmlu_nl:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 302/412 [38:42<14:01,  7.65s/it]
+
mmlu_nl:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 303/412 [38:49<13:35,  7.48s/it]
+
mmlu_nl:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 304/412 [38:56<13:21,  7.42s/it]
+
mmlu_nl:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 305/412 [39:03<12:58,  7.28s/it]
+
mmlu_nl:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 306/412 [39:10<12:52,  7.29s/it]
+
mmlu_nl:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 307/412 [39:18<13:09,  7.52s/it]
+
mmlu_nl:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 308/412 [39:26<12:52,  7.43s/it]
+
mmlu_nl:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 309/412 [39:34<13:16,  7.73s/it]
+
mmlu_nl:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 310/412 [39:42<13:25,  7.89s/it]
+
mmlu_nl:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 311/412 [39:49<12:48,  7.61s/it]
+
mmlu_nl:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 312/412 [39:57<12:50,  7.71s/it]
+
mmlu_nl:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 313/412 [40:04<12:33,  7.61s/it]
+
mmlu_nl:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 314/412 [40:11<12:06,  7.41s/it]
+
mmlu_nl:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 315/412 [40:20<12:27,  7.71s/it]
+
mmlu_nl:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 316/412 [40:27<11:54,  7.44s/it]
+
mmlu_nl:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 317/412 [40:34<11:48,  7.46s/it]
+
mmlu_nl:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 318/412 [40:42<11:52,  7.58s/it]
+
mmlu_nl:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 319/412 [40:50<11:44,  7.58s/it]
+
mmlu_nl:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 320/412 [40:57<11:36,  7.57s/it]
+
mmlu_nl:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 321/412 [41:04<11:11,  7.38s/it]
+
mmlu_nl:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 322/412 [41:11<11:05,  7.39s/it]
+
mmlu_nl:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 323/412 [41:19<11:14,  7.58s/it]
+
mmlu_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 324/412 [41:27<10:57,  7.47s/it]
+
mmlu_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 325/412 [41:36<11:28,  7.91s/it]
+
mmlu_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 326/412 [41:43<10:58,  7.66s/it]
+
mmlu_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 327/412 [41:50<10:53,  7.69s/it]
+
mmlu_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 328/412 [41:58<10:44,  7.67s/it]
+
mmlu_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 329/412 [42:06<10:43,  7.75s/it]
+
mmlu_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 330/412 [42:15<10:58,  8.04s/it]
+
mmlu_nl:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 331/412 [42:23<10:49,  8.01s/it]
+
mmlu_nl:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 332/412 [42:30<10:23,  7.79s/it]
+
mmlu_nl:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 333/412 [42:38<10:23,  7.90s/it]
+
mmlu_nl:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 334/412 [42:45<09:55,  7.64s/it]
+
mmlu_nl:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 335/412 [42:53<09:58,  7.77s/it]
+
mmlu_nl:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 336/412 [43:00<09:38,  7.61s/it]
+
mmlu_nl:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 337/412 [43:08<09:35,  7.67s/it]
+
mmlu_nl:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 338/412 [43:17<09:49,  7.97s/it]
+
mmlu_nl:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 339/412 [43:24<09:26,  7.76s/it]
+
mmlu_nl:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 340/412 [43:32<09:20,  7.78s/it]
+
mmlu_nl:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 341/412 [43:40<09:09,  7.74s/it]
+
mmlu_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 342/412 [43:47<08:51,  7.59s/it]
+
mmlu_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 343/412 [43:55<08:44,  7.60s/it]
+
mmlu_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 344/412 [44:02<08:28,  7.48s/it]
+
mmlu_nl:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 345/412 [44:09<08:17,  7.42s/it]
+
mmlu_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 346/412 [44:16<08:04,  7.34s/it]
+
mmlu_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 347/412 [44:25<08:30,  7.86s/it]
+
mmlu_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 348/412 [44:33<08:25,  7.90s/it]
+
mmlu_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 349/412 [44:40<08:03,  7.67s/it]
+
mmlu_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 350/412 [44:48<07:59,  7.74s/it]
+
mmlu_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 351/412 [44:55<07:34,  7.44s/it]
+
mmlu_nl:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 352/412 [45:02<07:25,  7.42s/it]
+
mmlu_nl:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 353/412 [45:11<07:32,  7.67s/it]
+
mmlu_nl:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 354/412 [45:18<07:17,  7.54s/it]
+
mmlu_nl:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 355/412 [45:26<07:10,  7.55s/it]
+
mmlu_nl:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 356/412 [45:33<06:59,  7.49s/it]
+
mmlu_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 357/412 [45:40<06:42,  7.32s/it]
+
mmlu_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 358/412 [45:48<06:48,  7.56s/it]
+
mmlu_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 359/412 [45:55<06:33,  7.42s/it]
+
mmlu_nl:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 360/412 [46:03<06:39,  7.68s/it]
+
mmlu_nl:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 361/412 [46:12<06:42,  7.90s/it]
+
mmlu_nl:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 362/412 [46:19<06:23,  7.67s/it]
+
mmlu_nl:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 363/412 [46:27<06:18,  7.72s/it]
+
mmlu_nl:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 364/412 [46:36<06:33,  8.19s/it]
+
mmlu_nl:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 365/412 [46:43<06:13,  7.94s/it]
+
mmlu_nl:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 366/412 [46:51<06:06,  7.97s/it]
+
mmlu_nl:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 367/412 [46:59<05:48,  7.74s/it]
+
mmlu_nl:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 368/412 [47:06<05:30,  7.52s/it]
+
mmlu_nl:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 369/412 [47:13<05:27,  7.61s/it]
+
mmlu_nl:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 370/412 [47:22<05:34,  7.97s/it]
+
mmlu_nl:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 371/412 [47:29<05:12,  7.61s/it]
+
mmlu_nl:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 372/412 [47:36<04:57,  7.45s/it]
+
mmlu_nl:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 373/412 [47:44<04:52,  7.51s/it]
+
mmlu_nl:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 374/412 [47:50<04:36,  7.28s/it]
+
mmlu_nl:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 375/412 [47:58<04:28,  7.26s/it]
+
mmlu_nl:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 376/412 [48:07<04:46,  7.96s/it]
+
mmlu_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 377/412 [48:14<04:28,  7.67s/it]
+
mmlu_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 378/412 [48:22<04:17,  7.58s/it]
+
mmlu_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 379/412 [48:30<04:15,  7.73s/it]
+
mmlu_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 380/412 [48:37<04:02,  7.57s/it]
+
mmlu_nl:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 381/412 [48:45<03:56,  7.62s/it]
+
mmlu_nl:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 382/412 [48:52<03:44,  7.49s/it]
+
mmlu_nl:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 383/412 [49:00<03:45,  7.78s/it]
+
mmlu_nl:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 384/412 [49:07<03:26,  7.39s/it]
+
mmlu_nl:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 385/412 [49:15<03:25,  7.61s/it]
+
mmlu_nl:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 386/412 [49:22<03:14,  7.49s/it]
+
mmlu_nl:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 387/412 [49:28<02:59,  7.16s/it]
+
mmlu_nl:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 388/412 [49:36<02:57,  7.38s/it]
+
mmlu_nl:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 389/412 [49:43<02:47,  7.30s/it]
+
mmlu_nl:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 390/412 [49:50<02:38,  7.21s/it]
+
mmlu_nl:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 391/412 [49:58<02:31,  7.23s/it]
+
mmlu_nl:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 392/412 [50:05<02:22,  7.11s/it]
+
mmlu_nl:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 393/412 [50:13<02:19,  7.36s/it]
+
mmlu_nl:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 394/412 [50:20<02:12,  7.37s/it]
+
mmlu_nl:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 395/412 [50:27<02:02,  7.22s/it]
+
mmlu_nl:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 396/412 [50:34<01:55,  7.21s/it]
+
mmlu_nl:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 397/412 [50:42<01:51,  7.46s/it]
+
mmlu_nl:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 398/412 [50:50<01:46,  7.58s/it]
+
mmlu_nl:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 399/412 [50:57<01:37,  7.53s/it]
+
mmlu_nl:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 400/412 [51:05<01:31,  7.66s/it]
+
mmlu_nl:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 401/412 [51:12<01:21,  7.44s/it]
+
mmlu_nl:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 402/412 [51:20<01:16,  7.67s/it]
+
mmlu_nl:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 403/412 [51:28<01:08,  7.60s/it]
+
mmlu_nl:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 404/412 [51:35<00:59,  7.49s/it]
+
mmlu_nl:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 405/412 [51:42<00:52,  7.48s/it]
+
mmlu_nl:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [51:50<00:45,  7.60s/it]
+
mmlu_nl:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [51:58<00:37,  7.47s/it]
+
mmlu_nl:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [52:06<00:30,  7.66s/it]
+
mmlu_nl:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [52:13<00:22,  7.62s/it]
+
mmlu_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [52:21<00:15,  7.81s/it]
+
mmlu_nl: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [52:28<00:07,  7.59s/it]
+
mmlu_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:36<00:00,  7.56s/it]
mmlu_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:36<00:00,  7.66s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_nl_acc 0.38293997116187295
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_nl_acc_norm 0.3433254913865068
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 17:13:31,187 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 17:13:31,188 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:31,317 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 17:13:31,318 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:31,447 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 17:13:31,447 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:31,577 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 17:13:31,578 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 17:13:31,578 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 17:13:31,710 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 17:13:31,710 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_nl_acc'}
+2024-05-31 17:13:31,776 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 17:13:31,776 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1241, 'value': 0.38293997116187295}
+2024-05-31 17:13:31,842 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 17:13:32,493 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 17:13:32,493 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:32,621 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 17:13:32,621 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:32,749 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 17:13:32,749 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 17:13:32,877 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 17:13:33,006 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 17:13:33,006 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'mmlu_nl_acc_norm'}
+2024-05-31 17:13:33,071 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 17:13:33,071 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1242, 'value': 0.3433254913865068}
+2024-05-31 17:13:33,136 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  66%|███████████████████████████████████████████████████████████████████████▍                                    | 82/124 [58:26:02<60:53:27, 5219.23s/it]['mmlu_pt']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 17:13:33,794 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 17:13:33,794 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:33,923 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 17:13:33,923 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:34,053 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 17:13:34,053 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 17:13:34,182 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 17:13:34,183 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 17:13:34,183 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_pt'}
+2024-05-31 17:13:34,314 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_pt task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1761 examples [00:00, 13633.35 examples/s]
+
Generating test split: 5101 examples [00:00, 24004.86 examples/s]
+
Generating test split: 8595 examples [00:00, 28688.81 examples/s]
+
Generating test split: 12000 examples [00:00, 30524.05 examples/s]
Generating test split: 13324 examples [00:00, 28023.01 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 280 examples [00:00, 27604.48 examples/s]
+Running loglikelihood requests
+
+
mmlu_pt:   0%|                                                                                                                               | 0/417 [00:00<?, ?it/s]
+
mmlu_pt:   0%|▎                                                                                                                    | 1/417 [00:08<1:01:17,  8.84s/it]
+
mmlu_pt:   0%|▌                                                                                                                      | 2/417 [00:15<53:23,  7.72s/it]
+
mmlu_pt:   1%|▊                                                                                                                      | 3/417 [00:23<51:54,  7.52s/it]
+
mmlu_pt:   1%|█▏                                                                                                                     | 4/417 [00:30<51:14,  7.45s/it]
+
mmlu_pt:   1%|█▍                                                                                                                     | 5/417 [00:37<51:23,  7.48s/it]
+
mmlu_pt:   1%|█▋                                                                                                                     | 6/417 [00:45<50:49,  7.42s/it]
+
mmlu_pt:   2%|█▉                                                                                                                     | 7/417 [00:52<50:37,  7.41s/it]
+
mmlu_pt:   2%|██▎                                                                                                                    | 8/417 [01:00<52:08,  7.65s/it]
+
mmlu_pt:   2%|██▌                                                                                                                    | 9/417 [01:07<50:34,  7.44s/it]
+
mmlu_pt:   2%|██▊                                                                                                                   | 10/417 [01:14<49:20,  7.27s/it]
+
mmlu_pt:   3%|███                                                                                                                   | 11/417 [01:21<48:46,  7.21s/it]
+
mmlu_pt:   3%|███▍                                                                                                                  | 12/417 [01:28<48:39,  7.21s/it]
+
mmlu_pt:   3%|███▋                                                                                                                  | 13/417 [01:35<47:14,  7.02s/it]
+
mmlu_pt:   3%|███▉                                                                                                                  | 14/417 [01:42<47:54,  7.13s/it]
+
mmlu_pt:   4%|████▏                                                                                                                 | 15/417 [01:50<47:48,  7.14s/it]
+
mmlu_pt:   4%|████▌                                                                                                                 | 16/417 [01:58<49:55,  7.47s/it]
+
mmlu_pt:   4%|████▊                                                                                                                 | 17/417 [02:06<50:34,  7.59s/it]
+
mmlu_pt:   4%|█████                                                                                                                 | 18/417 [02:14<52:41,  7.92s/it]
+
mmlu_pt:   5%|█████▍                                                                                                                | 19/417 [02:21<50:41,  7.64s/it]
+
mmlu_pt:   5%|█████▋                                                                                                                | 20/417 [02:28<49:23,  7.47s/it]
+
mmlu_pt:   5%|█████▉                                                                                                                | 21/417 [02:36<50:16,  7.62s/it]
+
mmlu_pt:   5%|██████▏                                                                                                               | 22/417 [02:44<51:02,  7.75s/it]
+
mmlu_pt:   6%|██████▌                                                                                                               | 23/417 [02:51<49:18,  7.51s/it]
+
mmlu_pt:   6%|██████▊                                                                                                               | 24/417 [02:59<48:44,  7.44s/it]
+
mmlu_pt:   6%|███████                                                                                                               | 25/417 [03:06<47:53,  7.33s/it]
+
mmlu_pt:   6%|███████▎                                                                                                              | 26/417 [03:13<48:02,  7.37s/it]
+
mmlu_pt:   6%|███████▋                                                                                                              | 27/417 [03:20<46:55,  7.22s/it]
+
mmlu_pt:   7%|███████▉                                                                                                              | 28/417 [03:28<48:16,  7.45s/it]
+
mmlu_pt:   7%|████████▏                                                                                                             | 29/417 [03:34<45:17,  7.00s/it]
+
mmlu_pt:   7%|████████▍                                                                                                             | 30/417 [03:41<44:49,  6.95s/it]
+
mmlu_pt:   7%|████████▊                                                                                                             | 31/417 [03:48<44:21,  6.90s/it]
+
mmlu_pt:   8%|█████████                                                                                                             | 32/417 [03:55<44:25,  6.92s/it]
+
mmlu_pt:   8%|█████████▎                                                                                                            | 33/417 [04:03<46:42,  7.30s/it]
+
mmlu_pt:   8%|█████████▌                                                                                                            | 34/417 [04:10<46:24,  7.27s/it]
+
mmlu_pt:   8%|█████████▉                                                                                                            | 35/417 [04:18<48:31,  7.62s/it]
+
mmlu_pt:   9%|██████████▏                                                                                                           | 36/417 [04:26<47:37,  7.50s/it]
+
mmlu_pt:   9%|██████████▍                                                                                                           | 37/417 [04:32<46:06,  7.28s/it]
+
mmlu_pt:   9%|██████████▊                                                                                                           | 38/417 [04:40<46:42,  7.39s/it]
+
mmlu_pt:   9%|███████████                                                                                                           | 39/417 [04:47<45:54,  7.29s/it]
+
mmlu_pt:  10%|███████████▎                                                                                                          | 40/417 [04:54<45:32,  7.25s/it]
+
mmlu_pt:  10%|███████████▌                                                                                                          | 41/417 [05:01<44:39,  7.13s/it]
+
mmlu_pt:  10%|███████████▉                                                                                                          | 42/417 [05:08<44:05,  7.06s/it]
+
mmlu_pt:  10%|████████████▏                                                                                                         | 43/417 [05:15<43:27,  6.97s/it]
+
mmlu_pt:  11%|████████████▍                                                                                                         | 44/417 [05:22<43:20,  6.97s/it]
+
mmlu_pt:  11%|████████████▋                                                                                                         | 45/417 [05:29<43:29,  7.02s/it]
+
mmlu_pt:  11%|█████████████                                                                                                         | 46/417 [05:36<43:08,  6.98s/it]
+
mmlu_pt:  11%|█████████████▎                                                                                                        | 47/417 [05:43<42:37,  6.91s/it]
+
mmlu_pt:  12%|█████████████▌                                                                                                        | 48/417 [05:50<42:39,  6.94s/it]
+
mmlu_pt:  12%|█████████████▊                                                                                                        | 49/417 [05:57<43:35,  7.11s/it]
+
mmlu_pt:  12%|██████████████▏                                                                                                       | 50/417 [06:04<43:23,  7.10s/it]
+
mmlu_pt:  12%|██████████████▍                                                                                                       | 51/417 [06:11<43:17,  7.10s/it]
+
mmlu_pt:  12%|██████████████▋                                                                                                       | 52/417 [06:18<42:33,  7.00s/it]
+
mmlu_pt:  13%|██████████████▉                                                                                                       | 53/417 [06:25<41:46,  6.89s/it]
+
mmlu_pt:  13%|███████████████▎                                                                                                      | 54/417 [06:33<44:05,  7.29s/it]
+
mmlu_pt:  13%|███████████████▌                                                                                                      | 55/417 [06:39<42:41,  7.08s/it]
+
mmlu_pt:  13%|███████████████▊                                                                                                      | 56/417 [06:48<45:49,  7.62s/it]
+
mmlu_pt:  14%|████████████████▏                                                                                                     | 57/417 [06:55<44:50,  7.47s/it]
+
mmlu_pt:  14%|████████████████▍                                                                                                     | 58/417 [07:02<43:57,  7.35s/it]
+
mmlu_pt:  14%|████████████████▋                                                                                                     | 59/417 [07:10<45:00,  7.54s/it]
+
mmlu_pt:  14%|████████████████▉                                                                                                     | 60/417 [07:18<45:28,  7.64s/it]
+
mmlu_pt:  15%|█████████████████▎                                                                                                    | 61/417 [07:25<43:42,  7.37s/it]
+
mmlu_pt:  15%|█████████████████▌                                                                                                    | 62/417 [07:32<43:15,  7.31s/it]
+
mmlu_pt:  15%|█████████████████▊                                                                                                    | 63/417 [07:39<42:36,  7.22s/it]
+
mmlu_pt:  15%|██████████████████                                                                                                    | 64/417 [07:46<42:27,  7.22s/it]
+
mmlu_pt:  16%|██████████████████▍                                                                                                   | 65/417 [07:55<44:14,  7.54s/it]
+
mmlu_pt:  16%|██████████████████▋                                                                                                   | 66/417 [08:03<44:33,  7.62s/it]
+
mmlu_pt:  16%|██████████████████▉                                                                                                   | 67/417 [08:11<45:16,  7.76s/it]
+
mmlu_pt:  16%|███████████████████▏                                                                                                  | 68/417 [08:17<42:04,  7.23s/it]
+
mmlu_pt:  17%|███████████████████▌                                                                                                  | 69/417 [08:24<41:58,  7.24s/it]
+
mmlu_pt:  17%|███████████████████▊                                                                                                  | 70/417 [08:32<43:25,  7.51s/it]
+
mmlu_pt:  17%|████████████████████                                                                                                  | 71/417 [08:40<44:34,  7.73s/it]
+
mmlu_pt:  17%|████████████████████▎                                                                                                 | 72/417 [08:48<43:36,  7.58s/it]
+
mmlu_pt:  18%|████████████████████▋                                                                                                 | 73/417 [08:54<41:56,  7.32s/it]
+
mmlu_pt:  18%|████████████████████▉                                                                                                 | 74/417 [09:02<42:02,  7.35s/it]
+
mmlu_pt:  18%|█████████████████████▏                                                                                                | 75/417 [09:09<42:20,  7.43s/it]
+
mmlu_pt:  18%|█████████████████████▌                                                                                                | 76/417 [09:17<42:12,  7.43s/it]
+
mmlu_pt:  18%|█████████████████████▊                                                                                                | 77/417 [09:25<43:58,  7.76s/it]
+
mmlu_pt:  19%|██████████████████████                                                                                                | 78/417 [09:32<42:31,  7.53s/it]
+
mmlu_pt:  19%|██████████████████████▎                                                                                               | 79/417 [09:40<42:33,  7.55s/it]
+
mmlu_pt:  19%|██████████████████████▋                                                                                               | 80/417 [09:47<41:40,  7.42s/it]
+
mmlu_pt:  19%|██████████████████████▉                                                                                               | 81/417 [09:54<40:37,  7.25s/it]
+
mmlu_pt:  20%|███████████████████████▏                                                                                              | 82/417 [10:01<39:46,  7.12s/it]
+
mmlu_pt:  20%|███████████████████████▍                                                                                              | 83/417 [10:08<40:00,  7.19s/it]
+
mmlu_pt:  20%|███████████████████████▊                                                                                              | 84/417 [10:15<40:15,  7.25s/it]
+
mmlu_pt:  20%|████████████████████████                                                                                              | 85/417 [10:23<41:06,  7.43s/it]
+
mmlu_pt:  21%|████████████████████████▎                                                                                             | 86/417 [10:30<39:51,  7.22s/it]
+
mmlu_pt:  21%|████████████████████████▌                                                                                             | 87/417 [10:37<40:18,  7.33s/it]
+
mmlu_pt:  21%|████████████████████████▉                                                                                             | 88/417 [10:45<39:44,  7.25s/it]
+
mmlu_pt:  21%|█████████████████████████▏                                                                                            | 89/417 [10:51<39:02,  7.14s/it]
+
mmlu_pt:  22%|█████████████████████████▍                                                                                            | 90/417 [10:59<40:09,  7.37s/it]
+
mmlu_pt:  22%|█████████████████████████▊                                                                                            | 91/417 [11:07<40:54,  7.53s/it]
+
mmlu_pt:  22%|██████████████████████████                                                                                            | 92/417 [11:15<40:20,  7.45s/it]
+
mmlu_pt:  22%|██████████████████████████▎                                                                                           | 93/417 [11:21<39:24,  7.30s/it]
+
mmlu_pt:  23%|██████████████████████████▌                                                                                           | 94/417 [11:29<39:16,  7.30s/it]
+
mmlu_pt:  23%|██████████████████████████▉                                                                                           | 95/417 [11:36<39:14,  7.31s/it]
+
mmlu_pt:  23%|███████████████████████████▏                                                                                          | 96/417 [11:45<41:05,  7.68s/it]
+
mmlu_pt:  23%|███████████████████████████▍                                                                                          | 97/417 [11:53<42:35,  7.99s/it]
+
mmlu_pt:  24%|███████████████████████████▋                                                                                          | 98/417 [12:01<42:07,  7.92s/it]
+
mmlu_pt:  24%|████████████████████████████                                                                                          | 99/417 [12:09<41:40,  7.86s/it]
+
mmlu_pt:  24%|████████████████████████████                                                                                         | 100/417 [12:16<40:39,  7.70s/it]
+
mmlu_pt:  24%|████████████████████████████▎                                                                                        | 101/417 [12:23<39:34,  7.51s/it]
+
mmlu_pt:  24%|████████████████████████████▌                                                                                        | 102/417 [12:31<39:14,  7.47s/it]
+
mmlu_pt:  25%|████████████████████████████▉                                                                                        | 103/417 [12:38<38:55,  7.44s/it]
+
mmlu_pt:  25%|█████████████████████████████▏                                                                                       | 104/417 [12:45<38:17,  7.34s/it]
+
mmlu_pt:  25%|█████████████████████████████▍                                                                                       | 105/417 [12:53<39:39,  7.63s/it]
+
mmlu_pt:  25%|█████████████████████████████▋                                                                                       | 106/417 [13:01<38:52,  7.50s/it]
+
mmlu_pt:  26%|██████████████████████████████                                                                                       | 107/417 [13:09<39:58,  7.74s/it]
+
mmlu_pt:  26%|██████████████████████████████▎                                                                                      | 108/417 [13:16<38:42,  7.52s/it]
+
mmlu_pt:  26%|██████████████████████████████▌                                                                                      | 109/417 [13:23<37:51,  7.38s/it]
+
mmlu_pt:  26%|██████████████████████████████▊                                                                                      | 110/417 [13:30<37:37,  7.35s/it]
+
mmlu_pt:  27%|███████████████████████████████▏                                                                                     | 111/417 [13:36<35:49,  7.02s/it]
+
mmlu_pt:  27%|███████████████████████████████▍                                                                                     | 112/417 [13:43<35:15,  6.93s/it]
+
mmlu_pt:  27%|███████████████████████████████▋                                                                                     | 113/417 [13:51<35:46,  7.06s/it]
+
mmlu_pt:  27%|███████████████████████████████▉                                                                                     | 114/417 [13:58<36:05,  7.15s/it]
+
mmlu_pt:  28%|████████████████████████████████▎                                                                                    | 115/417 [14:06<37:22,  7.43s/it]
+
mmlu_pt:  28%|████████████████████████████████▌                                                                                    | 116/417 [14:14<37:28,  7.47s/it]
+
mmlu_pt:  28%|████████████████████████████████▊                                                                                    | 117/417 [14:20<36:04,  7.21s/it]
+
mmlu_pt:  28%|█████████████████████████████████                                                                                    | 118/417 [14:27<35:05,  7.04s/it]
+
mmlu_pt:  29%|█████████████████████████████████▍                                                                                   | 119/417 [14:34<35:04,  7.06s/it]
+
mmlu_pt:  29%|█████████████████████████████████▋                                                                                   | 120/417 [14:42<36:26,  7.36s/it]
+
mmlu_pt:  29%|█████████████████████████████████▉                                                                                   | 121/417 [14:50<36:46,  7.45s/it]
+
mmlu_pt:  29%|██████████████████████████████████▏                                                                                  | 122/417 [14:57<36:03,  7.33s/it]
+
mmlu_pt:  29%|██████████████████████████████████▌                                                                                  | 123/417 [15:04<35:46,  7.30s/it]
+
mmlu_pt:  30%|██████████████████████████████████▊                                                                                  | 124/417 [15:12<36:28,  7.47s/it]
+
mmlu_pt:  30%|███████████████████████████████████                                                                                  | 125/417 [15:20<37:09,  7.64s/it]
+
mmlu_pt:  30%|███████████████████████████████████▎                                                                                 | 126/417 [15:28<37:48,  7.80s/it]
+
mmlu_pt:  30%|███████████████████████████████████▋                                                                                 | 127/417 [15:35<37:14,  7.70s/it]
+
mmlu_pt:  31%|███████████████████████████████████▉                                                                                 | 128/417 [15:42<35:28,  7.36s/it]
+
mmlu_pt:  31%|████████████████████████████████████▏                                                                                | 129/417 [15:49<34:55,  7.28s/it]
+
mmlu_pt:  31%|████████████████████████████████████▍                                                                                | 130/417 [15:56<34:42,  7.26s/it]
+
mmlu_pt:  31%|████████████████████████████████████▊                                                                                | 131/417 [16:03<33:51,  7.10s/it]
+
mmlu_pt:  32%|█████████████████████████████████████                                                                                | 132/417 [16:10<34:04,  7.17s/it]
+
mmlu_pt:  32%|█████████████████████████████████████▎                                                                               | 133/417 [16:18<34:54,  7.38s/it]
+
mmlu_pt:  32%|█████████████████████████████████████▌                                                                               | 134/417 [16:25<34:17,  7.27s/it]
+
mmlu_pt:  32%|█████████████████████████████████████▉                                                                               | 135/417 [16:32<33:52,  7.21s/it]
+
mmlu_pt:  33%|██████████████████████████████████████▏                                                                              | 136/417 [16:39<33:33,  7.16s/it]
+
mmlu_pt:  33%|██████████████████████████████████████▍                                                                              | 137/417 [16:46<33:13,  7.12s/it]
+
mmlu_pt:  33%|██████████████████████████████████████▋                                                                              | 138/417 [16:54<33:57,  7.30s/it]
+
mmlu_pt:  33%|███████████████████████████████████████                                                                              | 139/417 [17:02<34:47,  7.51s/it]
+
mmlu_pt:  34%|███████████████████████████████████████▎                                                                             | 140/417 [17:10<34:28,  7.47s/it]
+
mmlu_pt:  34%|███████████████████████████████████████▌                                                                             | 141/417 [17:16<33:32,  7.29s/it]
+
mmlu_pt:  34%|███████████████████████████████████████▊                                                                             | 142/417 [17:24<33:20,  7.28s/it]
+
mmlu_pt:  34%|████████████████████████████████████████                                                                             | 143/417 [17:30<32:30,  7.12s/it]
+
mmlu_pt:  35%|████████████████████████████████████████▍                                                                            | 144/417 [17:38<32:29,  7.14s/it]
+
mmlu_pt:  35%|████████████████████████████████████████▋                                                                            | 145/417 [17:45<32:50,  7.24s/it]
+
mmlu_pt:  35%|████████████████████████████████████████▉                                                                            | 146/417 [17:52<32:08,  7.12s/it]
+
mmlu_pt:  35%|█████████████████████████████████████████▏                                                                           | 147/417 [17:58<31:21,  6.97s/it]
+
mmlu_pt:  35%|█████████████████████████████████████████▌                                                                           | 148/417 [18:06<31:26,  7.01s/it]
+
mmlu_pt:  36%|█████████████████████████████████████████▊                                                                           | 149/417 [18:13<32:07,  7.19s/it]
+
mmlu_pt:  36%|██████████████████████████████████████████                                                                           | 150/417 [18:20<31:48,  7.15s/it]
+
mmlu_pt:  36%|██████████████████████████████████████████▎                                                                          | 151/417 [18:27<31:31,  7.11s/it]
+
mmlu_pt:  36%|██████████████████████████████████████████▋                                                                          | 152/417 [18:34<31:30,  7.13s/it]
+
mmlu_pt:  37%|██████████████████████████████████████████▉                                                                          | 153/417 [18:43<32:44,  7.44s/it]
+
mmlu_pt:  37%|███████████████████████████████████████████▏                                                                         | 154/417 [18:51<33:16,  7.59s/it]
+
mmlu_pt:  37%|███████████████████████████████████████████▍                                                                         | 155/417 [18:58<33:21,  7.64s/it]
+
mmlu_pt:  37%|███████████████████████████████████████████▊                                                                         | 156/417 [19:06<32:45,  7.53s/it]
+
mmlu_pt:  38%|████████████████████████████████████████████                                                                         | 157/417 [19:12<31:46,  7.33s/it]
+
mmlu_pt:  38%|████████████████████████████████████████████▎                                                                        | 158/417 [19:20<31:18,  7.25s/it]
+
mmlu_pt:  38%|████████████████████████████████████████████▌                                                                        | 159/417 [19:28<33:06,  7.70s/it]
+
mmlu_pt:  38%|████████████████████████████████████████████▉                                                                        | 160/417 [19:36<33:28,  7.81s/it]
+
mmlu_pt:  39%|█████████████████████████████████████████████▏                                                                       | 161/417 [19:43<32:19,  7.58s/it]
+
mmlu_pt:  39%|█████████████████████████████████████████████▍                                                                       | 162/417 [19:51<32:07,  7.56s/it]
+
mmlu_pt:  39%|█████████████████████████████████████████████▋                                                                       | 163/417 [19:59<32:06,  7.59s/it]
+
mmlu_pt:  39%|██████████████████████████████████████████████                                                                       | 164/417 [20:05<31:07,  7.38s/it]
+
mmlu_pt:  40%|██████████████████████████████████████████████▎                                                                      | 165/417 [20:13<31:06,  7.41s/it]
+
mmlu_pt:  40%|██████████████████████████████████████████████▌                                                                      | 166/417 [20:21<31:19,  7.49s/it]
+
mmlu_pt:  40%|██████████████████████████████████████████████▊                                                                      | 167/417 [20:28<31:09,  7.48s/it]
+
mmlu_pt:  40%|███████████████████████████████████████████████▏                                                                     | 168/417 [20:35<30:16,  7.29s/it]
+
mmlu_pt:  41%|███████████████████████████████████████████████▍                                                                     | 169/417 [20:42<29:47,  7.21s/it]
+
mmlu_pt:  41%|███████████████████████████████████████████████▋                                                                     | 170/417 [20:49<29:48,  7.24s/it]
+
mmlu_pt:  41%|███████████████████████████████████████████████▉                                                                     | 171/417 [20:57<30:18,  7.39s/it]
+
mmlu_pt:  41%|████████████████████████████████████████████████▎                                                                    | 172/417 [21:05<31:08,  7.63s/it]
+
mmlu_pt:  41%|████████████████████████████████████████████████▌                                                                    | 173/417 [21:12<30:24,  7.48s/it]
+
mmlu_pt:  42%|████████████████████████████████████████████████▊                                                                    | 174/417 [21:19<29:34,  7.30s/it]
+
mmlu_pt:  42%|█████████████████████████████████████████████████                                                                    | 175/417 [21:26<29:19,  7.27s/it]
+
mmlu_pt:  42%|█████████████████████████████████████████████████▍                                                                   | 176/417 [21:34<29:40,  7.39s/it]
+
mmlu_pt:  42%|█████████████████████████████████████████████████▋                                                                   | 177/417 [21:41<29:23,  7.35s/it]
+
mmlu_pt:  43%|█████████████████████████████████████████████████▉                                                                   | 178/417 [21:49<29:12,  7.33s/it]
+
mmlu_pt:  43%|██████████████████████████████████████████████████▏                                                                  | 179/417 [21:56<29:23,  7.41s/it]
+
mmlu_pt:  43%|██████████████████████████████████████████████████▌                                                                  | 180/417 [22:03<28:45,  7.28s/it]
+
mmlu_pt:  43%|██████████████████████████████████████████████████▊                                                                  | 181/417 [22:10<28:07,  7.15s/it]
+
mmlu_pt:  44%|███████████████████████████████████████████████████                                                                  | 182/417 [22:17<28:09,  7.19s/it]
+
mmlu_pt:  44%|███████████████████████████████████████████████████▎                                                                 | 183/417 [22:25<28:28,  7.30s/it]
+
mmlu_pt:  44%|███████████████████████████████████████████████████▋                                                                 | 184/417 [22:32<27:51,  7.17s/it]
+
mmlu_pt:  44%|███████████████████████████████████████████████████▉                                                                 | 185/417 [22:39<27:49,  7.20s/it]
+
mmlu_pt:  45%|████████████████████████████████████████████████████▏                                                                | 186/417 [22:47<29:00,  7.54s/it]
+
mmlu_pt:  45%|████████████████████████████████████████████████████▍                                                                | 187/417 [22:55<29:05,  7.59s/it]
+
mmlu_pt:  45%|████████████████████████████████████████████████████▋                                                                | 188/417 [23:03<29:08,  7.63s/it]
+
mmlu_pt:  45%|█████████████████████████████████████████████████████                                                                | 189/417 [23:11<29:54,  7.87s/it]
+
mmlu_pt:  46%|█████████████████████████████████████████████████████▎                                                               | 190/417 [23:19<29:32,  7.81s/it]
+
mmlu_pt:  46%|█████████████████████████████████████████████████████▌                                                               | 191/417 [23:26<28:21,  7.53s/it]
+
mmlu_pt:  46%|█████████████████████████████████████████████████████▊                                                               | 192/417 [23:33<27:51,  7.43s/it]
+
mmlu_pt:  46%|██████████████████████████████████████████████████████▏                                                              | 193/417 [23:40<27:07,  7.27s/it]
+
mmlu_pt:  47%|██████████████████████████████████████████████████████▍                                                              | 194/417 [23:48<27:37,  7.43s/it]
+
mmlu_pt:  47%|██████████████████████████████████████████████████████▋                                                              | 195/417 [23:54<26:05,  7.05s/it]
+
mmlu_pt:  47%|██████████████████████████████████████████████████████▉                                                              | 196/417 [24:02<27:17,  7.41s/it]
+
mmlu_pt:  47%|███████████████████████████████████████████████████████▎                                                             | 197/417 [24:09<26:48,  7.31s/it]
+
mmlu_pt:  47%|███████████████████████████████████████████████████████▌                                                             | 198/417 [24:16<26:20,  7.21s/it]
+
mmlu_pt:  48%|███████████████████████████████████████████████████████▊                                                             | 199/417 [24:23<26:19,  7.25s/it]
+
mmlu_pt:  48%|████████████████████████████████████████████████████████                                                             | 200/417 [24:31<26:16,  7.27s/it]
+
mmlu_pt:  48%|████████████████████████████████████████████████████████▍                                                            | 201/417 [24:38<26:17,  7.30s/it]
+
mmlu_pt:  48%|████████████████████████████████████████████████████████▋                                                            | 202/417 [24:45<26:07,  7.29s/it]
+
mmlu_pt:  49%|████████████████████████████████████████████████████████▉                                                            | 203/417 [24:53<26:13,  7.35s/it]
+
mmlu_pt:  49%|█████████████████████████████████████████████████████████▏                                                           | 204/417 [25:00<26:16,  7.40s/it]
+
mmlu_pt:  49%|█████████████████████████████████████████████████████████▌                                                           | 205/417 [25:07<25:44,  7.28s/it]
+
mmlu_pt:  49%|█████████████████████████████████████████████████████████▊                                                           | 206/417 [25:15<25:57,  7.38s/it]
+
mmlu_pt:  50%|██████████████████████████████████████████████████████████                                                           | 207/417 [25:23<25:58,  7.42s/it]
+
mmlu_pt:  50%|██████████████████████████████████████████████████████████▎                                                          | 208/417 [25:30<25:37,  7.36s/it]
+
mmlu_pt:  50%|██████████████████████████████████████████████████████████▋                                                          | 209/417 [25:37<25:01,  7.22s/it]
+
mmlu_pt:  50%|██████████████████████████████████████████████████████████▉                                                          | 210/417 [25:43<24:26,  7.08s/it]
+
mmlu_pt:  51%|███████████████████████████████████████████████████████████▏                                                         | 211/417 [25:50<24:18,  7.08s/it]
+
mmlu_pt:  51%|███████████████████████████████████████████████████████████▍                                                         | 212/417 [25:59<25:42,  7.52s/it]
+
mmlu_pt:  51%|███████████████████████████████████████████████████████████▊                                                         | 213/417 [26:08<26:49,  7.89s/it]
+
mmlu_pt:  51%|████████████████████████████████████████████████████████████                                                         | 214/417 [26:15<26:24,  7.81s/it]
+
mmlu_pt:  52%|████████████████████████████████████████████████████████████▎                                                        | 215/417 [26:22<25:26,  7.56s/it]
+
mmlu_pt:  52%|████████████████████████████████████████████████████████████▌                                                        | 216/417 [26:30<25:33,  7.63s/it]
+
mmlu_pt:  52%|████████████████████████████████████████████████████████████▉                                                        | 217/417 [26:37<24:50,  7.45s/it]
+
mmlu_pt:  52%|█████████████████████████████████████████████████████████████▏                                                       | 218/417 [26:45<24:47,  7.48s/it]
+
mmlu_pt:  53%|█████████████████████████████████████████████████████████████▍                                                       | 219/417 [26:52<24:27,  7.41s/it]
+
mmlu_pt:  53%|█████████████████████████████████████████████████████████████▋                                                       | 220/417 [27:00<24:26,  7.44s/it]
+
mmlu_pt:  53%|██████████████████████████████████████████████████████████████                                                       | 221/417 [27:07<24:01,  7.35s/it]
+
mmlu_pt:  53%|██████████████████████████████████████████████████████████████▎                                                      | 222/417 [27:15<24:49,  7.64s/it]
+
mmlu_pt:  53%|██████████████████████████████████████████████████████████████▌                                                      | 223/417 [27:23<24:41,  7.64s/it]
+
mmlu_pt:  54%|██████████████████████████████████████████████████████████████▊                                                      | 224/417 [27:30<24:32,  7.63s/it]
+
mmlu_pt:  54%|███████████████████████████████████████████████████████████████▏                                                     | 225/417 [27:38<24:46,  7.74s/it]
+
mmlu_pt:  54%|███████████████████████████████████████████████████████████████▍                                                     | 226/417 [27:46<24:18,  7.63s/it]
+
mmlu_pt:  54%|███████████████████████████████████████████████████████████████▋                                                     | 227/417 [27:53<24:07,  7.62s/it]
+
mmlu_pt:  55%|███████████████████████████████████████████████████████████████▉                                                     | 228/417 [28:00<23:22,  7.42s/it]
+
mmlu_pt:  55%|████████████████████████████████████████████████████████████████▎                                                    | 229/417 [28:07<23:06,  7.37s/it]
+
mmlu_pt:  55%|████████████████████████████████████████████████████████████████▌                                                    | 230/417 [28:14<22:32,  7.23s/it]
+
mmlu_pt:  55%|████████████████████████████████████████████████████████████████▊                                                    | 231/417 [28:22<22:32,  7.27s/it]
+
mmlu_pt:  56%|█████████████████████████████████████████████████████████████████                                                    | 232/417 [28:29<22:10,  7.19s/it]
+
mmlu_pt:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 233/417 [28:35<21:10,  6.90s/it]
+
mmlu_pt:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 234/417 [28:42<21:01,  6.89s/it]
+
mmlu_pt:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 235/417 [28:49<20:50,  6.87s/it]
+
mmlu_pt:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 236/417 [28:56<20:59,  6.96s/it]
+
mmlu_pt:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 237/417 [29:03<21:16,  7.09s/it]
+
mmlu_pt:  57%|██████████████████████████████████████████████████████████████████▊                                                  | 238/417 [29:11<21:27,  7.19s/it]
+
mmlu_pt:  57%|███████████████████████████████████████████████████████████████████                                                  | 239/417 [29:19<22:20,  7.53s/it]
+
mmlu_pt:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 240/417 [29:26<22:15,  7.54s/it]
+
mmlu_pt:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 241/417 [29:34<21:44,  7.41s/it]
+
mmlu_pt:  58%|███████████████████████████████████████████████████████████████████▉                                                 | 242/417 [29:41<21:36,  7.41s/it]
+
mmlu_pt:  58%|████████████████████████████████████████████████████████████████████▏                                                | 243/417 [29:49<22:01,  7.59s/it]
+
mmlu_pt:  59%|████████████████████████████████████████████████████████████████████▍                                                | 244/417 [29:57<22:13,  7.71s/it]
+
mmlu_pt:  59%|████████████████████████████████████████████████████████████████████▋                                                | 245/417 [30:04<21:49,  7.61s/it]
+
mmlu_pt:  59%|█████████████████████████████████████████████████████████████████████                                                | 246/417 [30:12<21:24,  7.51s/it]
+
mmlu_pt:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 247/417 [30:18<20:35,  7.27s/it]
+
mmlu_pt:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 248/417 [30:25<20:13,  7.18s/it]
+
mmlu_pt:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 249/417 [30:33<20:11,  7.21s/it]
+
mmlu_pt:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 250/417 [30:40<20:08,  7.24s/it]
+
mmlu_pt:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 251/417 [30:48<20:51,  7.54s/it]
+
mmlu_pt:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 252/417 [30:55<20:11,  7.34s/it]
+
mmlu_pt:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 253/417 [31:02<19:50,  7.26s/it]
+
mmlu_pt:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 254/417 [31:10<19:54,  7.33s/it]
+
mmlu_pt:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 255/417 [31:17<19:30,  7.22s/it]
+
mmlu_pt:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 256/417 [31:24<19:28,  7.26s/it]
+
mmlu_pt:  62%|████████████████████████████████████████████████████████████████████████                                             | 257/417 [31:31<18:57,  7.11s/it]
+
mmlu_pt:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 258/417 [31:38<19:12,  7.25s/it]
+
mmlu_pt:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 259/417 [31:45<18:46,  7.13s/it]
+
mmlu_pt:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 260/417 [31:53<19:21,  7.40s/it]
+
mmlu_pt:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 261/417 [32:01<19:46,  7.60s/it]
+
mmlu_pt:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 262/417 [32:08<19:03,  7.38s/it]
+
mmlu_pt:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 263/417 [32:15<18:52,  7.35s/it]
+
mmlu_pt:  63%|██████████████████████████████████████████████████████████████████████████                                           | 264/417 [32:22<18:31,  7.27s/it]
+
mmlu_pt:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 265/417 [32:29<18:15,  7.21s/it]
+
mmlu_pt:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 266/417 [32:37<18:04,  7.18s/it]
+
mmlu_pt:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 267/417 [32:44<18:22,  7.35s/it]
+
mmlu_pt:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 268/417 [32:51<18:04,  7.28s/it]
+
mmlu_pt:  65%|███████████████████████████████████████████████████████████████████████████▍                                         | 269/417 [32:59<18:03,  7.32s/it]
+
mmlu_pt:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 270/417 [33:07<18:25,  7.52s/it]
+
mmlu_pt:  65%|████████████████████████████████████████████████████████████████████████████                                         | 271/417 [33:15<18:38,  7.66s/it]
+
mmlu_pt:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 272/417 [33:22<17:59,  7.44s/it]
+
mmlu_pt:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 273/417 [33:29<17:32,  7.31s/it]
+
mmlu_pt:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 274/417 [33:36<17:06,  7.18s/it]
+
mmlu_pt:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 275/417 [33:43<16:53,  7.14s/it]
+
mmlu_pt:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 276/417 [33:50<17:06,  7.28s/it]
+
mmlu_pt:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 277/417 [33:58<17:23,  7.46s/it]
+
mmlu_pt:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 278/417 [34:06<17:36,  7.60s/it]
+
mmlu_pt:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 279/417 [34:13<17:12,  7.48s/it]
+
mmlu_pt:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 280/417 [34:21<16:56,  7.42s/it]
+
mmlu_pt:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 281/417 [34:27<16:26,  7.26s/it]
+
mmlu_pt:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 282/417 [34:35<16:29,  7.33s/it]
+
mmlu_pt:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 283/417 [34:42<16:01,  7.18s/it]
+
mmlu_pt:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 284/417 [34:50<16:47,  7.58s/it]
+
mmlu_pt:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 285/417 [34:58<16:52,  7.67s/it]
+
mmlu_pt:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 286/417 [35:06<16:43,  7.66s/it]
+
mmlu_pt:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 287/417 [35:14<16:39,  7.69s/it]
+
mmlu_pt:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 288/417 [35:21<16:31,  7.68s/it]
+
mmlu_pt:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 289/417 [35:29<16:09,  7.57s/it]
+
mmlu_pt:  70%|█████████████████████████████████████████████████████████████████████████████████▎                                   | 290/417 [35:35<15:26,  7.29s/it]
+
mmlu_pt:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 291/417 [35:44<16:13,  7.73s/it]
+
mmlu_pt:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 292/417 [35:51<15:45,  7.56s/it]
+
mmlu_pt:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 293/417 [36:00<16:09,  7.82s/it]
+
mmlu_pt:  71%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 294/417 [36:07<15:38,  7.63s/it]
+
mmlu_pt:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 295/417 [36:15<16:10,  7.96s/it]
+
mmlu_pt:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 296/417 [36:23<15:36,  7.74s/it]
+
mmlu_pt:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 297/417 [36:30<15:23,  7.69s/it]
+
mmlu_pt:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 298/417 [36:37<14:56,  7.53s/it]
+
mmlu_pt:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 299/417 [36:45<14:39,  7.45s/it]
+
mmlu_pt:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 300/417 [36:52<14:30,  7.44s/it]
+
mmlu_pt:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 301/417 [37:01<15:25,  7.98s/it]
+
mmlu_pt:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 302/417 [37:08<14:33,  7.60s/it]
+
mmlu_pt:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 303/417 [37:15<14:05,  7.42s/it]
+
mmlu_pt:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 304/417 [37:23<14:16,  7.58s/it]
+
mmlu_pt:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 305/417 [37:31<14:38,  7.84s/it]
+
mmlu_pt:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 306/417 [37:38<13:48,  7.47s/it]
+
mmlu_pt:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 307/417 [37:47<14:30,  7.92s/it]
+
mmlu_pt:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 308/417 [37:56<14:47,  8.14s/it]
+
mmlu_pt:  74%|██████████████████████████████████████████████████████████████████████████████████████▋                              | 309/417 [38:03<13:56,  7.74s/it]
+
mmlu_pt:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 310/417 [38:10<13:46,  7.72s/it]
+
mmlu_pt:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 311/417 [38:17<13:14,  7.49s/it]
+
mmlu_pt:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 312/417 [38:24<12:54,  7.38s/it]
+
mmlu_pt:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 313/417 [38:31<12:31,  7.23s/it]
+
mmlu_pt:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 314/417 [38:38<12:04,  7.04s/it]
+
mmlu_pt:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 315/417 [38:44<11:47,  6.94s/it]
+
mmlu_pt:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 316/417 [38:51<11:38,  6.92s/it]
+
mmlu_pt:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 317/417 [38:59<11:51,  7.12s/it]
+
mmlu_pt:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 318/417 [39:07<12:15,  7.43s/it]
+
mmlu_pt:  76%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 319/417 [39:14<12:02,  7.38s/it]
+
mmlu_pt:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 320/417 [39:22<12:11,  7.54s/it]
+
mmlu_pt:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 321/417 [39:29<11:44,  7.34s/it]
+
mmlu_pt:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 322/417 [39:36<11:25,  7.22s/it]
+
mmlu_pt:  77%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 323/417 [39:44<11:28,  7.33s/it]
+
mmlu_pt:  78%|██████████████████████████████████████████████████████████████████████████████████████████▉                          | 324/417 [39:51<11:16,  7.27s/it]
+
mmlu_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 325/417 [39:57<10:54,  7.12s/it]
+
mmlu_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 326/417 [40:04<10:43,  7.07s/it]
+
mmlu_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 327/417 [40:12<10:44,  7.16s/it]
+
mmlu_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 328/417 [40:19<10:39,  7.18s/it]
+
mmlu_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 329/417 [40:26<10:25,  7.11s/it]
+
mmlu_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 330/417 [40:34<10:48,  7.45s/it]
+
mmlu_pt:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 331/417 [40:42<10:57,  7.64s/it]
+
mmlu_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 332/417 [40:50<10:45,  7.60s/it]
+
mmlu_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 333/417 [40:57<10:30,  7.51s/it]
+
mmlu_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 334/417 [41:05<10:27,  7.56s/it]
+
mmlu_pt:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 335/417 [41:12<10:09,  7.43s/it]
+
mmlu_pt:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 336/417 [41:19<09:58,  7.38s/it]
+
mmlu_pt:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 337/417 [41:27<09:50,  7.38s/it]
+
mmlu_pt:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 338/417 [41:34<09:39,  7.34s/it]
+
mmlu_pt:  81%|███████████████████████████████████████████████████████████████████████████████████████████████                      | 339/417 [41:40<09:17,  7.14s/it]
+
mmlu_pt:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 340/417 [41:48<09:20,  7.28s/it]
+
mmlu_pt:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 341/417 [41:56<09:17,  7.34s/it]
+
mmlu_pt:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 342/417 [42:03<09:09,  7.32s/it]
+
mmlu_pt:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 343/417 [42:10<09:03,  7.34s/it]
+
mmlu_pt:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 344/417 [42:17<08:46,  7.21s/it]
+
mmlu_pt:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 345/417 [42:23<08:19,  6.93s/it]
+
mmlu_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 346/417 [42:31<08:26,  7.13s/it]
+
mmlu_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 347/417 [42:38<08:08,  6.98s/it]
+
mmlu_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 348/417 [42:45<08:15,  7.19s/it]
+
mmlu_pt:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 349/417 [42:53<08:13,  7.26s/it]
+
mmlu_pt:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 350/417 [43:01<08:32,  7.65s/it]
+
mmlu_pt:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 351/417 [43:09<08:19,  7.57s/it]
+
mmlu_pt:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 352/417 [43:17<08:17,  7.65s/it]
+
mmlu_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 353/417 [43:24<08:09,  7.65s/it]
+
mmlu_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 354/417 [43:31<07:50,  7.47s/it]
+
mmlu_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 355/417 [43:39<07:47,  7.54s/it]
+
mmlu_pt:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 356/417 [43:46<07:37,  7.50s/it]
+
mmlu_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 357/417 [43:54<07:26,  7.45s/it]
+
mmlu_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 358/417 [44:02<07:37,  7.75s/it]
+
mmlu_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 359/417 [44:10<07:32,  7.79s/it]
+
mmlu_pt:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 360/417 [44:17<07:12,  7.59s/it]
+
mmlu_pt:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 361/417 [44:24<06:56,  7.43s/it]
+
mmlu_pt:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 362/417 [44:31<06:38,  7.25s/it]
+
mmlu_pt:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 363/417 [44:38<06:29,  7.21s/it]
+
mmlu_pt:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 364/417 [44:45<06:23,  7.24s/it]
+
mmlu_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 365/417 [44:54<06:33,  7.57s/it]
+
mmlu_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 366/417 [45:02<06:30,  7.66s/it]
+
mmlu_pt:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 367/417 [45:08<06:09,  7.38s/it]
+
mmlu_pt:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 368/417 [45:16<06:01,  7.37s/it]
+
mmlu_pt:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 369/417 [45:23<05:44,  7.18s/it]
+
mmlu_pt:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 370/417 [45:30<05:36,  7.16s/it]
+
mmlu_pt:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 371/417 [45:37<05:31,  7.21s/it]
+
mmlu_pt:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 372/417 [45:44<05:23,  7.19s/it]
+
mmlu_pt:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 373/417 [45:51<05:18,  7.24s/it]
+
mmlu_pt:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 374/417 [45:59<05:15,  7.35s/it]
+
mmlu_pt:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 375/417 [46:06<05:07,  7.32s/it]
+
mmlu_pt:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 376/417 [46:13<04:52,  7.13s/it]
+
mmlu_pt:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 377/417 [46:20<04:47,  7.18s/it]
+
mmlu_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████           | 378/417 [46:28<04:49,  7.41s/it]
+
mmlu_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 379/417 [46:35<04:38,  7.32s/it]
+
mmlu_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 380/417 [46:42<04:25,  7.19s/it]
+
mmlu_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 381/417 [46:50<04:25,  7.37s/it]
+
mmlu_pt:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 382/417 [46:59<04:31,  7.76s/it]
+
mmlu_pt:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 383/417 [47:07<04:32,  8.01s/it]
+
mmlu_pt:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 384/417 [47:14<04:13,  7.68s/it]
+
mmlu_pt:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 385/417 [47:21<04:01,  7.54s/it]
+
mmlu_pt:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 386/417 [47:29<03:52,  7.50s/it]
+
mmlu_pt:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 387/417 [47:36<03:44,  7.48s/it]
+
mmlu_pt:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 388/417 [47:45<03:45,  7.79s/it]
+
mmlu_pt:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 389/417 [47:52<03:35,  7.70s/it]
+
mmlu_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 390/417 [48:00<03:29,  7.77s/it]
+
mmlu_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 391/417 [48:08<03:20,  7.71s/it]
+
mmlu_pt:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 392/417 [48:15<03:08,  7.52s/it]
+
mmlu_pt:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 393/417 [48:23<03:02,  7.62s/it]
+
mmlu_pt:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 394/417 [48:30<02:56,  7.67s/it]
+
mmlu_pt:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 395/417 [48:38<02:49,  7.70s/it]
+
mmlu_pt:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 396/417 [48:46<02:39,  7.59s/it]
+
mmlu_pt:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 397/417 [48:53<02:31,  7.57s/it]
+
mmlu_pt:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 398/417 [49:00<02:19,  7.35s/it]
+
mmlu_pt:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 399/417 [49:08<02:14,  7.46s/it]
+
mmlu_pt:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 400/417 [49:16<02:13,  7.85s/it]
+
mmlu_pt:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 401/417 [49:25<02:07,  7.98s/it]
+
mmlu_pt:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 402/417 [49:32<01:55,  7.73s/it]
+
mmlu_pt:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 403/417 [49:41<01:53,  8.08s/it]
+
mmlu_pt:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 404/417 [49:49<01:44,  8.07s/it]
+
mmlu_pt:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 405/417 [49:56<01:32,  7.75s/it]
+
mmlu_pt:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 406/417 [50:03<01:24,  7.71s/it]
+
mmlu_pt:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 407/417 [50:10<01:14,  7.45s/it]
+
mmlu_pt:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 408/417 [50:18<01:06,  7.41s/it]
+
mmlu_pt:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 409/417 [50:25<00:58,  7.36s/it]
+
mmlu_pt:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 410/417 [50:33<00:52,  7.55s/it]
+
mmlu_pt:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 411/417 [50:40<00:44,  7.46s/it]
+
mmlu_pt:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 412/417 [50:47<00:37,  7.46s/it]
+
mmlu_pt:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 413/417 [50:55<00:29,  7.33s/it]
+
mmlu_pt:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 414/417 [51:01<00:21,  7.23s/it]
+
mmlu_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 415/417 [51:09<00:14,  7.19s/it]
+
mmlu_pt: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 416/417 [51:16<00:07,  7.24s/it]
+
mmlu_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [51:22<00:00,  6.87s/it]
mmlu_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 417/417 [51:22<00:00,  7.39s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_pt_acc 0.3815670969678775
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_pt_acc_norm 0.34058841188832184
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 18:04:59,593 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 18:04:59,594 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:04:59,726 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 18:04:59,726 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:04:59,858 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 18:04:59,858 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:04:59,990 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 18:04:59,991 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 18:04:59,991 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 18:05:00,129 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 18:05:00,129 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_pt_acc'}
+2024-05-31 18:05:00,196 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 18:05:00,197 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1243, 'value': 0.3815670969678775}
+2024-05-31 18:05:00,264 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 18:05:00,913 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 18:05:00,913 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:01,040 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 18:05:01,040 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:01,167 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 18:05:01,167 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:01,294 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 18:05:01,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 18:05:01,295 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 18:05:01,424 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 18:05:01,424 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_pt_acc_norm'}
+2024-05-31 18:05:01,488 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 18:05:01,489 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1244, 'value': 0.34058841188832184}
+2024-05-31 18:05:01,553 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  67%|████████████████████████████████████████████████████████████████████████▎                                   | 83/124 [59:17:30<52:09:39, 4579.98s/it]['mmlu_ro']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 18:05:02,207 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 18:05:02,208 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:02,336 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 18:05:02,337 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:02,465 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 18:05:02,466 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 18:05:02,594 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 18:05:02,595 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 18:05:02,595 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ro'}
+2024-05-31 18:05:02,725 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ro task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1771 examples [00:00, 13441.36 examples/s]
+
Generating test split: 5086 examples [00:00, 23688.85 examples/s]
+
Generating test split: 8589 examples [00:00, 28520.27 examples/s]
+
Generating test split: 12000 examples [00:00, 30390.77 examples/s]
Generating test split: 13240 examples [00:00, 27777.99 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 272 examples [00:00, 26848.60 examples/s]
+Running loglikelihood requests
+
+
mmlu_ro:   0%|                                                                                                                               | 0/414 [00:00<?, ?it/s]
+
mmlu_ro:   0%|▎                                                                                                                    | 1/414 [00:09<1:06:11,  9.62s/it]
+
mmlu_ro:   0%|▌                                                                                                                    | 2/414 [00:18<1:02:50,  9.15s/it]
+
mmlu_ro:   1%|▊                                                                                                                    | 3/414 [00:26<1:00:40,  8.86s/it]
+
mmlu_ro:   1%|█▏                                                                                                                   | 4/414 [00:36<1:01:35,  9.01s/it]
+
mmlu_ro:   1%|█▍                                                                                                                     | 5/414 [00:43<58:21,  8.56s/it]
+
mmlu_ro:   1%|█▋                                                                                                                     | 6/414 [00:52<59:15,  8.71s/it]
+
mmlu_ro:   2%|██                                                                                                                     | 7/414 [01:01<59:02,  8.70s/it]
+
mmlu_ro:   2%|██▎                                                                                                                    | 8/414 [01:10<59:25,  8.78s/it]
+
mmlu_ro:   2%|██▌                                                                                                                    | 9/414 [01:19<59:26,  8.81s/it]
+
mmlu_ro:   2%|██▊                                                                                                                   | 10/414 [01:27<56:46,  8.43s/it]
+
mmlu_ro:   3%|███▏                                                                                                                  | 11/414 [01:36<57:49,  8.61s/it]
+
mmlu_ro:   3%|███▍                                                                                                                  | 12/414 [01:43<55:46,  8.33s/it]
+
mmlu_ro:   3%|███▋                                                                                                                  | 13/414 [01:52<56:18,  8.42s/it]
+
mmlu_ro:   3%|███▉                                                                                                                  | 14/414 [02:01<57:06,  8.57s/it]
+
mmlu_ro:   4%|████▏                                                                                                               | 15/414 [02:11<1:00:22,  9.08s/it]
+
mmlu_ro:   4%|████▍                                                                                                               | 16/414 [02:20<1:00:22,  9.10s/it]
+
mmlu_ro:   4%|████▊                                                                                                                 | 17/414 [02:29<58:47,  8.89s/it]
+
mmlu_ro:   4%|█████▏                                                                                                                | 18/414 [02:37<57:40,  8.74s/it]
+
mmlu_ro:   5%|█████▍                                                                                                                | 19/414 [02:45<55:43,  8.47s/it]
+
mmlu_ro:   5%|█████▋                                                                                                                | 20/414 [02:54<56:39,  8.63s/it]
+
mmlu_ro:   5%|█████▉                                                                                                                | 21/414 [03:03<57:03,  8.71s/it]
+
mmlu_ro:   5%|██████▎                                                                                                               | 22/414 [03:12<58:28,  8.95s/it]
+
mmlu_ro:   6%|██████▌                                                                                                               | 23/414 [03:21<58:24,  8.96s/it]
+
mmlu_ro:   6%|██████▊                                                                                                               | 24/414 [03:29<56:15,  8.66s/it]
+
mmlu_ro:   6%|███████▏                                                                                                              | 25/414 [03:39<57:28,  8.86s/it]
+
mmlu_ro:   6%|███████▍                                                                                                              | 26/414 [03:46<55:28,  8.58s/it]
+
mmlu_ro:   7%|███████▋                                                                                                              | 27/414 [03:55<55:56,  8.67s/it]
+
mmlu_ro:   7%|███████▉                                                                                                              | 28/414 [04:05<56:54,  8.85s/it]
+
mmlu_ro:   7%|████████▎                                                                                                             | 29/414 [04:14<57:27,  8.96s/it]
+
mmlu_ro:   7%|████████▌                                                                                                             | 30/414 [04:23<58:07,  9.08s/it]
+
mmlu_ro:   7%|████████▊                                                                                                             | 31/414 [04:31<55:52,  8.75s/it]
+
mmlu_ro:   8%|█████████                                                                                                             | 32/414 [04:39<54:26,  8.55s/it]
+
mmlu_ro:   8%|█████████▍                                                                                                            | 33/414 [04:48<55:08,  8.68s/it]
+
mmlu_ro:   8%|█████████▋                                                                                                            | 34/414 [04:56<53:25,  8.44s/it]
+
mmlu_ro:   8%|█████████▉                                                                                                            | 35/414 [05:04<52:12,  8.27s/it]
+
mmlu_ro:   9%|██████████▎                                                                                                           | 36/414 [05:12<51:37,  8.20s/it]
+
mmlu_ro:   9%|██████████▌                                                                                                           | 37/414 [05:21<52:15,  8.32s/it]
+
mmlu_ro:   9%|██████████▊                                                                                                           | 38/414 [05:30<54:12,  8.65s/it]
+
mmlu_ro:   9%|███████████                                                                                                           | 39/414 [05:38<52:54,  8.46s/it]
+
mmlu_ro:  10%|███████████▍                                                                                                          | 40/414 [05:46<51:19,  8.23s/it]
+
mmlu_ro:  10%|███████████▋                                                                                                          | 41/414 [05:55<52:46,  8.49s/it]
+
mmlu_ro:  10%|███████████▉                                                                                                          | 42/414 [06:03<52:54,  8.53s/it]
+
mmlu_ro:  10%|████████████▎                                                                                                         | 43/414 [06:11<51:27,  8.32s/it]
+
mmlu_ro:  11%|████████████▌                                                                                                         | 44/414 [06:19<50:32,  8.20s/it]
+
mmlu_ro:  11%|████████████▊                                                                                                         | 45/414 [06:27<48:56,  7.96s/it]
+
mmlu_ro:  11%|█████████████                                                                                                         | 46/414 [06:35<49:58,  8.15s/it]
+
mmlu_ro:  11%|█████████████▍                                                                                                        | 47/414 [06:43<48:40,  7.96s/it]
+
mmlu_ro:  12%|█████████████▋                                                                                                        | 48/414 [06:51<48:38,  7.97s/it]
+
mmlu_ro:  12%|█████████████▉                                                                                                        | 49/414 [06:59<49:13,  8.09s/it]
+
mmlu_ro:  12%|██████████████▎                                                                                                       | 50/414 [07:07<48:41,  8.03s/it]
+
mmlu_ro:  12%|██████████████▌                                                                                                       | 51/414 [07:16<50:28,  8.34s/it]
+
mmlu_ro:  13%|██████████████▊                                                                                                       | 52/414 [07:24<50:30,  8.37s/it]
+
mmlu_ro:  13%|███████████████                                                                                                       | 53/414 [07:33<51:27,  8.55s/it]
+
mmlu_ro:  13%|███████████████▍                                                                                                      | 54/414 [07:42<51:37,  8.60s/it]
+
mmlu_ro:  13%|███████████████▋                                                                                                      | 55/414 [07:51<51:04,  8.54s/it]
+
mmlu_ro:  14%|███████████████▉                                                                                                      | 56/414 [07:59<50:20,  8.44s/it]
+
mmlu_ro:  14%|████████████████▏                                                                                                     | 57/414 [08:07<49:22,  8.30s/it]
+
mmlu_ro:  14%|████████████████▌                                                                                                     | 58/414 [08:15<49:27,  8.34s/it]
+
mmlu_ro:  14%|████████████████▊                                                                                                     | 59/414 [08:23<48:33,  8.21s/it]
+
mmlu_ro:  14%|█████████████████                                                                                                     | 60/414 [08:32<49:54,  8.46s/it]
+
mmlu_ro:  15%|█████████████████▍                                                                                                    | 61/414 [08:41<49:59,  8.50s/it]
+
mmlu_ro:  15%|█████████████████▋                                                                                                    | 62/414 [08:48<48:26,  8.26s/it]
+
mmlu_ro:  15%|█████████████████▉                                                                                                    | 63/414 [08:57<48:54,  8.36s/it]
+
mmlu_ro:  15%|██████████████████▏                                                                                                   | 64/414 [09:06<49:25,  8.47s/it]
+
mmlu_ro:  16%|██████████████████▌                                                                                                   | 65/414 [09:14<49:42,  8.55s/it]
+
mmlu_ro:  16%|██████████████████▊                                                                                                   | 66/414 [09:23<49:22,  8.51s/it]
+
mmlu_ro:  16%|███████████████████                                                                                                   | 67/414 [09:32<49:29,  8.56s/it]
+
mmlu_ro:  16%|███████████████████▍                                                                                                  | 68/414 [09:39<48:13,  8.36s/it]
+
mmlu_ro:  17%|███████████████████▋                                                                                                  | 69/414 [09:48<47:45,  8.31s/it]
+
mmlu_ro:  17%|███████████████████▉                                                                                                  | 70/414 [09:56<48:35,  8.47s/it]
+
mmlu_ro:  17%|████████████████████▏                                                                                                 | 71/414 [10:04<47:16,  8.27s/it]
+
mmlu_ro:  17%|████████████████████▌                                                                                                 | 72/414 [10:12<46:20,  8.13s/it]
+
mmlu_ro:  18%|████████████████████▊                                                                                                 | 73/414 [10:21<47:09,  8.30s/it]
+
mmlu_ro:  18%|█████████████████████                                                                                                 | 74/414 [10:30<48:46,  8.61s/it]
+
mmlu_ro:  18%|█████████████████████▍                                                                                                | 75/414 [10:38<46:42,  8.27s/it]
+
mmlu_ro:  18%|█████████████████████▋                                                                                                | 76/414 [10:46<47:29,  8.43s/it]
+
mmlu_ro:  19%|█████████████████████▉                                                                                                | 77/414 [10:54<46:28,  8.28s/it]
+
mmlu_ro:  19%|██████████████████████▏                                                                                               | 78/414 [11:04<48:15,  8.62s/it]
+
mmlu_ro:  19%|██████████████████████▌                                                                                               | 79/414 [11:13<49:19,  8.83s/it]
+
mmlu_ro:  19%|██████████████████████▊                                                                                               | 80/414 [11:21<47:17,  8.50s/it]
+
mmlu_ro:  20%|███████████████████████                                                                                               | 81/414 [11:29<45:56,  8.28s/it]
+
mmlu_ro:  20%|███████████████████████▎                                                                                              | 82/414 [11:36<45:07,  8.15s/it]
+
mmlu_ro:  20%|███████████████████████▋                                                                                              | 83/414 [11:45<46:21,  8.40s/it]
+
mmlu_ro:  20%|███████████████████████▉                                                                                              | 84/414 [11:53<45:13,  8.22s/it]
+
mmlu_ro:  21%|████████████████████████▏                                                                                             | 85/414 [12:02<45:58,  8.39s/it]
+
mmlu_ro:  21%|████████████████████████▌                                                                                             | 86/414 [12:10<44:56,  8.22s/it]
+
mmlu_ro:  21%|████████████████████████▊                                                                                             | 87/414 [12:19<45:39,  8.38s/it]
+
mmlu_ro:  21%|█████████████████████████                                                                                             | 88/414 [12:27<45:04,  8.29s/it]
+
mmlu_ro:  21%|█████████████████████████▎                                                                                            | 89/414 [12:35<44:48,  8.27s/it]
+
mmlu_ro:  22%|█████████████████████████▋                                                                                            | 90/414 [12:43<44:52,  8.31s/it]
+
mmlu_ro:  22%|█████████████████████████▉                                                                                            | 91/414 [12:52<45:44,  8.50s/it]
+
mmlu_ro:  22%|██████████████████████████▏                                                                                           | 92/414 [13:01<46:01,  8.58s/it]
+
mmlu_ro:  22%|██████████████████████████▌                                                                                           | 93/414 [13:10<46:43,  8.73s/it]
+
mmlu_ro:  23%|██████████████████████████▊                                                                                           | 94/414 [13:18<45:59,  8.62s/it]
+
mmlu_ro:  23%|███████████████████████████                                                                                           | 95/414 [13:26<43:36,  8.20s/it]
+
mmlu_ro:  23%|███████████████████████████▎                                                                                          | 96/414 [13:34<43:53,  8.28s/it]
+
mmlu_ro:  23%|███████████████████████████▋                                                                                          | 97/414 [13:43<45:18,  8.58s/it]
+
mmlu_ro:  24%|███████████████████████████▉                                                                                          | 98/414 [13:52<45:19,  8.61s/it]
+
mmlu_ro:  24%|████████████████████████████▏                                                                                         | 99/414 [14:00<44:52,  8.55s/it]
+
mmlu_ro:  24%|████████████████████████████▎                                                                                        | 100/414 [14:09<44:48,  8.56s/it]
+
mmlu_ro:  24%|████████████████████████████▌                                                                                        | 101/414 [14:19<46:25,  8.90s/it]
+
mmlu_ro:  25%|████████████████████████████▊                                                                                        | 102/414 [14:29<48:21,  9.30s/it]
+
mmlu_ro:  25%|█████████████████████████████                                                                                        | 103/414 [14:37<45:51,  8.85s/it]
+
mmlu_ro:  25%|█████████████████████████████▍                                                                                       | 104/414 [14:44<43:44,  8.47s/it]
+
mmlu_ro:  25%|█████████████████████████████▋                                                                                       | 105/414 [14:53<43:42,  8.49s/it]
+
mmlu_ro:  26%|█████████████████████████████▉                                                                                       | 106/414 [15:02<44:39,  8.70s/it]
+
mmlu_ro:  26%|██████████████████████████████▏                                                                                      | 107/414 [15:10<42:53,  8.38s/it]
+
mmlu_ro:  26%|██████████████████████████████▌                                                                                      | 108/414 [15:18<42:07,  8.26s/it]
+
mmlu_ro:  26%|██████████████████████████████▊                                                                                      | 109/414 [15:27<43:22,  8.53s/it]
+
mmlu_ro:  27%|███████████████████████████████                                                                                      | 110/414 [15:35<42:25,  8.37s/it]
+
mmlu_ro:  27%|███████████████████████████████▎                                                                                     | 111/414 [15:44<43:08,  8.54s/it]
+
mmlu_ro:  27%|███████████████████████████████▋                                                                                     | 112/414 [15:53<43:23,  8.62s/it]
+
mmlu_ro:  27%|███████████████████████████████▉                                                                                     | 113/414 [16:01<43:18,  8.63s/it]
+
mmlu_ro:  28%|████████████████████████████████▏                                                                                    | 114/414 [16:09<41:25,  8.29s/it]
+
mmlu_ro:  28%|████████████████████████████████▌                                                                                    | 115/414 [16:17<41:10,  8.26s/it]
+
mmlu_ro:  28%|████████████████████████████████▊                                                                                    | 116/414 [16:25<40:37,  8.18s/it]
+
mmlu_ro:  28%|█████████████████████████████████                                                                                    | 117/414 [16:33<40:58,  8.28s/it]
+
mmlu_ro:  29%|█████████████████████████████████▎                                                                                   | 118/414 [16:41<39:33,  8.02s/it]
+
mmlu_ro:  29%|█████████████████████████████████▋                                                                                   | 119/414 [16:49<39:08,  7.96s/it]
+
mmlu_ro:  29%|█████████████████████████████████▉                                                                                   | 120/414 [16:57<39:54,  8.15s/it]
+
mmlu_ro:  29%|██████████████████████████████████▏                                                                                  | 121/414 [17:06<40:38,  8.32s/it]
+
mmlu_ro:  29%|██████████████████████████████████▍                                                                                  | 122/414 [17:15<41:26,  8.51s/it]
+
mmlu_ro:  30%|██████████████████████████████████▊                                                                                  | 123/414 [17:24<42:37,  8.79s/it]
+
mmlu_ro:  30%|███████████████████████████████████                                                                                  | 124/414 [17:33<41:51,  8.66s/it]
+
mmlu_ro:  30%|███████████████████████████████████▎                                                                                 | 125/414 [17:41<41:22,  8.59s/it]
+
mmlu_ro:  30%|███████████████████████████████████▌                                                                                 | 126/414 [17:49<40:46,  8.49s/it]
+
mmlu_ro:  31%|███████████████████████████████████▉                                                                                 | 127/414 [17:59<42:06,  8.80s/it]
+
mmlu_ro:  31%|████████████████████████████████████▏                                                                                | 128/414 [18:08<42:17,  8.87s/it]
+
mmlu_ro:  31%|████████████████████████████████████▍                                                                                | 129/414 [18:17<42:45,  9.00s/it]
+
mmlu_ro:  31%|████████████████████████████████████▋                                                                                | 130/414 [18:26<41:38,  8.80s/it]
+
mmlu_ro:  32%|█████████████████████████████████████                                                                                | 131/414 [18:35<41:41,  8.84s/it]
+
mmlu_ro:  32%|█████████████████████████████████████▎                                                                               | 132/414 [18:43<41:31,  8.83s/it]
+
mmlu_ro:  32%|█████████████████████████████████████▌                                                                               | 133/414 [18:52<41:23,  8.84s/it]
+
mmlu_ro:  32%|█████████████████████████████████████▊                                                                               | 134/414 [19:00<40:00,  8.57s/it]
+
mmlu_ro:  33%|██████████████████████████████████████▏                                                                              | 135/414 [19:09<39:41,  8.53s/it]
+
mmlu_ro:  33%|██████████████████████████████████████▍                                                                              | 136/414 [19:18<40:22,  8.71s/it]
+
mmlu_ro:  33%|██████████████████████████████████████▋                                                                              | 137/414 [19:27<40:50,  8.85s/it]
+
mmlu_ro:  33%|███████████████████████████████████████                                                                              | 138/414 [19:36<40:50,  8.88s/it]
+
mmlu_ro:  34%|███████████████████████████████████████▎                                                                             | 139/414 [19:44<39:08,  8.54s/it]
+
mmlu_ro:  34%|███████████████████████████████████████▌                                                                             | 140/414 [19:52<38:08,  8.35s/it]
+
mmlu_ro:  34%|███████████████████████████████████████▊                                                                             | 141/414 [19:59<36:54,  8.11s/it]
+
mmlu_ro:  34%|████████████████████████████████████████▏                                                                            | 142/414 [20:08<37:59,  8.38s/it]
+
mmlu_ro:  35%|████████████████████████████████████████▍                                                                            | 143/414 [20:16<37:05,  8.21s/it]
+
mmlu_ro:  35%|████████████████████████████████████████▋                                                                            | 144/414 [20:24<36:59,  8.22s/it]
+
mmlu_ro:  35%|████████████████████████████████████████▉                                                                            | 145/414 [20:32<36:53,  8.23s/it]
+
mmlu_ro:  35%|█████████████████████████████████████████▎                                                                           | 146/414 [20:42<38:43,  8.67s/it]
+
mmlu_ro:  36%|█████████████████████████████████████████▌                                                                           | 147/414 [20:50<37:19,  8.39s/it]
+
mmlu_ro:  36%|█████████████████████████████████████████▊                                                                           | 148/414 [20:59<38:02,  8.58s/it]
+
mmlu_ro:  36%|██████████████████████████████████████████                                                                           | 149/414 [21:07<37:46,  8.55s/it]
+
mmlu_ro:  36%|██████████████████████████████████████████▍                                                                          | 150/414 [21:17<38:50,  8.83s/it]
+
mmlu_ro:  36%|██████████████████████████████████████████▋                                                                          | 151/414 [21:25<38:10,  8.71s/it]
+
mmlu_ro:  37%|██████████████████████████████████████████▉                                                                          | 152/414 [21:34<37:32,  8.60s/it]
+
mmlu_ro:  37%|███████████████████████████████████████████▏                                                                         | 153/414 [21:42<36:49,  8.47s/it]
+
mmlu_ro:  37%|███████████████████████████████████████████▌                                                                         | 154/414 [21:50<36:57,  8.53s/it]
+
mmlu_ro:  37%|███████████████████████████████████████████▊                                                                         | 155/414 [21:59<36:40,  8.50s/it]
+
mmlu_ro:  38%|████████████████████████████████████████████                                                                         | 156/414 [22:08<36:53,  8.58s/it]
+
mmlu_ro:  38%|████████████████████████████████████████████▎                                                                        | 157/414 [22:16<36:55,  8.62s/it]
+
mmlu_ro:  38%|████████████████████████████████████████████▋                                                                        | 158/414 [22:25<36:29,  8.55s/it]
+
mmlu_ro:  38%|████████████████████████████████████████████▉                                                                        | 159/414 [22:33<35:27,  8.34s/it]
+
mmlu_ro:  39%|█████████████████████████████████████████████▏                                                                       | 160/414 [22:41<35:11,  8.31s/it]
+
mmlu_ro:  39%|█████████████████████████████████████████████▌                                                                       | 161/414 [22:49<35:00,  8.30s/it]
+
mmlu_ro:  39%|█████████████████████████████████████████████▊                                                                       | 162/414 [22:57<34:35,  8.24s/it]
+
mmlu_ro:  39%|██████████████████████████████████████████████                                                                       | 163/414 [23:06<34:35,  8.27s/it]
+
mmlu_ro:  40%|██████████████████████████████████████████████▎                                                                      | 164/414 [23:14<34:54,  8.38s/it]
+
mmlu_ro:  40%|██████████████████████████████████████████████▋                                                                      | 165/414 [23:23<35:16,  8.50s/it]
+
mmlu_ro:  40%|██████████████████████████████████████████████▉                                                                      | 166/414 [23:31<34:02,  8.24s/it]
+
mmlu_ro:  40%|███████████████████████████████████████████████▏                                                                     | 167/414 [23:38<32:47,  7.97s/it]
+
mmlu_ro:  41%|███████████████████████████████████████████████▍                                                                     | 168/414 [23:46<33:11,  8.09s/it]
+
mmlu_ro:  41%|███████████████████████████████████████████████▊                                                                     | 169/414 [23:54<32:23,  7.93s/it]
+
mmlu_ro:  41%|████████████████████████████████████████████████                                                                     | 170/414 [24:03<33:50,  8.32s/it]
+
mmlu_ro:  41%|████████████████████████████████████████████████▎                                                                    | 171/414 [24:12<33:55,  8.37s/it]
+
mmlu_ro:  42%|████████████████████████████████████████████████▌                                                                    | 172/414 [24:20<33:55,  8.41s/it]
+
mmlu_ro:  42%|████████████████████████████████████████████████▉                                                                    | 173/414 [24:29<34:41,  8.64s/it]
+
mmlu_ro:  42%|█████████████████████████████████████████████████▏                                                                   | 174/414 [24:39<36:02,  9.01s/it]
+
mmlu_ro:  42%|█████████████████████████████████████████████████▍                                                                   | 175/414 [24:48<35:26,  8.90s/it]
+
mmlu_ro:  43%|█████████████████████████████████████████████████▋                                                                   | 176/414 [24:56<34:57,  8.81s/it]
+
mmlu_ro:  43%|██████████████████████████████████████████████████                                                                   | 177/414 [25:05<34:50,  8.82s/it]
+
mmlu_ro:  43%|██████████████████████████████████████████████████▎                                                                  | 178/414 [25:13<33:43,  8.57s/it]
+
mmlu_ro:  43%|██████████████████████████████████████████████████▌                                                                  | 179/414 [25:22<33:34,  8.57s/it]
+
mmlu_ro:  43%|██████████████████████████████████████████████████▊                                                                  | 180/414 [25:31<34:01,  8.72s/it]
+
mmlu_ro:  44%|███████████████████████████████████████████████████▏                                                                 | 181/414 [25:39<33:10,  8.54s/it]
+
mmlu_ro:  44%|███████████████████████████████████████████████████▍                                                                 | 182/414 [25:48<33:11,  8.58s/it]
+
mmlu_ro:  44%|███████████████████████████████████████████████████▋                                                                 | 183/414 [25:56<32:21,  8.40s/it]
+
mmlu_ro:  44%|████████████████████████████████████████████████████                                                                 | 184/414 [26:05<33:00,  8.61s/it]
+
mmlu_ro:  45%|████████████████████████████████████████████████████▎                                                                | 185/414 [26:13<33:02,  8.66s/it]
+
mmlu_ro:  45%|████████████████████████████████████████████████████▌                                                                | 186/414 [26:22<33:17,  8.76s/it]
+
mmlu_ro:  45%|████████████████████████████████████████████████████▊                                                                | 187/414 [26:31<33:11,  8.77s/it]
+
mmlu_ro:  45%|█████████████████████████████████████████████████████▏                                                               | 188/414 [26:40<32:55,  8.74s/it]
+
mmlu_ro:  46%|█████████████████████████████████████████████████████▍                                                               | 189/414 [26:48<32:18,  8.62s/it]
+
mmlu_ro:  46%|█████████████████████████████████████████████████████▋                                                               | 190/414 [26:58<32:51,  8.80s/it]
+
mmlu_ro:  46%|█████████████████████████████████████████████████████▉                                                               | 191/414 [27:05<31:24,  8.45s/it]
+
mmlu_ro:  46%|██████████████████████████████████████████████████████▎                                                              | 192/414 [27:13<30:57,  8.37s/it]
+
mmlu_ro:  47%|██████████████████████████████████████████████████████▌                                                              | 193/414 [27:22<30:55,  8.40s/it]
+
mmlu_ro:  47%|██████████████████████████████████████████████████████▊                                                              | 194/414 [27:30<30:51,  8.42s/it]
+
mmlu_ro:  47%|███████████████████████████████████████████████████████                                                              | 195/414 [27:39<31:02,  8.50s/it]
+
mmlu_ro:  47%|███████████████████████████████████████████████████████▍                                                             | 196/414 [27:47<30:30,  8.40s/it]
+
mmlu_ro:  48%|███████████████████████████████████████████████████████▋                                                             | 197/414 [27:56<30:27,  8.42s/it]
+
mmlu_ro:  48%|███████████████████████████████████████████████████████▉                                                             | 198/414 [28:04<30:28,  8.46s/it]
+
mmlu_ro:  48%|████████████████████████████████████████████████████████▏                                                            | 199/414 [28:13<31:03,  8.67s/it]
+
mmlu_ro:  48%|████████████████████████████████████████████████████████▌                                                            | 200/414 [28:21<30:09,  8.46s/it]
+
mmlu_ro:  49%|████████████████████████████████████████████████████████▊                                                            | 201/414 [28:30<30:04,  8.47s/it]
+
mmlu_ro:  49%|█████████████████████████████████████████████████████████                                                            | 202/414 [28:38<29:43,  8.41s/it]
+
mmlu_ro:  49%|█████████████████████████████████████████████████████████▎                                                           | 203/414 [28:47<29:39,  8.43s/it]
+
mmlu_ro:  49%|█████████████████████████████████████████████████████████▋                                                           | 204/414 [28:55<29:15,  8.36s/it]
+
mmlu_ro:  50%|█████████████████████████████████████████████████████████▉                                                           | 205/414 [29:03<29:04,  8.35s/it]
+
mmlu_ro:  50%|██████████████████████████████████████████████████████████▏                                                          | 206/414 [29:11<28:07,  8.11s/it]
+
mmlu_ro:  50%|██████████████████████████████████████████████████████████▌                                                          | 207/414 [29:19<28:15,  8.19s/it]
+
mmlu_ro:  50%|██████████████████████████████████████████████████████████▊                                                          | 208/414 [29:26<27:09,  7.91s/it]
+
mmlu_ro:  50%|███████████████████████████████████████████████████████████                                                          | 209/414 [29:34<27:18,  7.99s/it]
+
mmlu_ro:  51%|███████████████████████████████████████████████████████████▎                                                         | 210/414 [29:44<28:29,  8.38s/it]
+
mmlu_ro:  51%|███████████████████████████████████████████████████████████▋                                                         | 211/414 [29:51<27:30,  8.13s/it]
+
mmlu_ro:  51%|███████████████████████████████████████████████████████████▉                                                         | 212/414 [29:59<27:01,  8.03s/it]
+
mmlu_ro:  51%|████████████████████████████████████████████████████████████▏                                                        | 213/414 [30:08<27:26,  8.19s/it]
+
mmlu_ro:  52%|████████████████████████████████████████████████████████████▍                                                        | 214/414 [30:16<27:58,  8.39s/it]
+
mmlu_ro:  52%|████████████████████████████████████████████████████████████▊                                                        | 215/414 [30:25<27:30,  8.29s/it]
+
mmlu_ro:  52%|█████████████████████████████████████████████████████████████                                                        | 216/414 [30:33<27:20,  8.29s/it]
+
mmlu_ro:  52%|█████████████████████████████████████████████████████████████▎                                                       | 217/414 [30:41<27:22,  8.34s/it]
+
mmlu_ro:  53%|█████████████████████████████████████████████████████████████▌                                                       | 218/414 [30:48<25:46,  7.89s/it]
+
mmlu_ro:  53%|█████████████████████████████████████████████████████████████▉                                                       | 219/414 [30:57<26:17,  8.09s/it]
+
mmlu_ro:  53%|██████████████████████████████████████████████████████████████▏                                                      | 220/414 [31:07<28:04,  8.68s/it]
+
mmlu_ro:  53%|██████████████████████████████████████████████████████████████▍                                                      | 221/414 [31:14<26:59,  8.39s/it]
+
mmlu_ro:  54%|██████████████████████████████████████████████████████████████▋                                                      | 222/414 [31:24<28:01,  8.76s/it]
+
mmlu_ro:  54%|███████████████████████████████████████████████████████████████                                                      | 223/414 [31:31<26:06,  8.20s/it]
+
mmlu_ro:  54%|███████████████████████████████████████████████████████████████▎                                                     | 224/414 [31:40<26:22,  8.33s/it]
+
mmlu_ro:  54%|███████████████████████████████████████████████████████████████▌                                                     | 225/414 [31:48<25:57,  8.24s/it]
+
mmlu_ro:  55%|███████████████████████████████████████████████████████████████▊                                                     | 226/414 [31:56<25:48,  8.23s/it]
+
mmlu_ro:  55%|████████████████████████████████████████████████████████████████▏                                                    | 227/414 [32:04<26:04,  8.36s/it]
+
mmlu_ro:  55%|████████████████████████████████████████████████████████████████▍                                                    | 228/414 [32:13<25:48,  8.32s/it]
+
mmlu_ro:  55%|████████████████████████████████████████████████████████████████▋                                                    | 229/414 [32:22<26:12,  8.50s/it]
+
mmlu_ro:  56%|█████████████████████████████████████████████████████████████████                                                    | 230/414 [32:30<26:08,  8.52s/it]
+
mmlu_ro:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 231/414 [32:39<26:26,  8.67s/it]
+
mmlu_ro:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 232/414 [32:47<25:18,  8.34s/it]
+
mmlu_ro:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 233/414 [32:56<25:44,  8.54s/it]
+
mmlu_ro:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 234/414 [33:04<25:08,  8.38s/it]
+
mmlu_ro:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 235/414 [33:13<25:42,  8.62s/it]
+
mmlu_ro:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 236/414 [33:21<25:21,  8.55s/it]
+
mmlu_ro:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 237/414 [33:31<25:50,  8.76s/it]
+
mmlu_ro:  57%|███████████████████████████████████████████████████████████████████▎                                                 | 238/414 [33:38<24:56,  8.50s/it]
+
mmlu_ro:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 239/414 [33:47<24:31,  8.41s/it]
+
mmlu_ro:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 240/414 [33:55<24:13,  8.35s/it]
+
mmlu_ro:  58%|████████████████████████████████████████████████████████████████████                                                 | 241/414 [34:04<24:28,  8.49s/it]
+
mmlu_ro:  58%|████████████████████████████████████████████████████████████████████▍                                                | 242/414 [34:13<24:51,  8.67s/it]
+
mmlu_ro:  59%|████████████████████████████████████████████████████████████████████▋                                                | 243/414 [34:22<25:21,  8.90s/it]
+
mmlu_ro:  59%|████████████████████████████████████████████████████████████████████▉                                                | 244/414 [34:31<24:58,  8.81s/it]
+
mmlu_ro:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 245/414 [34:39<24:16,  8.62s/it]
+
mmlu_ro:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 246/414 [34:48<24:15,  8.66s/it]
+
mmlu_ro:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 247/414 [34:55<23:17,  8.37s/it]
+
mmlu_ro:  60%|██████████████████████████████████████████████████████████████████████                                               | 248/414 [35:03<22:51,  8.26s/it]
+
mmlu_ro:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 249/414 [35:11<22:13,  8.08s/it]
+
mmlu_ro:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 250/414 [35:19<22:16,  8.15s/it]
+
mmlu_ro:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 251/414 [35:28<22:27,  8.27s/it]
+
mmlu_ro:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 252/414 [35:37<22:45,  8.43s/it]
+
mmlu_ro:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 253/414 [35:44<22:00,  8.20s/it]
+
mmlu_ro:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 254/414 [35:54<22:51,  8.57s/it]
+
mmlu_ro:  62%|████████████████████████████████████████████████████████████████████████                                             | 255/414 [36:02<22:14,  8.39s/it]
+
mmlu_ro:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 256/414 [36:11<22:28,  8.53s/it]
+
mmlu_ro:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 257/414 [36:18<21:40,  8.28s/it]
+
mmlu_ro:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 258/414 [36:26<21:19,  8.20s/it]
+
mmlu_ro:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 259/414 [36:36<22:00,  8.52s/it]
+
mmlu_ro:  63%|█████████████████████████████████████████████████████████████████████████▍                                           | 260/414 [36:44<21:59,  8.57s/it]
+
mmlu_ro:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 261/414 [36:53<21:51,  8.57s/it]
+
mmlu_ro:  63%|██████████████████████████████████████████████████████████████████████████                                           | 262/414 [37:02<22:00,  8.69s/it]
+
mmlu_ro:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 263/414 [37:10<21:25,  8.51s/it]
+
mmlu_ro:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 264/414 [37:18<20:39,  8.26s/it]
+
mmlu_ro:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 265/414 [37:26<20:42,  8.34s/it]
+
mmlu_ro:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 266/414 [37:34<20:16,  8.22s/it]
+
mmlu_ro:  64%|███████████████████████████████████████████████████████████████████████████▍                                         | 267/414 [37:43<20:29,  8.36s/it]
+
mmlu_ro:  65%|███████████████████████████████████████████████████████████████████████████▋                                         | 268/414 [37:52<20:57,  8.61s/it]
+
mmlu_ro:  65%|████████████████████████████████████████████████████████████████████████████                                         | 269/414 [37:59<19:41,  8.15s/it]
+
mmlu_ro:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 270/414 [38:07<19:15,  8.02s/it]
+
mmlu_ro:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 271/414 [38:16<19:35,  8.22s/it]
+
mmlu_ro:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 272/414 [38:23<19:13,  8.12s/it]
+
mmlu_ro:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 273/414 [38:31<18:25,  7.84s/it]
+
mmlu_ro:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 274/414 [38:38<18:13,  7.81s/it]
+
mmlu_ro:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 275/414 [38:46<17:57,  7.75s/it]
+
mmlu_ro:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 276/414 [38:55<18:22,  7.99s/it]
+
mmlu_ro:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 277/414 [39:03<18:29,  8.10s/it]
+
mmlu_ro:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 278/414 [39:11<18:39,  8.23s/it]
+
mmlu_ro:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 279/414 [39:20<18:30,  8.23s/it]
+
mmlu_ro:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 280/414 [39:28<18:46,  8.41s/it]
+
mmlu_ro:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 281/414 [39:37<18:37,  8.40s/it]
+
mmlu_ro:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 282/414 [39:46<18:55,  8.60s/it]
+
mmlu_ro:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 283/414 [39:55<19:15,  8.82s/it]
+
mmlu_ro:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 284/414 [40:03<18:44,  8.65s/it]
+
mmlu_ro:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 285/414 [40:13<19:01,  8.85s/it]
+
mmlu_ro:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 286/414 [40:20<18:00,  8.44s/it]
+
mmlu_ro:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 287/414 [40:29<17:45,  8.39s/it]
+
mmlu_ro:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 288/414 [40:38<18:10,  8.65s/it]
+
mmlu_ro:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 289/414 [40:46<17:42,  8.50s/it]
+
mmlu_ro:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 290/414 [40:55<17:54,  8.67s/it]
+
mmlu_ro:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 291/414 [41:03<17:14,  8.41s/it]
+
mmlu_ro:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 292/414 [41:13<18:02,  8.87s/it]
+
mmlu_ro:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 293/414 [41:20<17:10,  8.52s/it]
+
mmlu_ro:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 294/414 [41:29<17:10,  8.59s/it]
+
mmlu_ro:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 295/414 [41:37<16:34,  8.36s/it]
+
mmlu_ro:  71%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 296/414 [41:46<16:39,  8.47s/it]
+
mmlu_ro:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 297/414 [41:54<16:34,  8.50s/it]
+
mmlu_ro:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 298/414 [42:03<16:32,  8.56s/it]
+
mmlu_ro:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 299/414 [42:11<16:07,  8.41s/it]
+
mmlu_ro:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 300/414 [42:19<15:57,  8.40s/it]
+
mmlu_ro:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 301/414 [42:29<16:25,  8.72s/it]
+
mmlu_ro:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 302/414 [42:38<16:25,  8.80s/it]
+
mmlu_ro:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 303/414 [42:47<16:27,  8.90s/it]
+
mmlu_ro:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 304/414 [42:56<16:12,  8.85s/it]
+
mmlu_ro:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 305/414 [43:04<15:51,  8.73s/it]
+
mmlu_ro:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 306/414 [43:14<16:03,  8.92s/it]
+
mmlu_ro:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 307/414 [43:23<16:01,  8.99s/it]
+
mmlu_ro:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 308/414 [43:31<15:32,  8.79s/it]
+
mmlu_ro:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 309/414 [43:40<15:34,  8.90s/it]
+
mmlu_ro:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 310/414 [43:48<14:40,  8.46s/it]
+
mmlu_ro:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 311/414 [43:56<14:37,  8.52s/it]
+
mmlu_ro:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 312/414 [44:05<14:42,  8.65s/it]
+
mmlu_ro:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 313/414 [44:13<14:17,  8.49s/it]
+
mmlu_ro:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 314/414 [44:23<14:28,  8.69s/it]
+
mmlu_ro:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 315/414 [44:31<14:20,  8.69s/it]
+
mmlu_ro:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 316/414 [44:40<14:25,  8.84s/it]
+
mmlu_ro:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 317/414 [44:50<14:30,  8.98s/it]
+
mmlu_ro:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 318/414 [44:58<13:54,  8.69s/it]
+
mmlu_ro:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 319/414 [45:06<13:26,  8.49s/it]
+
mmlu_ro:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 320/414 [45:14<13:00,  8.31s/it]
+
mmlu_ro:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 321/414 [45:24<13:35,  8.77s/it]
+
mmlu_ro:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 322/414 [45:34<14:16,  9.31s/it]
+
mmlu_ro:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 323/414 [45:44<14:28,  9.54s/it]
+
mmlu_ro:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 324/414 [45:52<13:42,  9.13s/it]
+
mmlu_ro:  79%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 325/414 [46:01<13:22,  9.02s/it]
+
mmlu_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 326/414 [46:09<12:44,  8.69s/it]
+
mmlu_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 327/414 [46:19<12:59,  8.96s/it]
+
mmlu_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 328/414 [46:27<12:38,  8.82s/it]
+
mmlu_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 329/414 [46:35<12:13,  8.64s/it]
+
mmlu_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 330/414 [46:43<11:48,  8.44s/it]
+
mmlu_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 331/414 [46:52<11:37,  8.40s/it]
+
mmlu_ro:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 332/414 [47:00<11:34,  8.46s/it]
+
mmlu_ro:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 333/414 [47:08<11:03,  8.19s/it]
+
mmlu_ro:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 334/414 [47:16<11:05,  8.31s/it]
+
mmlu_ro:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 335/414 [47:26<11:29,  8.73s/it]
+
mmlu_ro:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 336/414 [47:35<11:21,  8.74s/it]
+
mmlu_ro:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 337/414 [47:44<11:31,  8.98s/it]
+
mmlu_ro:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 338/414 [47:53<11:04,  8.74s/it]
+
mmlu_ro:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 339/414 [48:01<10:47,  8.64s/it]
+
mmlu_ro:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 340/414 [48:09<10:24,  8.44s/it]
+
mmlu_ro:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 341/414 [48:17<10:01,  8.24s/it]
+
mmlu_ro:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 342/414 [48:25<09:59,  8.32s/it]
+
mmlu_ro:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 343/414 [48:33<09:37,  8.14s/it]
+
mmlu_ro:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 344/414 [48:41<09:34,  8.21s/it]
+
mmlu_ro:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 345/414 [48:49<09:24,  8.19s/it]
+
mmlu_ro:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 346/414 [48:57<09:11,  8.11s/it]
+
mmlu_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 347/414 [49:05<08:55,  7.99s/it]
+
mmlu_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 348/414 [49:13<08:50,  8.03s/it]
+
mmlu_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 349/414 [49:23<09:11,  8.49s/it]
+
mmlu_ro:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 350/414 [49:31<08:59,  8.42s/it]
+
mmlu_ro:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 351/414 [49:40<09:00,  8.58s/it]
+
mmlu_ro:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 352/414 [49:48<08:35,  8.32s/it]
+
mmlu_ro:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 353/414 [49:55<08:14,  8.10s/it]
+
mmlu_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 354/414 [50:04<08:23,  8.40s/it]
+
mmlu_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 355/414 [50:13<08:21,  8.49s/it]
+
mmlu_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 356/414 [50:22<08:17,  8.59s/it]
+
mmlu_ro:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 357/414 [50:30<07:57,  8.38s/it]
+
mmlu_ro:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 358/414 [50:38<07:51,  8.42s/it]
+
mmlu_ro:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 359/414 [50:46<07:38,  8.33s/it]
+
mmlu_ro:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 360/414 [50:56<07:52,  8.74s/it]
+
mmlu_ro:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 361/414 [51:04<07:36,  8.61s/it]
+
mmlu_ro:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 362/414 [51:14<07:38,  8.81s/it]
+
mmlu_ro:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 363/414 [51:22<07:22,  8.69s/it]
+
mmlu_ro:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 364/414 [51:31<07:12,  8.65s/it]
+
mmlu_ro:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 365/414 [51:40<07:08,  8.74s/it]
+
mmlu_ro:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 366/414 [51:48<06:57,  8.69s/it]
+
mmlu_ro:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 367/414 [51:56<06:41,  8.55s/it]
+
mmlu_ro:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 368/414 [52:06<06:43,  8.76s/it]
+
mmlu_ro:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 369/414 [52:14<06:28,  8.63s/it]
+
mmlu_ro:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 370/414 [52:22<06:05,  8.31s/it]
+
mmlu_ro:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 371/414 [52:30<06:03,  8.45s/it]
+
mmlu_ro:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 372/414 [52:39<05:54,  8.44s/it]
+
mmlu_ro:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 373/414 [52:48<05:54,  8.65s/it]
+
mmlu_ro:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 374/414 [52:56<05:45,  8.64s/it]
+
mmlu_ro:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 375/414 [53:05<05:40,  8.73s/it]
+
mmlu_ro:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 376/414 [53:13<05:22,  8.49s/it]
+
mmlu_ro:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 377/414 [53:22<05:12,  8.44s/it]
+
mmlu_ro:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 378/414 [53:29<04:55,  8.22s/it]
+
mmlu_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 379/414 [53:38<04:49,  8.28s/it]
+
mmlu_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 380/414 [53:46<04:41,  8.28s/it]
+
mmlu_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 381/414 [53:54<04:33,  8.29s/it]
+
mmlu_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 382/414 [54:03<04:28,  8.40s/it]
+
mmlu_ro:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 383/414 [54:13<04:31,  8.77s/it]
+
mmlu_ro:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 384/414 [54:21<04:16,  8.56s/it]
+
mmlu_ro:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 385/414 [54:30<04:16,  8.85s/it]
+
mmlu_ro:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 386/414 [54:39<04:09,  8.89s/it]
+
mmlu_ro:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 387/414 [54:48<03:56,  8.77s/it]
+
mmlu_ro:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 388/414 [54:55<03:39,  8.45s/it]
+
mmlu_ro:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 389/414 [55:04<03:30,  8.41s/it]
+
mmlu_ro:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 390/414 [55:12<03:19,  8.30s/it]
+
mmlu_ro:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 391/414 [55:20<03:12,  8.35s/it]
+
mmlu_ro:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 392/414 [55:29<03:08,  8.55s/it]
+
mmlu_ro:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 393/414 [55:37<02:55,  8.36s/it]
+
mmlu_ro:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 394/414 [55:46<02:47,  8.36s/it]
+
mmlu_ro:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 395/414 [55:55<02:45,  8.73s/it]
+
mmlu_ro:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 396/414 [56:03<02:32,  8.47s/it]
+
mmlu_ro:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 397/414 [56:11<02:21,  8.35s/it]
+
mmlu_ro:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 398/414 [56:20<02:15,  8.45s/it]
+
mmlu_ro:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 399/414 [56:28<02:04,  8.33s/it]
+
mmlu_ro:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 400/414 [56:37<01:59,  8.51s/it]
+
mmlu_ro:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 401/414 [56:47<01:56,  8.97s/it]
+
mmlu_ro:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 402/414 [56:55<01:45,  8.80s/it]
+
mmlu_ro:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 403/414 [57:04<01:35,  8.70s/it]
+
mmlu_ro:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 404/414 [57:12<01:25,  8.55s/it]
+
mmlu_ro:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 405/414 [57:20<01:15,  8.36s/it]
+
mmlu_ro:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 406/414 [57:28<01:06,  8.32s/it]
+
mmlu_ro:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 407/414 [57:36<00:57,  8.25s/it]
+
mmlu_ro:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [57:45<00:49,  8.33s/it]
+
mmlu_ro:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [57:53<00:42,  8.48s/it]
+
mmlu_ro:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [58:03<00:34,  8.72s/it]
+
mmlu_ro:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [58:11<00:25,  8.50s/it]
+
mmlu_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [58:19<00:17,  8.50s/it]
+
mmlu_ro: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [58:28<00:08,  8.58s/it]
+
mmlu_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [58:35<00:00,  8.20s/it]
mmlu_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [58:35<00:00,  8.49s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ro_acc 0.379607250755287
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ro_acc_norm 0.3402567975830816
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 19:03:40,603 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 19:03:40,603 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:40,729 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 19:03:40,729 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:40,855 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 19:03:40,855 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:40,980 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 19:03:40,981 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 19:03:40,981 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 19:03:41,108 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 19:03:41,108 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'mmlu_ro_acc'}
+2024-05-31 19:03:41,172 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 19:03:41,172 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1245, 'value': 0.379607250755287}
+2024-05-31 19:03:41,236 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 19:03:41,873 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 19:03:41,873 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:41,999 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 19:03:41,999 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:42,124 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 19:03:42,124 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 19:03:42,250 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 19:03:42,377 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 19:03:42,377 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ro_acc_norm'}
+2024-05-31 19:03:42,441 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 19:03:42,441 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1246, 'value': 0.3402567975830816}
+2024-05-31 19:03:42,504 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  68%|█████████████████████████████████████████████████████████████████████████▏                                  | 84/124 [60:16:11<47:21:30, 4262.27s/it]['mmlu_ru']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 19:03:43,141 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 19:03:43,141 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:43,266 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 19:03:43,266 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:43,391 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 19:03:43,391 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 19:03:43,515 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 19:03:43,516 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 19:03:43,516 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_ru'}
+2024-05-31 19:03:43,645 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ru task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1686 examples [00:00, 14512.21 examples/s]
+
Generating test split: 5000 examples [00:00, 24110.18 examples/s]
+
Generating test split: 8371 examples [00:00, 28275.01 examples/s]
+
Generating test split: 11783 examples [00:00, 30354.04 examples/s]
Generating test split: 13007 examples [00:00, 27560.50 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 279 examples [00:00, 25679.41 examples/s]
+Running loglikelihood requests
+
+
mmlu_ru:   0%|                                                                                                                               | 0/407 [00:00<?, ?it/s]
+
mmlu_ru:   0%|▎                                                                                                                    | 1/407 [00:13<1:31:44, 13.56s/it]
+
mmlu_ru:   0%|▌                                                                                                                    | 2/407 [00:24<1:22:53, 12.28s/it]
+
mmlu_ru:   1%|▊                                                                                                                    | 3/407 [00:37<1:24:40, 12.58s/it]
+
mmlu_ru:   1%|█▏                                                                                                                   | 4/407 [00:49<1:22:49, 12.33s/it]
+
mmlu_ru:   1%|█▍                                                                                                                   | 5/407 [01:02<1:23:43, 12.50s/it]
+
mmlu_ru:   1%|█▋                                                                                                                   | 6/407 [01:18<1:30:26, 13.53s/it]
+
mmlu_ru:   2%|██                                                                                                                   | 7/407 [01:29<1:25:54, 12.89s/it]
+
mmlu_ru:   2%|██▎                                                                                                                  | 8/407 [01:42<1:25:10, 12.81s/it]
+
mmlu_ru:   2%|██▌                                                                                                                  | 9/407 [01:56<1:26:59, 13.11s/it]
+
mmlu_ru:   2%|██▊                                                                                                                 | 10/407 [02:10<1:29:38, 13.55s/it]
+
mmlu_ru:   3%|███▏                                                                                                                | 11/407 [02:22<1:26:27, 13.10s/it]
+
mmlu_ru:   3%|███▍                                                                                                                | 12/407 [02:35<1:24:37, 12.86s/it]
+
mmlu_ru:   3%|███▋                                                                                                                | 13/407 [02:48<1:26:13, 13.13s/it]
+
mmlu_ru:   3%|███▉                                                                                                                | 14/407 [03:00<1:23:31, 12.75s/it]
+
mmlu_ru:   4%|████▎                                                                                                               | 15/407 [03:14<1:25:34, 13.10s/it]
+
mmlu_ru:   4%|████▌                                                                                                               | 16/407 [03:26<1:23:41, 12.84s/it]
+
mmlu_ru:   4%|████▊                                                                                                               | 17/407 [03:37<1:19:55, 12.30s/it]
+
mmlu_ru:   4%|█████▏                                                                                                              | 18/407 [03:50<1:21:21, 12.55s/it]
+
mmlu_ru:   5%|█████▍                                                                                                              | 19/407 [04:03<1:21:11, 12.56s/it]
+
mmlu_ru:   5%|█████▋                                                                                                              | 20/407 [04:15<1:20:21, 12.46s/it]
+
mmlu_ru:   5%|█████▉                                                                                                              | 21/407 [04:30<1:24:38, 13.16s/it]
+
mmlu_ru:   5%|██████▎                                                                                                             | 22/407 [04:42<1:21:18, 12.67s/it]
+
mmlu_ru:   6%|██████▌                                                                                                             | 23/407 [04:53<1:18:42, 12.30s/it]
+
mmlu_ru:   6%|██████▊                                                                                                             | 24/407 [05:05<1:18:25, 12.28s/it]
+
mmlu_ru:   6%|███████▏                                                                                                            | 25/407 [05:16<1:15:58, 11.93s/it]
+
mmlu_ru:   6%|███████▍                                                                                                            | 26/407 [05:28<1:15:42, 11.92s/it]
+
mmlu_ru:   7%|███████▋                                                                                                            | 27/407 [05:41<1:17:50, 12.29s/it]
+
mmlu_ru:   7%|███████▉                                                                                                            | 28/407 [05:54<1:17:28, 12.26s/it]
+
mmlu_ru:   7%|████████▎                                                                                                           | 29/407 [06:04<1:13:57, 11.74s/it]
+
mmlu_ru:   7%|████████▌                                                                                                           | 30/407 [06:18<1:16:46, 12.22s/it]
+
mmlu_ru:   8%|████████▊                                                                                                           | 31/407 [06:34<1:23:49, 13.38s/it]
+
mmlu_ru:   8%|█████████                                                                                                           | 32/407 [06:46<1:21:26, 13.03s/it]
+
mmlu_ru:   8%|█████████▍                                                                                                          | 33/407 [06:57<1:18:35, 12.61s/it]
+
mmlu_ru:   8%|█████████▋                                                                                                          | 34/407 [07:09<1:15:56, 12.22s/it]
+
mmlu_ru:   9%|█████████▉                                                                                                          | 35/407 [07:23<1:19:50, 12.88s/it]
+
mmlu_ru:   9%|██████████▎                                                                                                         | 36/407 [07:35<1:17:39, 12.56s/it]
+
mmlu_ru:   9%|██████████▌                                                                                                         | 37/407 [07:48<1:17:23, 12.55s/it]
+
mmlu_ru:   9%|██████████▊                                                                                                         | 38/407 [07:59<1:15:17, 12.24s/it]
+
mmlu_ru:  10%|███████████                                                                                                         | 39/407 [08:15<1:22:11, 13.40s/it]
+
mmlu_ru:  10%|███████████▍                                                                                                        | 40/407 [08:30<1:24:51, 13.87s/it]
+
mmlu_ru:  10%|███████████▋                                                                                                        | 41/407 [08:44<1:24:21, 13.83s/it]
+
mmlu_ru:  10%|███████████▉                                                                                                        | 42/407 [08:58<1:25:32, 14.06s/it]
+
mmlu_ru:  11%|████████████▎                                                                                                       | 43/407 [09:12<1:25:12, 14.04s/it]
+
mmlu_ru:  11%|████████████▌                                                                                                       | 44/407 [09:26<1:23:54, 13.87s/it]
+
mmlu_ru:  11%|████████████▊                                                                                                       | 45/407 [09:39<1:22:17, 13.64s/it]
+
mmlu_ru:  11%|█████████████                                                                                                       | 46/407 [09:54<1:23:37, 13.90s/it]
+
mmlu_ru:  12%|█████████████▍                                                                                                      | 47/407 [10:05<1:18:36, 13.10s/it]
+
mmlu_ru:  12%|█████████████▋                                                                                                      | 48/407 [10:17<1:16:20, 12.76s/it]
+
mmlu_ru:  12%|█████████████▉                                                                                                      | 49/407 [10:30<1:17:04, 12.92s/it]
+
mmlu_ru:  12%|██████████████▎                                                                                                     | 50/407 [10:45<1:20:04, 13.46s/it]
+
mmlu_ru:  13%|██████████████▌                                                                                                     | 51/407 [10:56<1:16:01, 12.81s/it]
+
mmlu_ru:  13%|██████████████▊                                                                                                     | 52/407 [11:10<1:18:21, 13.24s/it]
+
mmlu_ru:  13%|███████████████                                                                                                     | 53/407 [11:23<1:17:27, 13.13s/it]
+
mmlu_ru:  13%|███████████████▍                                                                                                    | 54/407 [11:36<1:16:09, 12.94s/it]
+
mmlu_ru:  14%|███████████████▋                                                                                                    | 55/407 [11:50<1:17:48, 13.26s/it]
+
mmlu_ru:  14%|███████████████▉                                                                                                    | 56/407 [12:02<1:16:49, 13.13s/it]
+
mmlu_ru:  14%|████████████████▏                                                                                                   | 57/407 [12:14<1:13:05, 12.53s/it]
+
mmlu_ru:  14%|████████████████▌                                                                                                   | 58/407 [12:27<1:13:32, 12.64s/it]
+
mmlu_ru:  14%|████████████████▊                                                                                                   | 59/407 [12:40<1:15:15, 12.97s/it]
+
mmlu_ru:  15%|█████████████████                                                                                                   | 60/407 [12:51<1:11:03, 12.29s/it]
+
mmlu_ru:  15%|█████████████████▍                                                                                                  | 61/407 [13:02<1:09:09, 11.99s/it]
+
mmlu_ru:  15%|█████████████████▋                                                                                                  | 62/407 [13:18<1:15:20, 13.10s/it]
+
mmlu_ru:  15%|█████████████████▉                                                                                                  | 63/407 [13:31<1:15:35, 13.18s/it]
+
mmlu_ru:  16%|██████████████████▏                                                                                                 | 64/407 [13:45<1:16:13, 13.33s/it]
+
mmlu_ru:  16%|██████████████████▌                                                                                                 | 65/407 [13:57<1:13:43, 12.93s/it]
+
mmlu_ru:  16%|██████████████████▊                                                                                                 | 66/407 [14:10<1:13:13, 12.88s/it]
+
mmlu_ru:  16%|███████████████████                                                                                                 | 67/407 [14:24<1:14:32, 13.15s/it]
+
mmlu_ru:  17%|███████████████████▍                                                                                                | 68/407 [14:37<1:14:46, 13.23s/it]
+
mmlu_ru:  17%|███████████████████▋                                                                                                | 69/407 [14:49<1:12:46, 12.92s/it]
+
mmlu_ru:  17%|███████████████████▉                                                                                                | 70/407 [15:03<1:13:27, 13.08s/it]
+
mmlu_ru:  17%|████████████████████▏                                                                                               | 71/407 [15:15<1:11:41, 12.80s/it]
+
mmlu_ru:  18%|████████████████████▌                                                                                               | 72/407 [15:30<1:15:24, 13.50s/it]
+
mmlu_ru:  18%|████████████████████▊                                                                                               | 73/407 [15:43<1:15:08, 13.50s/it]
+
mmlu_ru:  18%|█████████████████████                                                                                               | 74/407 [15:56<1:13:35, 13.26s/it]
+
mmlu_ru:  18%|█████████████████████▍                                                                                              | 75/407 [16:11<1:15:25, 13.63s/it]
+
mmlu_ru:  19%|█████████████████████▋                                                                                              | 76/407 [16:24<1:14:08, 13.44s/it]
+
mmlu_ru:  19%|█████████████████████▉                                                                                              | 77/407 [16:38<1:15:30, 13.73s/it]
+
mmlu_ru:  19%|██████████████████████▏                                                                                             | 78/407 [16:49<1:11:26, 13.03s/it]
+
mmlu_ru:  19%|██████████████████████▌                                                                                             | 79/407 [17:05<1:14:47, 13.68s/it]
+
mmlu_ru:  20%|██████████████████████▊                                                                                             | 80/407 [17:18<1:14:21, 13.64s/it]
+
mmlu_ru:  20%|███████████████████████                                                                                             | 81/407 [17:31<1:13:32, 13.54s/it]
+
mmlu_ru:  20%|███████████████████████▎                                                                                            | 82/407 [17:45<1:14:06, 13.68s/it]
+
mmlu_ru:  20%|███████████████████████▋                                                                                            | 83/407 [17:58<1:12:25, 13.41s/it]
+
mmlu_ru:  21%|███████████████████████▉                                                                                            | 84/407 [18:09<1:08:26, 12.71s/it]
+
mmlu_ru:  21%|████████████████████████▏                                                                                           | 85/407 [18:22<1:08:22, 12.74s/it]
+
mmlu_ru:  21%|████████████████████████▌                                                                                           | 86/407 [18:35<1:08:18, 12.77s/it]
+
mmlu_ru:  21%|████████████████████████▊                                                                                           | 87/407 [18:49<1:10:10, 13.16s/it]
+
mmlu_ru:  22%|█████████████████████████                                                                                           | 88/407 [19:01<1:07:55, 12.78s/it]
+
mmlu_ru:  22%|█████████████████████████▎                                                                                          | 89/407 [19:14<1:07:54, 12.81s/it]
+
mmlu_ru:  22%|█████████████████████████▋                                                                                          | 90/407 [19:27<1:07:47, 12.83s/it]
+
mmlu_ru:  22%|█████████████████████████▉                                                                                          | 91/407 [19:40<1:08:42, 13.05s/it]
+
mmlu_ru:  23%|██████████████████████████▏                                                                                         | 92/407 [19:51<1:05:31, 12.48s/it]
+
mmlu_ru:  23%|██████████████████████████▌                                                                                         | 93/407 [20:05<1:07:31, 12.90s/it]
+
mmlu_ru:  23%|██████████████████████████▊                                                                                         | 94/407 [20:19<1:08:08, 13.06s/it]
+
mmlu_ru:  23%|███████████████████████████                                                                                         | 95/407 [20:31<1:06:04, 12.71s/it]
+
mmlu_ru:  24%|███████████████████████████▎                                                                                        | 96/407 [20:42<1:03:31, 12.25s/it]
+
mmlu_ru:  24%|███████████████████████████▋                                                                                        | 97/407 [20:55<1:04:57, 12.57s/it]
+
mmlu_ru:  24%|███████████████████████████▉                                                                                        | 98/407 [21:08<1:04:28, 12.52s/it]
+
mmlu_ru:  24%|████████████████████████████▏                                                                                       | 99/407 [21:20<1:03:40, 12.40s/it]
+
mmlu_ru:  25%|████████████████████████████▎                                                                                      | 100/407 [21:32<1:02:59, 12.31s/it]
+
mmlu_ru:  25%|████████████████████████████▌                                                                                      | 101/407 [21:46<1:05:58, 12.94s/it]
+
mmlu_ru:  25%|████████████████████████████▊                                                                                      | 102/407 [22:02<1:10:06, 13.79s/it]
+
mmlu_ru:  25%|█████████████████████████████                                                                                      | 103/407 [22:17<1:11:59, 14.21s/it]
+
mmlu_ru:  26%|█████████████████████████████▍                                                                                     | 104/407 [22:31<1:11:39, 14.19s/it]
+
mmlu_ru:  26%|█████████████████████████████▋                                                                                     | 105/407 [22:43<1:07:40, 13.45s/it]
+
mmlu_ru:  26%|█████████████████████████████▉                                                                                     | 106/407 [22:56<1:06:34, 13.27s/it]
+
mmlu_ru:  26%|██████████████████████████████▏                                                                                    | 107/407 [23:07<1:03:11, 12.64s/it]
+
mmlu_ru:  27%|██████████████████████████████▌                                                                                    | 108/407 [23:19<1:02:03, 12.45s/it]
+
mmlu_ru:  27%|██████████████████████████████▊                                                                                    | 109/407 [23:31<1:01:52, 12.46s/it]
+
mmlu_ru:  27%|███████████████████████████████                                                                                    | 110/407 [23:45<1:02:54, 12.71s/it]
+
mmlu_ru:  27%|███████████████████████████████▎                                                                                   | 111/407 [23:57<1:01:25, 12.45s/it]
+
mmlu_ru:  28%|███████████████████████████████▋                                                                                   | 112/407 [24:11<1:04:44, 13.17s/it]
+
mmlu_ru:  28%|███████████████████████████████▉                                                                                   | 113/407 [24:24<1:03:38, 12.99s/it]
+
mmlu_ru:  28%|████████████████████████████████▏                                                                                  | 114/407 [24:37<1:04:01, 13.11s/it]
+
mmlu_ru:  28%|████████████████████████████████▍                                                                                  | 115/407 [24:50<1:02:55, 12.93s/it]
+
mmlu_ru:  29%|████████████████████████████████▊                                                                                  | 116/407 [25:06<1:07:18, 13.88s/it]
+
mmlu_ru:  29%|█████████████████████████████████                                                                                  | 117/407 [25:18<1:04:10, 13.28s/it]
+
mmlu_ru:  29%|█████████████████████████████████▎                                                                                 | 118/407 [25:32<1:05:47, 13.66s/it]
+
mmlu_ru:  29%|█████████████████████████████████▌                                                                                 | 119/407 [25:47<1:07:00, 13.96s/it]
+
mmlu_ru:  29%|█████████████████████████████████▉                                                                                 | 120/407 [25:59<1:03:35, 13.29s/it]
+
mmlu_ru:  30%|██████████████████████████████████▏                                                                                | 121/407 [26:13<1:04:42, 13.57s/it]
+
mmlu_ru:  30%|██████████████████████████████████▍                                                                                | 122/407 [26:25<1:02:36, 13.18s/it]
+
mmlu_ru:  30%|██████████████████████████████████▊                                                                                | 123/407 [26:38<1:01:40, 13.03s/it]
+
mmlu_ru:  30%|███████████████████████████████████                                                                                | 124/407 [26:51<1:01:47, 13.10s/it]
+
mmlu_ru:  31%|███████████████████████████████████▉                                                                                 | 125/407 [27:03<59:45, 12.72s/it]
+
mmlu_ru:  31%|████████████████████████████████████▏                                                                                | 126/407 [27:14<57:29, 12.27s/it]
+
mmlu_ru:  31%|████████████████████████████████████▌                                                                                | 127/407 [27:28<58:49, 12.61s/it]
+
mmlu_ru:  31%|████████████████████████████████████▏                                                                              | 128/407 [27:41<1:00:13, 12.95s/it]
+
mmlu_ru:  32%|█████████████████████████████████████                                                                                | 129/407 [27:53<58:38, 12.66s/it]
+
mmlu_ru:  32%|████████████████████████████████████▋                                                                              | 130/407 [28:09<1:02:18, 13.49s/it]
+
mmlu_ru:  32%|█████████████████████████████████████▋                                                                               | 131/407 [28:20<58:51, 12.79s/it]
+
mmlu_ru:  32%|█████████████████████████████████████▉                                                                               | 132/407 [28:33<59:23, 12.96s/it]
+
mmlu_ru:  33%|██████████████████████████████████████▏                                                                              | 133/407 [28:45<57:14, 12.53s/it]
+
mmlu_ru:  33%|██████████████████████████████████████▌                                                                              | 134/407 [28:58<58:10, 12.79s/it]
+
mmlu_ru:  33%|██████████████████████████████████████▊                                                                              | 135/407 [29:11<57:54, 12.77s/it]
+
mmlu_ru:  33%|███████████████████████████████████████                                                                              | 136/407 [29:23<56:24, 12.49s/it]
+
mmlu_ru:  34%|███████████████████████████████████████▍                                                                             | 137/407 [29:35<56:20, 12.52s/it]
+
mmlu_ru:  34%|███████████████████████████████████████▋                                                                             | 138/407 [29:46<53:25, 11.92s/it]
+
mmlu_ru:  34%|███████████████████████████████████████▉                                                                             | 139/407 [29:58<52:50, 11.83s/it]
+
mmlu_ru:  34%|████████████████████████████████████████▏                                                                            | 140/407 [30:08<51:11, 11.50s/it]
+
mmlu_ru:  35%|████████████████████████████████████████▌                                                                            | 141/407 [30:21<52:17, 11.79s/it]
+
mmlu_ru:  35%|████████████████████████████████████████▊                                                                            | 142/407 [30:36<56:08, 12.71s/it]
+
mmlu_ru:  35%|█████████████████████████████████████████                                                                            | 143/407 [30:48<55:41, 12.66s/it]
+
mmlu_ru:  35%|█████████████████████████████████████████▍                                                                           | 144/407 [31:01<55:31, 12.67s/it]
+
mmlu_ru:  36%|█████████████████████████████████████████▋                                                                           | 145/407 [31:14<56:25, 12.92s/it]
+
mmlu_ru:  36%|█████████████████████████████████████████▉                                                                           | 146/407 [31:28<56:48, 13.06s/it]
+
mmlu_ru:  36%|██████████████████████████████████████████▎                                                                          | 147/407 [31:42<57:37, 13.30s/it]
+
mmlu_ru:  36%|██████████████████████████████████████████▌                                                                          | 148/407 [31:53<55:07, 12.77s/it]
+
mmlu_ru:  37%|██████████████████████████████████████████▊                                                                          | 149/407 [32:06<54:33, 12.69s/it]
+
mmlu_ru:  37%|███████████████████████████████████████████                                                                          | 150/407 [32:17<52:40, 12.30s/it]
+
mmlu_ru:  37%|███████████████████████████████████████████▍                                                                         | 151/407 [32:29<51:33, 12.08s/it]
+
mmlu_ru:  37%|███████████████████████████████████████████▋                                                                         | 152/407 [32:41<51:44, 12.17s/it]
+
mmlu_ru:  38%|███████████████████████████████████████████▉                                                                         | 153/407 [32:54<52:50, 12.48s/it]
+
mmlu_ru:  38%|████████████████████████████████████████████▎                                                                        | 154/407 [33:08<54:09, 12.85s/it]
+
mmlu_ru:  38%|████████████████████████████████████████████▌                                                                        | 155/407 [33:18<51:01, 12.15s/it]
+
mmlu_ru:  38%|████████████████████████████████████████████▊                                                                        | 156/407 [33:31<51:31, 12.32s/it]
+
mmlu_ru:  39%|█████████████████████████████████████████████▏                                                                       | 157/407 [33:45<52:36, 12.63s/it]
+
mmlu_ru:  39%|█████████████████████████████████████████████▍                                                                       | 158/407 [33:58<53:57, 13.00s/it]
+
mmlu_ru:  39%|█████████████████████████████████████████████▋                                                                       | 159/407 [34:12<54:54, 13.29s/it]
+
mmlu_ru:  39%|█████████████████████████████████████████████▉                                                                       | 160/407 [34:24<52:34, 12.77s/it]
+
mmlu_ru:  40%|██████████████████████████████████████████████▎                                                                      | 161/407 [34:36<51:53, 12.66s/it]
+
mmlu_ru:  40%|██████████████████████████████████████████████▌                                                                      | 162/407 [34:50<52:32, 12.87s/it]
+
mmlu_ru:  40%|██████████████████████████████████████████████▊                                                                      | 163/407 [35:02<52:08, 12.82s/it]
+
mmlu_ru:  40%|███████████████████████████████████████████████▏                                                                     | 164/407 [35:15<51:56, 12.82s/it]
+
mmlu_ru:  41%|███████████████████████████████████████████████▍                                                                     | 165/407 [35:30<53:52, 13.36s/it]
+
mmlu_ru:  41%|███████████████████████████████████████████████▋                                                                     | 166/407 [35:42<51:40, 12.87s/it]
+
mmlu_ru:  41%|████████████████████████████████████████████████                                                                     | 167/407 [35:54<51:22, 12.84s/it]
+
mmlu_ru:  41%|████████████████████████████████████████████████▎                                                                    | 168/407 [36:06<49:24, 12.40s/it]
+
mmlu_ru:  42%|████████████████████████████████████████████████▌                                                                    | 169/407 [36:18<48:44, 12.29s/it]
+
mmlu_ru:  42%|████████████████████████████████████████████████▊                                                                    | 170/407 [36:29<46:52, 11.87s/it]
+
mmlu_ru:  42%|█████████████████████████████████████████████████▏                                                                   | 171/407 [36:42<47:54, 12.18s/it]
+
mmlu_ru:  42%|█████████████████████████████████████████████████▍                                                                   | 172/407 [36:56<50:12, 12.82s/it]
+
mmlu_ru:  43%|█████████████████████████████████████████████████▋                                                                   | 173/407 [37:11<52:41, 13.51s/it]
+
mmlu_ru:  43%|██████████████████████████████████████████████████                                                                   | 174/407 [37:23<50:44, 13.07s/it]
+
mmlu_ru:  43%|██████████████████████████████████████████████████▎                                                                  | 175/407 [37:36<49:56, 12.92s/it]
+
mmlu_ru:  43%|██████████████████████████████████████████████████▌                                                                  | 176/407 [37:49<50:19, 13.07s/it]
+
mmlu_ru:  43%|██████████████████████████████████████████████████▉                                                                  | 177/407 [38:04<52:21, 13.66s/it]
+
mmlu_ru:  44%|███████████████████████████████████████████████████▏                                                                 | 178/407 [38:18<52:10, 13.67s/it]
+
mmlu_ru:  44%|███████████████████████████████████████████████████▍                                                                 | 179/407 [38:31<52:05, 13.71s/it]
+
mmlu_ru:  44%|███████████████████████████████████████████████████▋                                                                 | 180/407 [38:44<50:54, 13.46s/it]
+
mmlu_ru:  44%|████████████████████████████████████████████████████                                                                 | 181/407 [38:58<51:15, 13.61s/it]
+
mmlu_ru:  45%|████████████████████████████████████████████████████▎                                                                | 182/407 [39:11<50:26, 13.45s/it]
+
mmlu_ru:  45%|████████████████████████████████████████████████████▌                                                                | 183/407 [39:24<49:12, 13.18s/it]
+
mmlu_ru:  45%|████████████████████████████████████████████████████▉                                                                | 184/407 [39:36<48:14, 12.98s/it]
+
mmlu_ru:  45%|█████████████████████████████████████████████████████▏                                                               | 185/407 [39:51<49:14, 13.31s/it]
+
mmlu_ru:  46%|█████████████████████████████████████████████████████▍                                                               | 186/407 [40:04<48:53, 13.27s/it]
+
mmlu_ru:  46%|█████████████████████████████████████████████████████▊                                                               | 187/407 [40:16<47:37, 12.99s/it]
+
mmlu_ru:  46%|██████████████████████████████████████████████████████                                                               | 188/407 [40:29<47:40, 13.06s/it]
+
mmlu_ru:  46%|██████████████████████████████████████████████████████▎                                                              | 189/407 [40:43<48:38, 13.39s/it]
+
mmlu_ru:  47%|██████████████████████████████████████████████████████▌                                                              | 190/407 [40:57<48:55, 13.53s/it]
+
mmlu_ru:  47%|██████████████████████████████████████████████████████▉                                                              | 191/407 [41:10<47:32, 13.20s/it]
+
mmlu_ru:  47%|███████████████████████████████████████████████████████▏                                                             | 192/407 [41:20<44:22, 12.38s/it]
+
mmlu_ru:  47%|███████████████████████████████████████████████████████▍                                                             | 193/407 [41:32<43:23, 12.17s/it]
+
mmlu_ru:  48%|███████████████████████████████████████████████████████▊                                                             | 194/407 [41:46<45:05, 12.70s/it]
+
mmlu_ru:  48%|████████████████████████████████████████████████████████                                                             | 195/407 [41:57<43:42, 12.37s/it]
+
mmlu_ru:  48%|████████████████████████████████████████████████████████▎                                                            | 196/407 [42:08<41:27, 11.79s/it]
+
mmlu_ru:  48%|████████████████████████████████████████████████████████▋                                                            | 197/407 [42:20<42:07, 12.04s/it]
+
mmlu_ru:  49%|████████████████████████████████████████████████████████▉                                                            | 198/407 [42:32<41:11, 11.82s/it]
+
mmlu_ru:  49%|█████████████████████████████████████████████████████████▏                                                           | 199/407 [42:44<41:43, 12.04s/it]
+
mmlu_ru:  49%|█████████████████████████████████████████████████████████▍                                                           | 200/407 [42:57<42:17, 12.26s/it]
+
mmlu_ru:  49%|█████████████████████████████████████████████████████████▊                                                           | 201/407 [43:11<43:17, 12.61s/it]
+
mmlu_ru:  50%|██████████████████████████████████████████████████████████                                                           | 202/407 [43:23<43:11, 12.64s/it]
+
mmlu_ru:  50%|██████████████████████████████████████████████████████████▎                                                          | 203/407 [43:36<43:29, 12.79s/it]
+
mmlu_ru:  50%|██████████████████████████████████████████████████████████▋                                                          | 204/407 [43:49<43:27, 12.85s/it]
+
mmlu_ru:  50%|██████████████████████████████████████████████████████████▉                                                          | 205/407 [44:04<45:25, 13.49s/it]
+
mmlu_ru:  51%|███████████████████████████████████████████████████████████▏                                                         | 206/407 [44:17<44:26, 13.27s/it]
+
mmlu_ru:  51%|███████████████████████████████████████████████████████████▌                                                         | 207/407 [44:29<42:55, 12.88s/it]
+
mmlu_ru:  51%|███████████████████████████████████████████████████████████▊                                                         | 208/407 [44:43<43:24, 13.09s/it]
+
mmlu_ru:  51%|████████████████████████████████████████████████████████████                                                         | 209/407 [44:55<42:17, 12.81s/it]
+
mmlu_ru:  52%|████████████████████████████████████████████████████████████▎                                                        | 210/407 [45:11<45:01, 13.72s/it]
+
mmlu_ru:  52%|████████████████████████████████████████████████████████████▋                                                        | 211/407 [45:25<45:05, 13.80s/it]
+
mmlu_ru:  52%|████████████████████████████████████████████████████████████▉                                                        | 212/407 [45:37<43:38, 13.43s/it]
+
mmlu_ru:  52%|█████████████████████████████████████████████████████████████▏                                                       | 213/407 [45:51<43:35, 13.48s/it]
+
mmlu_ru:  53%|█████████████████████████████████████████████████████████████▌                                                       | 214/407 [46:02<41:33, 12.92s/it]
+
mmlu_ru:  53%|█████████████████████████████████████████████████████████████▊                                                       | 215/407 [46:14<40:03, 12.52s/it]
+
mmlu_ru:  53%|██████████████████████████████████████████████████████████████                                                       | 216/407 [46:26<39:46, 12.50s/it]
+
mmlu_ru:  53%|██████████████████████████████████████████████████████████████▍                                                      | 217/407 [46:38<39:05, 12.34s/it]
+
mmlu_ru:  54%|██████████████████████████████████████████████████████████████▋                                                      | 218/407 [46:49<37:25, 11.88s/it]
+
mmlu_ru:  54%|██████████████████████████████████████████████████████████████▉                                                      | 219/407 [47:01<37:13, 11.88s/it]
+
mmlu_ru:  54%|███████████████████████████████████████████████████████████████▏                                                     | 220/407 [47:14<37:59, 12.19s/it]
+
mmlu_ru:  54%|███████████████████████████████████████████████████████████████▌                                                     | 221/407 [47:25<37:01, 11.94s/it]
+
mmlu_ru:  55%|███████████████████████████████████████████████████████████████▊                                                     | 222/407 [47:39<38:14, 12.41s/it]
+
mmlu_ru:  55%|████████████████████████████████████████████████████████████████                                                     | 223/407 [47:51<37:52, 12.35s/it]
+
mmlu_ru:  55%|████████████████████████████████████████████████████████████████▍                                                    | 224/407 [48:06<40:19, 13.22s/it]
+
mmlu_ru:  55%|████████████████████████████████████████████████████████████████▋                                                    | 225/407 [48:20<40:24, 13.32s/it]
+
mmlu_ru:  56%|████████████████████████████████████████████████████████████████▉                                                    | 226/407 [48:30<37:34, 12.46s/it]
+
mmlu_ru:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 227/407 [48:44<38:34, 12.86s/it]
+
mmlu_ru:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 228/407 [48:57<38:24, 12.88s/it]
+
mmlu_ru:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 229/407 [49:10<38:23, 12.94s/it]
+
mmlu_ru:  57%|██████████████████████████████████████████████████████████████████                                                   | 230/407 [49:22<37:24, 12.68s/it]
+
mmlu_ru:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 231/407 [49:35<37:18, 12.72s/it]
+
mmlu_ru:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 232/407 [49:47<36:32, 12.53s/it]
+
mmlu_ru:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 233/407 [49:59<35:54, 12.38s/it]
+
mmlu_ru:  57%|███████████████████████████████████████████████████████████████████▎                                                 | 234/407 [50:14<37:41, 13.07s/it]
+
mmlu_ru:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 235/407 [50:27<37:20, 13.03s/it]
+
mmlu_ru:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 236/407 [50:39<36:24, 12.78s/it]
+
mmlu_ru:  58%|████████████████████████████████████████████████████████████████████▏                                                | 237/407 [50:53<37:12, 13.13s/it]
+
mmlu_ru:  58%|████████████████████████████████████████████████████████████████████▍                                                | 238/407 [51:07<37:51, 13.44s/it]
+
mmlu_ru:  59%|████████████████████████████████████████████████████████████████████▋                                                | 239/407 [51:21<38:01, 13.58s/it]
+
mmlu_ru:  59%|████████████████████████████████████████████████████████████████████▉                                                | 240/407 [51:33<36:28, 13.10s/it]
+
mmlu_ru:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 241/407 [51:48<37:47, 13.66s/it]
+
mmlu_ru:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 242/407 [52:03<38:18, 13.93s/it]
+
mmlu_ru:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 243/407 [52:17<38:38, 14.13s/it]
+
mmlu_ru:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 244/407 [52:31<38:16, 14.09s/it]
+
mmlu_ru:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 245/407 [52:44<36:57, 13.69s/it]
+
mmlu_ru:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 246/407 [52:54<34:08, 12.72s/it]
+
mmlu_ru:  61%|███████████████████████████████████████████████████████████████████████                                              | 247/407 [53:07<34:16, 12.85s/it]
+
mmlu_ru:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 248/407 [53:21<34:35, 13.05s/it]
+
mmlu_ru:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 249/407 [53:33<33:33, 12.74s/it]
+
mmlu_ru:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 250/407 [53:48<35:20, 13.50s/it]
+
mmlu_ru:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 251/407 [54:01<34:40, 13.34s/it]
+
mmlu_ru:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 252/407 [54:14<34:09, 13.22s/it]
+
mmlu_ru:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 253/407 [54:28<34:12, 13.33s/it]
+
mmlu_ru:  62%|█████████████████████████████████████████████████████████████████████████                                            | 254/407 [54:40<32:53, 12.90s/it]
+
mmlu_ru:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 255/407 [54:54<33:46, 13.34s/it]
+
mmlu_ru:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 256/407 [55:09<35:08, 13.97s/it]
+
mmlu_ru:  63%|█████████████████████████████████████████████████████████████████████████▉                                           | 257/407 [55:23<34:49, 13.93s/it]
+
mmlu_ru:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 258/407 [55:37<34:24, 13.86s/it]
+
mmlu_ru:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 259/407 [55:53<35:32, 14.41s/it]
+
mmlu_ru:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 260/407 [56:05<33:40, 13.74s/it]
+
mmlu_ru:  64%|███████████████████████████████████████████████████████████████████████████                                          | 261/407 [56:18<32:59, 13.56s/it]
+
mmlu_ru:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 262/407 [56:34<34:29, 14.28s/it]
+
mmlu_ru:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 263/407 [56:48<34:15, 14.28s/it]
+
mmlu_ru:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 264/407 [57:03<34:42, 14.56s/it]
+
mmlu_ru:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 265/407 [57:16<32:40, 13.81s/it]
+
mmlu_ru:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 266/407 [57:30<32:41, 13.91s/it]
+
mmlu_ru:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 267/407 [57:43<31:53, 13.67s/it]
+
mmlu_ru:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 268/407 [57:56<31:24, 13.56s/it]
+
mmlu_ru:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 269/407 [58:10<31:20, 13.63s/it]
+
mmlu_ru:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 270/407 [58:25<32:27, 14.22s/it]
+
mmlu_ru:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 271/407 [58:38<31:21, 13.84s/it]
+
mmlu_ru:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 272/407 [58:52<30:53, 13.73s/it]
+
mmlu_ru:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 273/407 [59:03<28:56, 12.96s/it]
+
mmlu_ru:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 274/407 [59:16<28:24, 12.82s/it]
+
mmlu_ru:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 275/407 [59:30<29:18, 13.32s/it]
+
mmlu_ru:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 276/407 [59:44<29:27, 13.49s/it]
+
mmlu_ru:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 277/407 [59:56<28:19, 13.07s/it]
+
mmlu_ru:  68%|██████████████████████████████████████████████████████████████████████████████▌                                    | 278/407 [1:00:12<29:44, 13.84s/it]
+
mmlu_ru:  69%|██████████████████████████████████████████████████████████████████████████████▊                                    | 279/407 [1:00:25<29:06, 13.65s/it]
+
mmlu_ru:  69%|███████████████████████████████████████████████████████████████████████████████                                    | 280/407 [1:00:38<28:19, 13.38s/it]
+
mmlu_ru:  69%|███████████████████████████████████████████████████████████████████████████████▍                                   | 281/407 [1:00:52<29:01, 13.82s/it]
+
mmlu_ru:  69%|███████████████████████████████████████████████████████████████████████████████▋                                   | 282/407 [1:01:04<27:31, 13.21s/it]
+
mmlu_ru:  70%|███████████████████████████████████████████████████████████████████████████████▉                                   | 283/407 [1:01:17<27:16, 13.20s/it]
+
mmlu_ru:  70%|████████████████████████████████████████████████████████████████████████████████▏                                  | 284/407 [1:01:31<27:12, 13.28s/it]
+
mmlu_ru:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 285/407 [1:01:43<26:10, 12.87s/it]
+
mmlu_ru:  70%|████████████████████████████████████████████████████████████████████████████████▊                                  | 286/407 [1:01:54<24:59, 12.39s/it]
+
mmlu_ru:  71%|█████████████████████████████████████████████████████████████████████████████████                                  | 287/407 [1:02:05<23:46, 11.89s/it]
+
mmlu_ru:  71%|█████████████████████████████████████████████████████████████████████████████████▍                                 | 288/407 [1:02:16<23:22, 11.78s/it]
+
mmlu_ru:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 289/407 [1:02:31<24:50, 12.63s/it]
+
mmlu_ru:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 290/407 [1:02:44<24:39, 12.65s/it]
+
mmlu_ru:  71%|██████████████████████████████████████████████████████████████████████████████████▏                                | 291/407 [1:02:56<24:29, 12.67s/it]
+
mmlu_ru:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 292/407 [1:03:08<23:55, 12.48s/it]
+
mmlu_ru:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 293/407 [1:03:23<24:58, 13.14s/it]
+
mmlu_ru:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 294/407 [1:03:36<24:47, 13.17s/it]
+
mmlu_ru:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 295/407 [1:03:50<24:52, 13.32s/it]
+
mmlu_ru:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 296/407 [1:04:03<24:24, 13.19s/it]
+
mmlu_ru:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 297/407 [1:04:17<24:51, 13.56s/it]
+
mmlu_ru:  73%|████████████████████████████████████████████████████████████████████████████████████▏                              | 298/407 [1:04:32<25:13, 13.88s/it]
+
mmlu_ru:  73%|████████████████████████████████████████████████████████████████████████████████████▍                              | 299/407 [1:04:43<23:33, 13.09s/it]
+
mmlu_ru:  74%|████████████████████████████████████████████████████████████████████████████████████▊                              | 300/407 [1:04:57<23:42, 13.30s/it]
+
mmlu_ru:  74%|█████████████████████████████████████████████████████████████████████████████████████                              | 301/407 [1:05:09<22:41, 12.85s/it]
+
mmlu_ru:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 302/407 [1:05:22<22:33, 12.89s/it]
+
mmlu_ru:  74%|█████████████████████████████████████████████████████████████████████████████████████▌                             | 303/407 [1:05:35<22:42, 13.10s/it]
+
mmlu_ru:  75%|█████████████████████████████████████████████████████████████████████████████████████▉                             | 304/407 [1:05:50<23:11, 13.51s/it]
+
mmlu_ru:  75%|██████████████████████████████████████████████████████████████████████████████████████▏                            | 305/407 [1:06:02<22:33, 13.27s/it]
+
mmlu_ru:  75%|██████████████████████████████████████████████████████████████████████████████████████▍                            | 306/407 [1:06:15<21:48, 12.96s/it]
+
mmlu_ru:  75%|██████████████████████████████████████████████████████████████████████████████████████▋                            | 307/407 [1:06:27<21:15, 12.76s/it]
+
mmlu_ru:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 308/407 [1:06:40<20:58, 12.71s/it]
+
mmlu_ru:  76%|███████████████████████████████████████████████████████████████████████████████████████▎                           | 309/407 [1:06:51<20:10, 12.35s/it]
+
mmlu_ru:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 310/407 [1:07:06<21:10, 13.10s/it]
+
mmlu_ru:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 311/407 [1:07:20<21:09, 13.23s/it]
+
mmlu_ru:  77%|████████████████████████████████████████████████████████████████████████████████████████▏                          | 312/407 [1:07:33<20:59, 13.26s/it]
+
mmlu_ru:  77%|████████████████████████████████████████████████████████████████████████████████████████▍                          | 313/407 [1:07:46<20:41, 13.21s/it]
+
mmlu_ru:  77%|████████████████████████████████████████████████████████████████████████████████████████▋                          | 314/407 [1:08:01<21:18, 13.74s/it]
+
mmlu_ru:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 315/407 [1:08:13<20:09, 13.15s/it]
+
mmlu_ru:  78%|█████████████████████████████████████████████████████████████████████████████████████████▎                         | 316/407 [1:08:25<19:33, 12.90s/it]
+
mmlu_ru:  78%|█████████████████████████████████████████████████████████████████████████████████████████▌                         | 317/407 [1:08:38<19:36, 13.07s/it]
+
mmlu_ru:  78%|█████████████████████████████████████████████████████████████████████████████████████████▊                         | 318/407 [1:08:51<19:22, 13.06s/it]
+
mmlu_ru:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 319/407 [1:09:04<18:54, 12.89s/it]
+
mmlu_ru:  79%|██████████████████████████████████████████████████████████████████████████████████████████▍                        | 320/407 [1:09:16<18:29, 12.75s/it]
+
mmlu_ru:  79%|██████████████████████████████████████████████████████████████████████████████████████████▋                        | 321/407 [1:09:31<18:55, 13.20s/it]
+
mmlu_ru:  79%|██████████████████████████████████████████████████████████████████████████████████████████▉                        | 322/407 [1:09:43<18:24, 12.99s/it]
+
mmlu_ru:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 323/407 [1:09:57<18:28, 13.20s/it]
+
mmlu_ru:  80%|███████████████████████████████████████████████████████████████████████████████████████████▌                       | 324/407 [1:10:09<17:37, 12.75s/it]
+
mmlu_ru:  80%|███████████████████████████████████████████████████████████████████████████████████████████▊                       | 325/407 [1:10:20<16:46, 12.28s/it]
+
mmlu_ru:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 326/407 [1:10:33<16:56, 12.55s/it]
+
mmlu_ru:  80%|████████████████████████████████████████████████████████████████████████████████████████████▍                      | 327/407 [1:10:45<16:44, 12.56s/it]
+
mmlu_ru:  81%|████████████████████████████████████████████████████████████████████████████████████████████▋                      | 328/407 [1:10:58<16:19, 12.40s/it]
+
mmlu_ru:  81%|████████████████████████████████████████████████████████████████████████████████████████████▉                      | 329/407 [1:11:12<16:58, 13.05s/it]
+
mmlu_ru:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▏                     | 330/407 [1:11:26<16:55, 13.19s/it]
+
mmlu_ru:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▌                     | 331/407 [1:11:39<16:35, 13.10s/it]
+
mmlu_ru:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▊                     | 332/407 [1:11:49<15:22, 12.31s/it]
+
mmlu_ru:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 333/407 [1:12:01<15:03, 12.21s/it]
+
mmlu_ru:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 334/407 [1:12:16<15:42, 12.92s/it]
+
mmlu_ru:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▋                    | 335/407 [1:12:28<15:30, 12.93s/it]
+
mmlu_ru:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 336/407 [1:12:43<15:48, 13.35s/it]
+
mmlu_ru:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▏                   | 337/407 [1:12:54<14:53, 12.77s/it]
+
mmlu_ru:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▌                   | 338/407 [1:13:08<15:05, 13.13s/it]
+
mmlu_ru:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▊                   | 339/407 [1:13:25<16:02, 14.15s/it]
+
mmlu_ru:  84%|████████████████████████████████████████████████████████████████████████████████████████████████                   | 340/407 [1:13:38<15:32, 13.91s/it]
+
mmlu_ru:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 341/407 [1:13:51<15:05, 13.72s/it]
+
mmlu_ru:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 342/407 [1:14:08<15:45, 14.54s/it]
+
mmlu_ru:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 343/407 [1:14:22<15:19, 14.37s/it]
+
mmlu_ru:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 344/407 [1:14:36<15:04, 14.35s/it]
+
mmlu_ru:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 345/407 [1:14:49<14:28, 14.00s/it]
+
mmlu_ru:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 346/407 [1:15:03<14:01, 13.80s/it]
+
mmlu_ru:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████                 | 347/407 [1:15:16<13:37, 13.62s/it]
+
mmlu_ru:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                | 348/407 [1:15:30<13:25, 13.65s/it]
+
mmlu_ru:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                | 349/407 [1:15:45<13:40, 14.15s/it]
+
mmlu_ru:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                | 350/407 [1:15:57<12:49, 13.49s/it]
+
mmlu_ru:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏               | 351/407 [1:16:10<12:23, 13.27s/it]
+
mmlu_ru:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 352/407 [1:16:24<12:31, 13.66s/it]
+
mmlu_ru:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 353/407 [1:16:35<11:36, 12.90s/it]
+
mmlu_ru:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████               | 354/407 [1:16:48<11:27, 12.97s/it]
+
mmlu_ru:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 355/407 [1:17:00<10:49, 12.49s/it]
+
mmlu_ru:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 356/407 [1:17:11<10:17, 12.10s/it]
+
mmlu_ru:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 357/407 [1:17:26<10:42, 12.86s/it]
+
mmlu_ru:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 358/407 [1:17:38<10:18, 12.63s/it]
+
mmlu_ru:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 359/407 [1:17:49<09:43, 12.15s/it]
+
mmlu_ru:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 360/407 [1:18:00<09:11, 11.74s/it]
+
mmlu_ru:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 361/407 [1:18:13<09:30, 12.40s/it]
+
mmlu_ru:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 362/407 [1:18:29<10:02, 13.39s/it]
+
mmlu_ru:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 363/407 [1:18:39<09:02, 12.33s/it]
+
mmlu_ru:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 364/407 [1:18:52<09:03, 12.64s/it]
+
mmlu_ru:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 365/407 [1:19:05<08:53, 12.71s/it]
+
mmlu_ru:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 366/407 [1:19:18<08:46, 12.83s/it]
+
mmlu_ru:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 367/407 [1:19:33<08:50, 13.25s/it]
+
mmlu_ru:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 368/407 [1:19:44<08:20, 12.84s/it]
+
mmlu_ru:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 369/407 [1:19:58<08:21, 13.19s/it]
+
mmlu_ru:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 370/407 [1:20:13<08:23, 13.61s/it]
+
mmlu_ru:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 371/407 [1:20:28<08:22, 13.95s/it]
+
mmlu_ru:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████          | 372/407 [1:20:40<07:47, 13.35s/it]
+
mmlu_ru:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 373/407 [1:20:53<07:28, 13.18s/it]
+
mmlu_ru:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 374/407 [1:21:05<07:03, 12.84s/it]
+
mmlu_ru:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 375/407 [1:21:16<06:36, 12.38s/it]
+
mmlu_ru:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 376/407 [1:21:29<06:29, 12.56s/it]
+
mmlu_ru:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 377/407 [1:21:43<06:31, 13.04s/it]
+
mmlu_ru:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 378/407 [1:21:59<06:40, 13.80s/it]
+
mmlu_ru:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 379/407 [1:22:10<06:09, 13.18s/it]
+
mmlu_ru:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 380/407 [1:22:23<05:52, 13.04s/it]
+
mmlu_ru:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 381/407 [1:22:35<05:32, 12.81s/it]
+
mmlu_ru:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 382/407 [1:22:48<05:17, 12.70s/it]
+
mmlu_ru:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 383/407 [1:23:00<05:04, 12.67s/it]
+
mmlu_ru:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 384/407 [1:23:13<04:53, 12.77s/it]
+
mmlu_ru:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 385/407 [1:23:27<04:47, 13.07s/it]
+
mmlu_ru:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 386/407 [1:23:39<04:25, 12.64s/it]
+
mmlu_ru:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 387/407 [1:23:51<04:10, 12.55s/it]
+
mmlu_ru:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 388/407 [1:24:02<03:48, 12.02s/it]
+
mmlu_ru:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 389/407 [1:24:14<03:36, 12.02s/it]
+
mmlu_ru:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 390/407 [1:24:28<03:33, 12.58s/it]
+
mmlu_ru:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 391/407 [1:24:41<03:22, 12.66s/it]
+
mmlu_ru:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 392/407 [1:24:54<03:13, 12.89s/it]
+
mmlu_ru:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 393/407 [1:25:09<03:07, 13.42s/it]
+
mmlu_ru:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 394/407 [1:25:23<02:55, 13.53s/it]
+
mmlu_ru:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 395/407 [1:25:36<02:43, 13.59s/it]
+
mmlu_ru:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 396/407 [1:25:50<02:29, 13.62s/it]
+
mmlu_ru:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 397/407 [1:26:03<02:13, 13.36s/it]
+
mmlu_ru:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 398/407 [1:26:15<01:56, 12.92s/it]
+
mmlu_ru:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 399/407 [1:26:30<01:49, 13.68s/it]
+
mmlu_ru:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 400/407 [1:26:43<01:34, 13.54s/it]
+
mmlu_ru:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 401/407 [1:26:56<01:20, 13.40s/it]
+
mmlu_ru:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 402/407 [1:27:10<01:06, 13.33s/it]
+
mmlu_ru:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 403/407 [1:27:22<00:52, 13.01s/it]
+
mmlu_ru:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 404/407 [1:27:38<00:42, 14.09s/it]
+
mmlu_ru: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 405/407 [1:27:50<00:26, 13.38s/it]
+
mmlu_ru: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 406/407 [1:28:03<00:13, 13.18s/it]
+
mmlu_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:28:10<00:00, 11.27s/it]
mmlu_ru: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 407/407 [1:28:10<00:00, 13.00s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ru_acc 0.3201353117552087
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_ru_acc_norm 0.31129391865918354
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 20:31:56,786 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 20:31:56,786 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:56,914 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 20:31:56,914 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:57,042 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 20:31:57,043 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:57,171 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 20:31:57,172 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 20:31:57,172 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 20:31:57,301 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 20:31:57,301 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ru_acc'}
+2024-05-31 20:31:57,367 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 20:31:57,367 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_id': 14266, 'metric_id': 1247, 'value': 0.3201353117552087}
+2024-05-31 20:31:57,432 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 20:31:58,093 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 20:31:58,093 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:58,223 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 20:31:58,223 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:58,354 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 20:31:58,354 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:58,484 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 20:31:58,484 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 20:31:58,485 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 20:31:58,616 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 20:31:58,616 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_ru_acc_norm'}
+2024-05-31 20:31:58,683 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 20:31:58,683 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1248, 'value': 0.31129391865918354}
+2024-05-31 20:31:58,748 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  69%|██████████████████████████████████████████████████████████████████████████                                  | 85/124 [61:44:28<49:32:06, 4572.47s/it]['mmlu_sk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 20:31:59,401 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 20:31:59,401 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:59,529 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 20:31:59,529 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:59,657 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 20:31:59,657 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 20:31:59,784 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 20:31:59,785 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 20:31:59,785 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'mmlu_sk'}
+2024-05-31 20:31:59,914 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_sk task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1767 examples [00:00, 14811.27 examples/s]
+
Generating test split: 5062 examples [00:00, 24691.24 examples/s]
+
Generating test split: 8540 examples [00:00, 29104.88 examples/s]
+
Generating test split: 12000 examples [00:00, 30794.74 examples/s]
Generating test split: 13062 examples [00:00, 28358.01 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 276 examples [00:00, 26339.66 examples/s]
+Running loglikelihood requests
+
+
mmlu_sk:   0%|                                                                                                                               | 0/409 [00:00<?, ?it/s]
+
mmlu_sk:   0%|▎                                                                                                                      | 1/409 [00:08<55:32,  8.17s/it]
+
mmlu_sk:   0%|▌                                                                                                                      | 2/409 [00:16<55:55,  8.24s/it]
+
mmlu_sk:   1%|▊                                                                                                                      | 3/409 [00:25<57:59,  8.57s/it]
+
mmlu_sk:   1%|█▏                                                                                                                     | 4/409 [00:33<57:34,  8.53s/it]
+
mmlu_sk:   1%|█▍                                                                                                                     | 5/409 [00:41<56:08,  8.34s/it]
+
mmlu_sk:   1%|█▋                                                                                                                     | 6/409 [00:51<59:49,  8.91s/it]
+
mmlu_sk:   2%|██                                                                                                                     | 7/409 [01:00<58:24,  8.72s/it]
+
mmlu_sk:   2%|██▎                                                                                                                    | 8/409 [01:08<57:51,  8.66s/it]
+
mmlu_sk:   2%|██▌                                                                                                                    | 9/409 [01:17<56:57,  8.54s/it]
+
mmlu_sk:   2%|██▊                                                                                                                 | 10/409 [01:27<1:00:25,  9.09s/it]
+
mmlu_sk:   3%|███▏                                                                                                                  | 11/409 [01:35<59:11,  8.92s/it]
+
mmlu_sk:   3%|███▍                                                                                                                  | 12/409 [01:45<59:44,  9.03s/it]
+
mmlu_sk:   3%|███▊                                                                                                                  | 13/409 [01:53<57:15,  8.68s/it]
+
mmlu_sk:   3%|████                                                                                                                  | 14/409 [02:01<56:01,  8.51s/it]
+
mmlu_sk:   4%|████▎                                                                                                                 | 15/409 [02:09<56:03,  8.54s/it]
+
mmlu_sk:   4%|████▌                                                                                                                 | 16/409 [02:18<56:07,  8.57s/it]
+
mmlu_sk:   4%|████▉                                                                                                                 | 17/409 [02:27<57:38,  8.82s/it]
+
mmlu_sk:   4%|█████▏                                                                                                                | 18/409 [02:36<57:28,  8.82s/it]
+
mmlu_sk:   5%|█████▍                                                                                                                | 19/409 [02:45<56:42,  8.72s/it]
+
mmlu_sk:   5%|█████▊                                                                                                                | 20/409 [02:55<59:24,  9.16s/it]
+
mmlu_sk:   5%|██████                                                                                                                | 21/409 [03:03<57:04,  8.83s/it]
+
mmlu_sk:   5%|██████▎                                                                                                               | 22/409 [03:12<57:07,  8.86s/it]
+
mmlu_sk:   6%|██████▋                                                                                                               | 23/409 [03:22<59:37,  9.27s/it]
+
mmlu_sk:   6%|██████▉                                                                                                               | 24/409 [03:31<58:44,  9.15s/it]
+
mmlu_sk:   6%|███████▏                                                                                                              | 25/409 [03:40<58:39,  9.16s/it]
+
mmlu_sk:   6%|███████▎                                                                                                            | 26/409 [03:50<1:00:10,  9.43s/it]
+
mmlu_sk:   7%|███████▊                                                                                                              | 27/409 [03:59<59:08,  9.29s/it]
+
mmlu_sk:   7%|████████                                                                                                              | 28/409 [04:08<58:13,  9.17s/it]
+
mmlu_sk:   7%|████████▎                                                                                                             | 29/409 [04:16<56:11,  8.87s/it]
+
mmlu_sk:   7%|████████▋                                                                                                             | 30/409 [04:26<57:18,  9.07s/it]
+
mmlu_sk:   8%|████████▉                                                                                                             | 31/409 [04:35<56:48,  9.02s/it]
+
mmlu_sk:   8%|█████████▏                                                                                                            | 32/409 [04:43<55:40,  8.86s/it]
+
mmlu_sk:   8%|█████████▌                                                                                                            | 33/409 [04:53<56:38,  9.04s/it]
+
mmlu_sk:   8%|█████████▊                                                                                                            | 34/409 [05:01<55:31,  8.89s/it]
+
mmlu_sk:   9%|██████████                                                                                                            | 35/409 [05:09<53:44,  8.62s/it]
+
mmlu_sk:   9%|██████████▍                                                                                                           | 36/409 [05:16<51:19,  8.26s/it]
+
mmlu_sk:   9%|██████████▋                                                                                                           | 37/409 [05:26<52:48,  8.52s/it]
+
mmlu_sk:   9%|██████████▉                                                                                                           | 38/409 [05:34<52:22,  8.47s/it]
+
mmlu_sk:  10%|███████████▎                                                                                                          | 39/409 [05:43<53:18,  8.64s/it]
+
mmlu_sk:  10%|███████████▌                                                                                                          | 40/409 [05:52<53:02,  8.62s/it]
+
mmlu_sk:  10%|███████████▊                                                                                                          | 41/409 [06:00<52:40,  8.59s/it]
+
mmlu_sk:  10%|████████████                                                                                                          | 42/409 [06:10<54:01,  8.83s/it]
+
mmlu_sk:  11%|████████████▍                                                                                                         | 43/409 [06:19<54:13,  8.89s/it]
+
mmlu_sk:  11%|████████████▋                                                                                                         | 44/409 [06:27<53:25,  8.78s/it]
+
mmlu_sk:  11%|████████████▉                                                                                                         | 45/409 [06:35<52:34,  8.67s/it]
+
mmlu_sk:  11%|█████████████▎                                                                                                        | 46/409 [06:44<52:54,  8.74s/it]
+
mmlu_sk:  11%|█████████████▌                                                                                                        | 47/409 [06:53<53:20,  8.84s/it]
+
mmlu_sk:  12%|█████████████▊                                                                                                        | 48/409 [07:03<54:19,  9.03s/it]
+
mmlu_sk:  12%|██████████████▏                                                                                                       | 49/409 [07:11<52:53,  8.81s/it]
+
mmlu_sk:  12%|██████████████▍                                                                                                       | 50/409 [07:19<51:27,  8.60s/it]
+
mmlu_sk:  12%|██████████████▋                                                                                                       | 51/409 [07:27<49:09,  8.24s/it]
+
mmlu_sk:  13%|███████████████                                                                                                       | 52/409 [07:35<48:59,  8.23s/it]
+
mmlu_sk:  13%|███████████████▎                                                                                                      | 53/409 [07:44<50:53,  8.58s/it]
+
mmlu_sk:  13%|███████████████▌                                                                                                      | 54/409 [07:53<50:25,  8.52s/it]
+
mmlu_sk:  13%|███████████████▊                                                                                                      | 55/409 [08:02<51:43,  8.77s/it]
+
mmlu_sk:  14%|████████████████▏                                                                                                     | 56/409 [08:11<51:35,  8.77s/it]
+
mmlu_sk:  14%|████████████████▍                                                                                                     | 57/409 [08:20<52:06,  8.88s/it]
+
mmlu_sk:  14%|████████████████▋                                                                                                     | 58/409 [08:29<51:23,  8.78s/it]
+
mmlu_sk:  14%|█████████████████                                                                                                     | 59/409 [08:37<50:33,  8.67s/it]
+
mmlu_sk:  15%|█████████████████▎                                                                                                    | 60/409 [08:45<49:44,  8.55s/it]
+
mmlu_sk:  15%|█████████████████▌                                                                                                    | 61/409 [08:54<50:46,  8.76s/it]
+
mmlu_sk:  15%|█████████████████▉                                                                                                    | 62/409 [09:03<51:03,  8.83s/it]
+
mmlu_sk:  15%|██████████████████▏                                                                                                   | 63/409 [09:12<50:30,  8.76s/it]
+
mmlu_sk:  16%|██████████████████▍                                                                                                   | 64/409 [09:21<50:25,  8.77s/it]
+
mmlu_sk:  16%|██████████████████▊                                                                                                   | 65/409 [09:29<48:44,  8.50s/it]
+
mmlu_sk:  16%|███████████████████                                                                                                   | 66/409 [09:38<49:50,  8.72s/it]
+
mmlu_sk:  16%|███████████████████▎                                                                                                  | 67/409 [09:47<49:37,  8.71s/it]
+
mmlu_sk:  17%|███████████████████▌                                                                                                  | 68/409 [09:55<48:38,  8.56s/it]
+
mmlu_sk:  17%|███████████████████▉                                                                                                  | 69/409 [10:03<47:08,  8.32s/it]
+
mmlu_sk:  17%|████████████████████▏                                                                                                 | 70/409 [10:11<46:25,  8.22s/it]
+
mmlu_sk:  17%|████████████████████▍                                                                                                 | 71/409 [10:19<46:11,  8.20s/it]
+
mmlu_sk:  18%|████████████████████▊                                                                                                 | 72/409 [10:27<46:56,  8.36s/it]
+
mmlu_sk:  18%|█████████████████████                                                                                                 | 73/409 [10:36<47:56,  8.56s/it]
+
mmlu_sk:  18%|█████████████████████▎                                                                                                | 74/409 [10:46<50:08,  8.98s/it]
+
mmlu_sk:  18%|█████████████████████▋                                                                                                | 75/409 [10:54<48:24,  8.70s/it]
+
mmlu_sk:  19%|█████████████████████▉                                                                                                | 76/409 [11:03<48:32,  8.75s/it]
+
mmlu_sk:  19%|██████████████████████▏                                                                                               | 77/409 [11:12<47:43,  8.63s/it]
+
mmlu_sk:  19%|██████████████████████▌                                                                                               | 78/409 [11:20<46:33,  8.44s/it]
+
mmlu_sk:  19%|██████████████████████▊                                                                                               | 79/409 [11:29<47:12,  8.58s/it]
+
mmlu_sk:  20%|███████████████████████                                                                                               | 80/409 [11:38<47:45,  8.71s/it]
+
mmlu_sk:  20%|███████████████████████▎                                                                                              | 81/409 [11:46<46:48,  8.56s/it]
+
mmlu_sk:  20%|███████████████████████▋                                                                                              | 82/409 [11:55<48:16,  8.86s/it]
+
mmlu_sk:  20%|███████████████████████▉                                                                                              | 83/409 [12:04<47:45,  8.79s/it]
+
mmlu_sk:  21%|████████████████████████▏                                                                                             | 84/409 [12:12<47:04,  8.69s/it]
+
mmlu_sk:  21%|████████████████████████▌                                                                                             | 85/409 [12:20<45:31,  8.43s/it]
+
mmlu_sk:  21%|████████████████████████▊                                                                                             | 86/409 [12:29<45:20,  8.42s/it]
+
mmlu_sk:  21%|█████████████████████████                                                                                             | 87/409 [12:36<43:51,  8.17s/it]
+
mmlu_sk:  22%|█████████████████████████▍                                                                                            | 88/409 [12:44<42:43,  7.99s/it]
+
mmlu_sk:  22%|█████████████████████████▋                                                                                            | 89/409 [12:52<42:52,  8.04s/it]
+
mmlu_sk:  22%|█████████████████████████▉                                                                                            | 90/409 [13:01<44:13,  8.32s/it]
+
mmlu_sk:  22%|██████████████████████████▎                                                                                           | 91/409 [13:09<43:47,  8.26s/it]
+
mmlu_sk:  22%|██████████████████████████▌                                                                                           | 92/409 [13:18<43:58,  8.32s/it]
+
mmlu_sk:  23%|██████████████████████████▊                                                                                           | 93/409 [13:26<43:31,  8.26s/it]
+
mmlu_sk:  23%|███████████████████████████                                                                                           | 94/409 [13:34<43:35,  8.30s/it]
+
mmlu_sk:  23%|███████████████████████████▍                                                                                          | 95/409 [13:42<43:33,  8.32s/it]
+
mmlu_sk:  23%|███████████████████████████▋                                                                                          | 96/409 [13:51<43:46,  8.39s/it]
+
mmlu_sk:  24%|███████████████████████████▉                                                                                          | 97/409 [13:58<41:57,  8.07s/it]
+
mmlu_sk:  24%|████████████████████████████▎                                                                                         | 98/409 [14:07<42:32,  8.21s/it]
+
mmlu_sk:  24%|████████████████████████████▌                                                                                         | 99/409 [14:16<44:08,  8.54s/it]
+
mmlu_sk:  24%|████████████████████████████▌                                                                                        | 100/409 [14:25<44:22,  8.62s/it]
+
mmlu_sk:  25%|████████████████████████████▉                                                                                        | 101/409 [14:34<45:30,  8.87s/it]
+
mmlu_sk:  25%|█████████████████████████████▏                                                                                       | 102/409 [14:43<44:54,  8.78s/it]
+
mmlu_sk:  25%|█████████████████████████████▍                                                                                       | 103/409 [14:52<44:49,  8.79s/it]
+
mmlu_sk:  25%|█████████████████████████████▊                                                                                       | 104/409 [15:00<43:01,  8.46s/it]
+
mmlu_sk:  26%|██████████████████████████████                                                                                       | 105/409 [15:09<45:04,  8.90s/it]
+
mmlu_sk:  26%|██████████████████████████████▎                                                                                      | 106/409 [15:19<45:44,  9.06s/it]
+
mmlu_sk:  26%|██████████████████████████████▌                                                                                      | 107/409 [15:28<46:05,  9.16s/it]
+
mmlu_sk:  26%|██████████████████████████████▉                                                                                      | 108/409 [15:38<46:23,  9.25s/it]
+
mmlu_sk:  27%|███████████████████████████████▏                                                                                     | 109/409 [15:46<44:45,  8.95s/it]
+
mmlu_sk:  27%|███████████████████████████████▍                                                                                     | 110/409 [15:55<45:10,  9.07s/it]
+
mmlu_sk:  27%|███████████████████████████████▊                                                                                     | 111/409 [16:04<44:04,  8.87s/it]
+
mmlu_sk:  27%|████████████████████████████████                                                                                     | 112/409 [16:13<44:03,  8.90s/it]
+
mmlu_sk:  28%|████████████████████████████████▎                                                                                    | 113/409 [16:22<43:58,  8.91s/it]
+
mmlu_sk:  28%|████████████████████████████████▌                                                                                    | 114/409 [16:29<42:17,  8.60s/it]
+
mmlu_sk:  28%|████████████████████████████████▉                                                                                    | 115/409 [16:40<44:24,  9.06s/it]
+
mmlu_sk:  28%|█████████████████████████████████▏                                                                                   | 116/409 [16:49<44:38,  9.14s/it]
+
mmlu_sk:  29%|█████████████████████████████████▍                                                                                   | 117/409 [16:57<42:55,  8.82s/it]
+
mmlu_sk:  29%|█████████████████████████████████▊                                                                                   | 118/409 [17:08<45:11,  9.32s/it]
+
mmlu_sk:  29%|██████████████████████████████████                                                                                   | 119/409 [17:16<44:14,  9.15s/it]
+
mmlu_sk:  29%|██████████████████████████████████▎                                                                                  | 120/409 [17:25<43:45,  9.08s/it]
+
mmlu_sk:  30%|██████████████████████████████████▌                                                                                  | 121/409 [17:35<45:00,  9.38s/it]
+
mmlu_sk:  30%|██████████████████████████████████▉                                                                                  | 122/409 [17:45<44:43,  9.35s/it]
+
mmlu_sk:  30%|███████████████████████████████████▏                                                                                 | 123/409 [17:54<44:49,  9.40s/it]
+
mmlu_sk:  30%|███████████████████████████████████▍                                                                                 | 124/409 [18:02<42:15,  8.90s/it]
+
mmlu_sk:  31%|███████████████████████████████████▊                                                                                 | 125/409 [18:11<42:38,  9.01s/it]
+
mmlu_sk:  31%|████████████████████████████████████                                                                                 | 126/409 [18:20<42:29,  9.01s/it]
+
mmlu_sk:  31%|████████████████████████████████████▎                                                                                | 127/409 [18:29<42:47,  9.10s/it]
+
mmlu_sk:  31%|████████████████████████████████████▌                                                                                | 128/409 [18:38<41:57,  8.96s/it]
+
mmlu_sk:  32%|████████████████████████████████████▉                                                                                | 129/409 [18:48<43:03,  9.23s/it]
+
mmlu_sk:  32%|█████████████████████████████████████▏                                                                               | 130/409 [18:56<42:04,  9.05s/it]
+
mmlu_sk:  32%|█████████████████████████████████████▍                                                                               | 131/409 [19:06<42:38,  9.20s/it]
+
mmlu_sk:  32%|█████████████████████████████████████▊                                                                               | 132/409 [19:15<42:41,  9.25s/it]
+
mmlu_sk:  33%|██████████████████████████████████████                                                                               | 133/409 [19:24<41:41,  9.06s/it]
+
mmlu_sk:  33%|██████████████████████████████████████▎                                                                              | 134/409 [19:34<42:11,  9.21s/it]
+
mmlu_sk:  33%|██████████████████████████████████████▌                                                                              | 135/409 [19:41<40:15,  8.82s/it]
+
mmlu_sk:  33%|██████████████████████████████████████▉                                                                              | 136/409 [19:51<40:37,  8.93s/it]
+
mmlu_sk:  33%|███████████████████████████████████████▏                                                                             | 137/409 [20:00<41:11,  9.09s/it]
+
mmlu_sk:  34%|███████████████████████████████████████▍                                                                             | 138/409 [20:08<39:39,  8.78s/it]
+
mmlu_sk:  34%|███████████████████████████████████████▊                                                                             | 139/409 [20:17<39:49,  8.85s/it]
+
mmlu_sk:  34%|████████████████████████████████████████                                                                             | 140/409 [20:26<39:43,  8.86s/it]
+
mmlu_sk:  34%|████████████████████████████████████████▎                                                                            | 141/409 [20:36<41:00,  9.18s/it]
+
mmlu_sk:  35%|████████████████████████████████████████▌                                                                            | 142/409 [20:46<41:44,  9.38s/it]
+
mmlu_sk:  35%|████████████████████████████████████████▉                                                                            | 143/409 [20:55<41:49,  9.43s/it]
+
mmlu_sk:  35%|█████████████████████████████████████████▏                                                                           | 144/409 [21:04<40:15,  9.12s/it]
+
mmlu_sk:  35%|█████████████████████████████████████████▍                                                                           | 145/409 [21:11<38:11,  8.68s/it]
+
mmlu_sk:  36%|█████████████████████████████████████████▊                                                                           | 146/409 [21:20<37:47,  8.62s/it]
+
mmlu_sk:  36%|██████████████████████████████████████████                                                                           | 147/409 [21:28<37:27,  8.58s/it]
+
mmlu_sk:  36%|██████████████████████████████████████████▎                                                                          | 148/409 [21:38<38:49,  8.93s/it]
+
mmlu_sk:  36%|██████████████████████████████████████████▌                                                                          | 149/409 [21:46<36:50,  8.50s/it]
+
mmlu_sk:  37%|██████████████████████████████████████████▉                                                                          | 150/409 [21:54<36:23,  8.43s/it]
+
mmlu_sk:  37%|███████████████████████████████████████████▏                                                                         | 151/409 [22:03<36:55,  8.59s/it]
+
mmlu_sk:  37%|███████████████████████████████████████████▍                                                                         | 152/409 [22:12<37:08,  8.67s/it]
+
mmlu_sk:  37%|███████████████████████████████████████████▊                                                                         | 153/409 [22:21<37:08,  8.70s/it]
+
mmlu_sk:  38%|████████████████████████████████████████████                                                                         | 154/409 [22:29<37:07,  8.73s/it]
+
mmlu_sk:  38%|████████████████████████████████████████████▎                                                                        | 155/409 [22:38<37:22,  8.83s/it]
+
mmlu_sk:  38%|████████████████████████████████████████████▋                                                                        | 156/409 [22:47<36:52,  8.74s/it]
+
mmlu_sk:  38%|████████████████████████████████████████████▉                                                                        | 157/409 [22:57<38:15,  9.11s/it]
+
mmlu_sk:  39%|█████████████████████████████████████████████▏                                                                       | 158/409 [23:05<36:44,  8.78s/it]
+
mmlu_sk:  39%|█████████████████████████████████████████████▍                                                                       | 159/409 [23:13<36:02,  8.65s/it]
+
mmlu_sk:  39%|█████████████████████████████████████████████▊                                                                       | 160/409 [23:21<34:54,  8.41s/it]
+
mmlu_sk:  39%|██████████████████████████████████████████████                                                                       | 161/409 [23:30<35:52,  8.68s/it]
+
mmlu_sk:  40%|██████████████████████████████████████████████▎                                                                      | 162/409 [23:39<35:49,  8.70s/it]
+
mmlu_sk:  40%|██████████████████████████████████████████████▋                                                                      | 163/409 [23:49<37:09,  9.06s/it]
+
mmlu_sk:  40%|██████████████████████████████████████████████▉                                                                      | 164/409 [23:58<37:03,  9.08s/it]
+
mmlu_sk:  40%|███████████████████████████████████████████████▏                                                                     | 165/409 [24:07<36:15,  8.92s/it]
+
mmlu_sk:  41%|███████████████████████████████████████████████▍                                                                     | 166/409 [24:16<36:12,  8.94s/it]
+
mmlu_sk:  41%|███████████████████████████████████████████████▊                                                                     | 167/409 [24:25<36:30,  9.05s/it]
+
mmlu_sk:  41%|████████████████████████████████████████████████                                                                     | 168/409 [24:33<35:07,  8.75s/it]
+
mmlu_sk:  41%|████████████████████████████████████████████████▎                                                                    | 169/409 [24:41<34:15,  8.57s/it]
+
mmlu_sk:  42%|████████████████████████████████████████████████▋                                                                    | 170/409 [24:51<35:21,  8.88s/it]
+
mmlu_sk:  42%|████████████████████████████████████████████████▉                                                                    | 171/409 [25:00<35:14,  8.89s/it]
+
mmlu_sk:  42%|█████████████████████████████████████████████████▏                                                                   | 172/409 [25:08<34:28,  8.73s/it]
+
mmlu_sk:  42%|█████████████████████████████████████████████████▍                                                                   | 173/409 [25:16<33:19,  8.47s/it]
+
mmlu_sk:  43%|█████████████████████████████████████████████████▊                                                                   | 174/409 [25:25<33:15,  8.49s/it]
+
mmlu_sk:  43%|██████████████████████████████████████████████████                                                                   | 175/409 [25:32<31:51,  8.17s/it]
+
mmlu_sk:  43%|██████████████████████████████████████████████████▎                                                                  | 176/409 [25:42<33:39,  8.67s/it]
+
mmlu_sk:  43%|██████████████████████████████████████████████████▋                                                                  | 177/409 [25:50<32:34,  8.42s/it]
+
mmlu_sk:  44%|██████████████████████████████████████████████████▉                                                                  | 178/409 [25:58<32:23,  8.41s/it]
+
mmlu_sk:  44%|███████████████████████████████████████████████████▏                                                                 | 179/409 [26:06<32:14,  8.41s/it]
+
mmlu_sk:  44%|███████████████████████████████████████████████████▍                                                                 | 180/409 [26:15<32:15,  8.45s/it]
+
mmlu_sk:  44%|███████████████████████████████████████████████████▊                                                                 | 181/409 [26:23<32:03,  8.44s/it]
+
mmlu_sk:  44%|████████████████████████████████████████████████████                                                                 | 182/409 [26:31<31:13,  8.25s/it]
+
mmlu_sk:  45%|████████████████████████████████████████████████████▎                                                                | 183/409 [26:40<32:04,  8.52s/it]
+
mmlu_sk:  45%|████████████████████████████████████████████████████▋                                                                | 184/409 [26:50<33:00,  8.80s/it]
+
mmlu_sk:  45%|████████████████████████████████████████████████████▉                                                                | 185/409 [26:59<32:45,  8.78s/it]
+
mmlu_sk:  45%|█████████████████████████████████████████████████████▏                                                               | 186/409 [27:07<32:12,  8.66s/it]
+
mmlu_sk:  46%|█████████████████████████████████████████████████████▍                                                               | 187/409 [27:15<31:26,  8.50s/it]
+
mmlu_sk:  46%|█████████████████████████████████████████████████████▊                                                               | 188/409 [27:23<30:41,  8.33s/it]
+
mmlu_sk:  46%|██████████████████████████████████████████████████████                                                               | 189/409 [27:32<31:14,  8.52s/it]
+
mmlu_sk:  46%|██████████████████████████████████████████████████████▎                                                              | 190/409 [27:39<30:01,  8.23s/it]
+
mmlu_sk:  47%|██████████████████████████████████████████████████████▋                                                              | 191/409 [27:47<29:15,  8.05s/it]
+
mmlu_sk:  47%|██████████████████████████████████████████████████████▉                                                              | 192/409 [27:55<29:27,  8.15s/it]
+
mmlu_sk:  47%|███████████████████████████████████████████████████████▏                                                             | 193/409 [28:05<31:10,  8.66s/it]
+
mmlu_sk:  47%|███████████████████████████████████████████████████████▍                                                             | 194/409 [28:15<31:40,  8.84s/it]
+
mmlu_sk:  48%|███████████████████████████████████████████████████████▊                                                             | 195/409 [28:24<31:44,  8.90s/it]
+
mmlu_sk:  48%|████████████████████████████████████████████████████████                                                             | 196/409 [28:32<30:59,  8.73s/it]
+
mmlu_sk:  48%|████████████████████████████████████████████████████████▎                                                            | 197/409 [28:42<32:18,  9.15s/it]
+
mmlu_sk:  48%|████████████████████████████████████████████████████████▋                                                            | 198/409 [28:50<30:43,  8.74s/it]
+
mmlu_sk:  49%|████████████████████████████████████████████████████████▉                                                            | 199/409 [28:59<30:48,  8.80s/it]
+
mmlu_sk:  49%|█████████████████████████████████████████████████████████▏                                                           | 200/409 [29:09<31:41,  9.10s/it]
+
mmlu_sk:  49%|█████████████████████████████████████████████████████████▍                                                           | 201/409 [29:17<31:18,  9.03s/it]
+
mmlu_sk:  49%|█████████████████████████████████████████████████████████▊                                                           | 202/409 [29:27<31:38,  9.17s/it]
+
mmlu_sk:  50%|██████████████████████████████████████████████████████████                                                           | 203/409 [29:36<31:01,  9.04s/it]
+
mmlu_sk:  50%|██████████████████████████████████████████████████████████▎                                                          | 204/409 [29:44<30:10,  8.83s/it]
+
mmlu_sk:  50%|██████████████████████████████████████████████████████████▋                                                          | 205/409 [29:52<28:53,  8.50s/it]
+
mmlu_sk:  50%|██████████████████████████████████████████████████████████▉                                                          | 206/409 [30:02<30:10,  8.92s/it]
+
mmlu_sk:  51%|███████████████████████████████████████████████████████████▏                                                         | 207/409 [30:11<29:57,  8.90s/it]
+
mmlu_sk:  51%|███████████████████████████████████████████████████████████▌                                                         | 208/409 [30:20<30:12,  9.02s/it]
+
mmlu_sk:  51%|███████████████████████████████████████████████████████████▊                                                         | 209/409 [30:29<30:41,  9.21s/it]
+
mmlu_sk:  51%|████████████████████████████████████████████████████████████                                                         | 210/409 [30:38<30:05,  9.07s/it]
+
mmlu_sk:  52%|████████████████████████████████████████████████████████████▎                                                        | 211/409 [30:47<29:27,  8.93s/it]
+
mmlu_sk:  52%|████████████████████████████████████████████████████████████▋                                                        | 212/409 [30:56<29:52,  9.10s/it]
+
mmlu_sk:  52%|████████████████████████████████████████████████████████████▉                                                        | 213/409 [31:05<29:43,  9.10s/it]
+
mmlu_sk:  52%|█████████████████████████████████████████████████████████████▏                                                       | 214/409 [31:15<29:38,  9.12s/it]
+
mmlu_sk:  53%|█████████████████████████████████████████████████████████████▌                                                       | 215/409 [31:24<29:23,  9.09s/it]
+
mmlu_sk:  53%|█████████████████████████████████████████████████████████████▊                                                       | 216/409 [31:33<29:59,  9.33s/it]
+
mmlu_sk:  53%|██████████████████████████████████████████████████████████████                                                       | 217/409 [31:42<28:41,  8.96s/it]
+
mmlu_sk:  53%|██████████████████████████████████████████████████████████████▎                                                      | 218/409 [31:50<28:00,  8.80s/it]
+
mmlu_sk:  54%|██████████████████████████████████████████████████████████████▋                                                      | 219/409 [31:57<25:58,  8.20s/it]
+
mmlu_sk:  54%|██████████████████████████████████████████████████████████████▉                                                      | 220/409 [32:07<27:14,  8.65s/it]
+
mmlu_sk:  54%|███████████████████████████████████████████████████████████████▏                                                     | 221/409 [32:15<27:21,  8.73s/it]
+
mmlu_sk:  54%|███████████████████████████████████████████████████████████████▌                                                     | 222/409 [32:23<26:30,  8.50s/it]
+
mmlu_sk:  55%|███████████████████████████████████████████████████████████████▊                                                     | 223/409 [32:33<27:16,  8.80s/it]
+
mmlu_sk:  55%|████████████████████████████████████████████████████████████████                                                     | 224/409 [32:41<26:41,  8.66s/it]
+
mmlu_sk:  55%|████████████████████████████████████████████████████████████████▎                                                    | 225/409 [32:49<25:44,  8.40s/it]
+
mmlu_sk:  55%|████████████████████████████████████████████████████████████████▋                                                    | 226/409 [32:58<26:19,  8.63s/it]
+
mmlu_sk:  56%|████████████████████████████████████████████████████████████████▉                                                    | 227/409 [33:07<26:22,  8.69s/it]
+
mmlu_sk:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 228/409 [33:15<25:45,  8.54s/it]
+
mmlu_sk:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 229/409 [33:24<25:49,  8.61s/it]
+
mmlu_sk:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 230/409 [33:34<26:35,  8.91s/it]
+
mmlu_sk:  56%|██████████████████████████████████████████████████████████████████                                                   | 231/409 [33:42<26:03,  8.78s/it]
+
mmlu_sk:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 232/409 [33:49<24:41,  8.37s/it]
+
mmlu_sk:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 233/409 [33:58<24:33,  8.37s/it]
+
mmlu_sk:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 234/409 [34:08<26:00,  8.92s/it]
+
mmlu_sk:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 235/409 [34:16<25:03,  8.64s/it]
+
mmlu_sk:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 236/409 [34:24<24:24,  8.47s/it]
+
mmlu_sk:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 237/409 [34:33<24:14,  8.46s/it]
+
mmlu_sk:  58%|████████████████████████████████████████████████████████████████████                                                 | 238/409 [34:42<25:06,  8.81s/it]
+
mmlu_sk:  58%|████████████████████████████████████████████████████████████████████▎                                                | 239/409 [34:51<24:42,  8.72s/it]
+
mmlu_sk:  59%|████████████████████████████████████████████████████████████████████▋                                                | 240/409 [34:59<24:25,  8.67s/it]
+
mmlu_sk:  59%|████████████████████████████████████████████████████████████████████▉                                                | 241/409 [35:08<24:14,  8.66s/it]
+
mmlu_sk:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 242/409 [35:17<24:27,  8.79s/it]
+
mmlu_sk:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 243/409 [35:25<23:42,  8.57s/it]
+
mmlu_sk:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 244/409 [35:34<24:15,  8.82s/it]
+
mmlu_sk:  60%|██████████████████████████████████████████████████████████████████████                                               | 245/409 [35:42<23:18,  8.52s/it]
+
mmlu_sk:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 246/409 [35:51<23:42,  8.73s/it]
+
mmlu_sk:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 247/409 [36:00<23:30,  8.71s/it]
+
mmlu_sk:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 248/409 [36:08<22:49,  8.51s/it]
+
mmlu_sk:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 249/409 [36:16<22:30,  8.44s/it]
+
mmlu_sk:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 250/409 [36:27<23:40,  8.93s/it]
+
mmlu_sk:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 251/409 [36:36<23:40,  8.99s/it]
+
mmlu_sk:  62%|████████████████████████████████████████████████████████████████████████                                             | 252/409 [36:44<23:05,  8.82s/it]
+
mmlu_sk:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 253/409 [36:53<23:02,  8.86s/it]
+
mmlu_sk:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 254/409 [37:01<22:15,  8.62s/it]
+
mmlu_sk:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 255/409 [37:09<21:28,  8.37s/it]
+
mmlu_sk:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 256/409 [37:19<22:37,  8.87s/it]
+
mmlu_sk:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 257/409 [37:28<22:56,  9.05s/it]
+
mmlu_sk:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 258/409 [37:37<22:30,  8.94s/it]
+
mmlu_sk:  63%|██████████████████████████████████████████████████████████████████████████                                           | 259/409 [37:48<23:33,  9.43s/it]
+
mmlu_sk:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 260/409 [37:55<22:08,  8.92s/it]
+
mmlu_sk:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 261/409 [38:05<22:31,  9.13s/it]
+
mmlu_sk:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 262/409 [38:16<23:34,  9.62s/it]
+
mmlu_sk:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 263/409 [38:24<22:29,  9.24s/it]
+
mmlu_sk:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 264/409 [38:32<21:17,  8.81s/it]
+
mmlu_sk:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 265/409 [38:40<20:37,  8.60s/it]
+
mmlu_sk:  65%|████████████████████████████████████████████████████████████████████████████                                         | 266/409 [38:48<20:19,  8.53s/it]
+
mmlu_sk:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 267/409 [38:57<19:58,  8.44s/it]
+
mmlu_sk:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 268/409 [39:05<19:44,  8.40s/it]
+
mmlu_sk:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 269/409 [39:14<20:22,  8.73s/it]
+
mmlu_sk:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 270/409 [39:24<20:49,  8.99s/it]
+
mmlu_sk:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 271/409 [39:33<20:36,  8.96s/it]
+
mmlu_sk:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 272/409 [39:42<20:36,  9.03s/it]
+
mmlu_sk:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 273/409 [39:51<20:03,  8.85s/it]
+
mmlu_sk:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 274/409 [40:00<20:31,  9.12s/it]
+
mmlu_sk:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 275/409 [40:10<20:41,  9.27s/it]
+
mmlu_sk:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 276/409 [40:19<20:45,  9.36s/it]
+
mmlu_sk:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 277/409 [40:29<20:40,  9.40s/it]
+
mmlu_sk:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 278/409 [40:37<19:26,  8.91s/it]
+
mmlu_sk:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 279/409 [40:46<19:19,  8.92s/it]
+
mmlu_sk:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 280/409 [40:55<19:21,  9.01s/it]
+
mmlu_sk:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 281/409 [41:03<18:36,  8.73s/it]
+
mmlu_sk:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 282/409 [41:13<19:34,  9.25s/it]
+
mmlu_sk:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 283/409 [41:22<18:43,  8.91s/it]
+
mmlu_sk:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 284/409 [41:31<18:46,  9.01s/it]
+
mmlu_sk:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 285/409 [41:40<18:37,  9.01s/it]
+
mmlu_sk:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 286/409 [41:49<18:41,  9.12s/it]
+
mmlu_sk:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 287/409 [41:57<17:48,  8.76s/it]
+
mmlu_sk:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 288/409 [42:07<18:15,  9.06s/it]
+
mmlu_sk:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 289/409 [42:16<18:08,  9.07s/it]
+
mmlu_sk:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 290/409 [42:24<17:35,  8.87s/it]
+
mmlu_sk:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 291/409 [42:34<18:08,  9.22s/it]
+
mmlu_sk:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 292/409 [42:42<17:19,  8.88s/it]
+
mmlu_sk:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 293/409 [42:52<17:15,  8.93s/it]
+
mmlu_sk:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 294/409 [42:59<16:32,  8.63s/it]
+
mmlu_sk:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 295/409 [43:07<15:54,  8.37s/it]
+
mmlu_sk:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 296/409 [43:16<15:42,  8.34s/it]
+
mmlu_sk:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 297/409 [43:25<16:01,  8.58s/it]
+
mmlu_sk:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 298/409 [43:33<15:31,  8.39s/it]
+
mmlu_sk:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 299/409 [43:42<15:47,  8.61s/it]
+
mmlu_sk:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 300/409 [43:51<15:46,  8.68s/it]
+
mmlu_sk:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 301/409 [44:00<16:04,  8.93s/it]
+
mmlu_sk:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 302/409 [44:09<15:47,  8.86s/it]
+
mmlu_sk:  74%|██████████████████████████████████████████████████████████████████████████████████████▋                              | 303/409 [44:17<15:09,  8.58s/it]
+
mmlu_sk:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 304/409 [44:26<15:18,  8.75s/it]
+
mmlu_sk:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 305/409 [44:35<15:11,  8.77s/it]
+
mmlu_sk:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 306/409 [44:42<14:20,  8.35s/it]
+
mmlu_sk:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 307/409 [44:50<14:10,  8.34s/it]
+
mmlu_sk:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 308/409 [44:59<14:04,  8.37s/it]
+
mmlu_sk:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 309/409 [45:07<14:06,  8.47s/it]
+
mmlu_sk:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 310/409 [45:17<14:44,  8.94s/it]
+
mmlu_sk:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 311/409 [45:27<15:02,  9.21s/it]
+
mmlu_sk:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 312/409 [45:36<14:34,  9.02s/it]
+
mmlu_sk:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 313/409 [45:45<14:30,  9.06s/it]
+
mmlu_sk:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 314/409 [45:54<14:17,  9.03s/it]
+
mmlu_sk:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 315/409 [46:03<13:59,  8.93s/it]
+
mmlu_sk:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 316/409 [46:11<13:33,  8.74s/it]
+
mmlu_sk:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 317/409 [46:19<13:09,  8.58s/it]
+
mmlu_sk:  78%|██████████████████████████████████████████████████████████████████████████████████████████▉                          | 318/409 [46:28<13:03,  8.61s/it]
+
mmlu_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 319/409 [46:36<12:39,  8.44s/it]
+
mmlu_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 320/409 [46:46<13:05,  8.82s/it]
+
mmlu_sk:  78%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 321/409 [46:54<12:48,  8.74s/it]
+
mmlu_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 322/409 [47:04<12:57,  8.94s/it]
+
mmlu_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 323/409 [47:13<12:59,  9.07s/it]
+
mmlu_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 324/409 [47:22<12:40,  8.94s/it]
+
mmlu_sk:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 325/409 [47:30<12:28,  8.91s/it]
+
mmlu_sk:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 326/409 [47:39<12:17,  8.89s/it]
+
mmlu_sk:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 327/409 [47:48<12:07,  8.87s/it]
+
mmlu_sk:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 328/409 [47:56<11:39,  8.63s/it]
+
mmlu_sk:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 329/409 [48:06<11:48,  8.86s/it]
+
mmlu_sk:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 330/409 [48:13<11:14,  8.54s/it]
+
mmlu_sk:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 331/409 [48:22<11:00,  8.47s/it]
+
mmlu_sk:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 332/409 [48:30<10:52,  8.47s/it]
+
mmlu_sk:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 333/409 [48:37<10:10,  8.04s/it]
+
mmlu_sk:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 334/409 [48:46<10:08,  8.11s/it]
+
mmlu_sk:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 335/409 [48:53<09:57,  8.08s/it]
+
mmlu_sk:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 336/409 [49:02<09:51,  8.10s/it]
+
mmlu_sk:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 337/409 [49:10<09:59,  8.32s/it]
+
mmlu_sk:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 338/409 [49:18<09:37,  8.13s/it]
+
mmlu_sk:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 339/409 [49:27<09:53,  8.48s/it]
+
mmlu_sk:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 340/409 [49:36<09:39,  8.40s/it]
+
mmlu_sk:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 341/409 [49:45<09:44,  8.60s/it]
+
mmlu_sk:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 342/409 [49:53<09:31,  8.52s/it]
+
mmlu_sk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 343/409 [50:02<09:37,  8.75s/it]
+
mmlu_sk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 344/409 [50:11<09:17,  8.58s/it]
+
mmlu_sk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 345/409 [50:20<09:23,  8.80s/it]
+
mmlu_sk:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 346/409 [50:30<09:32,  9.09s/it]
+
mmlu_sk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 347/409 [50:38<09:13,  8.93s/it]
+
mmlu_sk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 348/409 [50:46<08:52,  8.73s/it]
+
mmlu_sk:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 349/409 [50:55<08:49,  8.82s/it]
+
mmlu_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 350/409 [51:04<08:37,  8.77s/it]
+
mmlu_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 351/409 [51:14<08:51,  9.17s/it]
+
mmlu_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 352/409 [51:23<08:32,  9.00s/it]
+
mmlu_sk:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 353/409 [51:31<08:18,  8.90s/it]
+
mmlu_sk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 354/409 [51:40<07:55,  8.64s/it]
+
mmlu_sk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 355/409 [51:48<07:46,  8.64s/it]
+
mmlu_sk:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 356/409 [51:56<07:19,  8.29s/it]
+
mmlu_sk:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 357/409 [52:04<07:11,  8.30s/it]
+
mmlu_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 358/409 [52:12<07:02,  8.29s/it]
+
mmlu_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 359/409 [52:22<07:22,  8.84s/it]
+
mmlu_sk:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 360/409 [52:31<07:06,  8.70s/it]
+
mmlu_sk:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 361/409 [52:40<07:05,  8.86s/it]
+
mmlu_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 362/409 [52:49<06:53,  8.81s/it]
+
mmlu_sk:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 363/409 [52:57<06:44,  8.79s/it]
+
mmlu_sk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 364/409 [53:07<06:41,  8.93s/it]
+
mmlu_sk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 365/409 [53:16<06:45,  9.20s/it]
+
mmlu_sk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 366/409 [53:24<06:18,  8.80s/it]
+
mmlu_sk:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 367/409 [53:33<06:02,  8.64s/it]
+
mmlu_sk:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 368/409 [53:41<05:56,  8.68s/it]
+
mmlu_sk:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 369/409 [53:50<05:41,  8.54s/it]
+
mmlu_sk:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 370/409 [53:58<05:34,  8.58s/it]
+
mmlu_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 371/409 [54:07<05:26,  8.60s/it]
+
mmlu_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 372/409 [54:17<05:34,  9.03s/it]
+
mmlu_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 373/409 [54:25<05:16,  8.79s/it]
+
mmlu_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 374/409 [54:34<05:10,  8.86s/it]
+
mmlu_sk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 375/409 [54:43<05:00,  8.85s/it]
+
mmlu_sk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 376/409 [54:51<04:46,  8.67s/it]
+
mmlu_sk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 377/409 [55:00<04:39,  8.74s/it]
+
mmlu_sk:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 378/409 [55:09<04:29,  8.68s/it]
+
mmlu_sk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 379/409 [55:18<04:21,  8.72s/it]
+
mmlu_sk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 380/409 [55:26<04:14,  8.77s/it]
+
mmlu_sk:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 381/409 [55:35<04:04,  8.74s/it]
+
mmlu_sk:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 382/409 [55:44<03:56,  8.76s/it]
+
mmlu_sk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 383/409 [55:52<03:44,  8.63s/it]
+
mmlu_sk:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 384/409 [56:02<03:42,  8.88s/it]
+
mmlu_sk:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 385/409 [56:11<03:36,  9.00s/it]
+
mmlu_sk:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 386/409 [56:20<03:26,  8.97s/it]
+
mmlu_sk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 387/409 [56:28<03:15,  8.86s/it]
+
mmlu_sk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 388/409 [56:36<02:57,  8.46s/it]
+
mmlu_sk:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 389/409 [56:45<02:51,  8.56s/it]
+
mmlu_sk:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 390/409 [56:53<02:42,  8.53s/it]
+
mmlu_sk:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 391/409 [57:03<02:39,  8.85s/it]
+
mmlu_sk:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 392/409 [57:10<02:23,  8.44s/it]
+
mmlu_sk:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 393/409 [57:19<02:17,  8.61s/it]
+
mmlu_sk:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 394/409 [57:27<02:05,  8.36s/it]
+
mmlu_sk:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 395/409 [57:35<01:56,  8.31s/it]
+
mmlu_sk:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 396/409 [57:45<01:55,  8.87s/it]
+
mmlu_sk:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 397/409 [57:53<01:41,  8.45s/it]
+
mmlu_sk:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 398/409 [58:01<01:30,  8.26s/it]
+
mmlu_sk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 399/409 [58:10<01:26,  8.65s/it]
+
mmlu_sk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 400/409 [58:18<01:14,  8.28s/it]
+
mmlu_sk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 401/409 [58:26<01:05,  8.23s/it]
+
mmlu_sk:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 402/409 [58:34<00:56,  8.06s/it]
+
mmlu_sk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 403/409 [58:42<00:49,  8.23s/it]
+
mmlu_sk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 404/409 [58:50<00:39,  7.97s/it]
+
mmlu_sk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 405/409 [58:58<00:32,  8.04s/it]
+
mmlu_sk:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 406/409 [59:06<00:24,  8.18s/it]
+
mmlu_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 407/409 [59:14<00:16,  8.08s/it]
+
mmlu_sk: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 408/409 [59:23<00:08,  8.21s/it]
+
mmlu_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [59:27<00:00,  7.21s/it]
mmlu_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [59:27<00:00,  8.72s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sk_acc 0.3455826060327668
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sk_acc_norm 0.3278211606185883
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 21:31:30,239 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 21:31:30,240 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:30,366 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 21:31:30,366 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:30,493 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 21:31:30,493 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:30,620 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 21:31:30,621 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 21:31:30,621 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 21:31:30,749 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 21:31:30,749 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sk_acc'}
+2024-05-31 21:31:30,813 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 21:31:30,813 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1249, 'value': 0.3455826060327668}
+2024-05-31 21:31:30,878 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 21:31:31,533 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 21:31:31,533 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:31,662 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 21:31:31,662 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:31,791 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 21:31:31,791 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:31,920 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 21:31:31,921 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 21:31:31,921 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 21:31:32,051 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 21:31:32,051 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sk_acc_norm'}
+2024-05-31 21:31:32,117 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 21:31:32,117 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1250, 'value': 0.3278211606185883}
+2024-05-31 21:31:32,182 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  69%|██████████████████████████████████████████████████████████████████████████▉                                 | 86/124 [62:44:01<45:06:04, 4272.76s/it]['mmlu_sr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 21:31:32,819 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 21:31:32,819 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:32,944 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 21:31:32,944 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:33,069 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 21:31:33,069 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 21:31:33,193 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 21:31:33,194 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 21:31:33,194 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_sr'}
+2024-05-31 21:31:33,320 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_sr task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1786 examples [00:00, 15855.00 examples/s]
+
Generating test split: 5148 examples [00:00, 25787.04 examples/s]
+
Generating test split: 8683 examples [00:00, 30029.51 examples/s]
+
Generating test split: 12074 examples [00:00, 31530.64 examples/s]
Generating test split: 13173 examples [00:00, 29235.20 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 276 examples [00:00, 27083.45 examples/s]
+Running loglikelihood requests
+
+
mmlu_sr:   0%|                                                                                                                               | 0/412 [00:00<?, ?it/s]
+
mmlu_sr:   0%|▎                                                                                                                      | 1/412 [00:07<52:06,  7.61s/it]
+
mmlu_sr:   0%|▌                                                                                                                      | 2/412 [00:16<55:57,  8.19s/it]
+
mmlu_sr:   1%|▊                                                                                                                      | 3/412 [00:24<56:00,  8.22s/it]
+
mmlu_sr:   1%|█▏                                                                                                                     | 4/412 [00:32<55:57,  8.23s/it]
+
mmlu_sr:   1%|█▍                                                                                                                     | 5/412 [00:41<56:02,  8.26s/it]
+
mmlu_sr:   1%|█▋                                                                                                                     | 6/412 [00:50<58:44,  8.68s/it]
+
mmlu_sr:   2%|██                                                                                                                     | 7/412 [00:58<56:36,  8.39s/it]
+
mmlu_sr:   2%|██▎                                                                                                                    | 8/412 [01:07<58:59,  8.76s/it]
+
mmlu_sr:   2%|██▌                                                                                                                  | 9/412 [01:17<1:00:37,  9.03s/it]
+
mmlu_sr:   2%|██▊                                                                                                                 | 10/412 [01:26<1:00:51,  9.08s/it]
+
mmlu_sr:   3%|███                                                                                                                 | 11/412 [01:35<1:00:19,  9.03s/it]
+
mmlu_sr:   3%|███▍                                                                                                                | 12/412 [01:45<1:01:18,  9.20s/it]
+
mmlu_sr:   3%|███▋                                                                                                                | 13/412 [01:54<1:00:31,  9.10s/it]
+
mmlu_sr:   3%|███▉                                                                                                                | 14/412 [02:03<1:00:43,  9.15s/it]
+
mmlu_sr:   4%|████▎                                                                                                                 | 15/412 [02:11<58:06,  8.78s/it]
+
mmlu_sr:   4%|████▌                                                                                                                 | 16/412 [02:20<59:11,  8.97s/it]
+
mmlu_sr:   4%|████▊                                                                                                                 | 17/412 [02:29<59:18,  9.01s/it]
+
mmlu_sr:   4%|█████▏                                                                                                                | 18/412 [02:38<58:33,  8.92s/it]
+
mmlu_sr:   5%|█████▍                                                                                                                | 19/412 [02:46<56:53,  8.68s/it]
+
mmlu_sr:   5%|█████▋                                                                                                                | 20/412 [02:55<57:17,  8.77s/it]
+
mmlu_sr:   5%|██████                                                                                                                | 21/412 [03:04<58:14,  8.94s/it]
+
mmlu_sr:   5%|██████▎                                                                                                               | 22/412 [03:14<59:04,  9.09s/it]
+
mmlu_sr:   6%|██████▌                                                                                                               | 23/412 [03:22<56:38,  8.74s/it]
+
mmlu_sr:   6%|██████▊                                                                                                               | 24/412 [03:32<58:55,  9.11s/it]
+
mmlu_sr:   6%|███████▏                                                                                                              | 25/412 [03:40<57:37,  8.93s/it]
+
mmlu_sr:   6%|███████▍                                                                                                              | 26/412 [03:48<55:11,  8.58s/it]
+
mmlu_sr:   7%|███████▋                                                                                                              | 27/412 [03:56<53:44,  8.37s/it]
+
mmlu_sr:   7%|████████                                                                                                              | 28/412 [04:07<59:29,  9.30s/it]
+
mmlu_sr:   7%|████████▎                                                                                                             | 29/412 [04:17<59:50,  9.37s/it]
+
mmlu_sr:   7%|████████▌                                                                                                             | 30/412 [04:26<58:22,  9.17s/it]
+
mmlu_sr:   8%|████████▉                                                                                                             | 31/412 [04:35<58:53,  9.28s/it]
+
mmlu_sr:   8%|█████████▏                                                                                                            | 32/412 [04:44<58:34,  9.25s/it]
+
mmlu_sr:   8%|█████████▍                                                                                                            | 33/412 [04:54<58:41,  9.29s/it]
+
mmlu_sr:   8%|█████████▋                                                                                                            | 34/412 [05:02<56:53,  9.03s/it]
+
mmlu_sr:   8%|██████████                                                                                                            | 35/412 [05:11<56:31,  9.00s/it]
+
mmlu_sr:   9%|██████████▎                                                                                                           | 36/412 [05:19<53:55,  8.60s/it]
+
mmlu_sr:   9%|██████████▌                                                                                                           | 37/412 [05:28<54:17,  8.69s/it]
+
mmlu_sr:   9%|██████████▉                                                                                                           | 38/412 [05:36<53:25,  8.57s/it]
+
mmlu_sr:   9%|███████████▏                                                                                                          | 39/412 [05:44<51:59,  8.36s/it]
+
mmlu_sr:  10%|███████████▍                                                                                                          | 40/412 [05:53<53:54,  8.70s/it]
+
mmlu_sr:  10%|███████████▋                                                                                                          | 41/412 [06:01<51:40,  8.36s/it]
+
mmlu_sr:  10%|████████████                                                                                                          | 42/412 [06:10<53:03,  8.60s/it]
+
mmlu_sr:  10%|████████████▎                                                                                                         | 43/412 [06:20<54:43,  8.90s/it]
+
mmlu_sr:  11%|████████████▌                                                                                                         | 44/412 [06:27<52:31,  8.56s/it]
+
mmlu_sr:  11%|████████████▉                                                                                                         | 45/412 [06:35<51:21,  8.40s/it]
+
mmlu_sr:  11%|█████████████▏                                                                                                        | 46/412 [06:44<52:24,  8.59s/it]
+
mmlu_sr:  11%|█████████████▍                                                                                                        | 47/412 [06:54<53:12,  8.75s/it]
+
mmlu_sr:  12%|█████████████▋                                                                                                        | 48/412 [07:01<51:29,  8.49s/it]
+
mmlu_sr:  12%|██████████████                                                                                                        | 49/412 [07:11<53:10,  8.79s/it]
+
mmlu_sr:  12%|██████████████▎                                                                                                       | 50/412 [07:19<51:30,  8.54s/it]
+
mmlu_sr:  12%|██████████████▌                                                                                                       | 51/412 [07:29<53:26,  8.88s/it]
+
mmlu_sr:  13%|██████████████▉                                                                                                       | 52/412 [07:37<53:17,  8.88s/it]
+
mmlu_sr:  13%|███████████████▏                                                                                                      | 53/412 [07:47<53:31,  8.94s/it]
+
mmlu_sr:  13%|███████████████▍                                                                                                      | 54/412 [07:55<51:47,  8.68s/it]
+
mmlu_sr:  13%|███████████████▊                                                                                                      | 55/412 [08:03<50:54,  8.56s/it]
+
mmlu_sr:  14%|████████████████                                                                                                      | 56/412 [08:12<52:18,  8.82s/it]
+
mmlu_sr:  14%|████████████████▎                                                                                                     | 57/412 [08:21<52:50,  8.93s/it]
+
mmlu_sr:  14%|████████████████▌                                                                                                     | 58/412 [08:29<50:04,  8.49s/it]
+
mmlu_sr:  14%|████████████████▉                                                                                                     | 59/412 [08:37<49:57,  8.49s/it]
+
mmlu_sr:  15%|█████████████████▏                                                                                                    | 60/412 [08:46<49:37,  8.46s/it]
+
mmlu_sr:  15%|█████████████████▍                                                                                                    | 61/412 [08:55<50:41,  8.67s/it]
+
mmlu_sr:  15%|█████████████████▊                                                                                                    | 62/412 [09:03<49:38,  8.51s/it]
+
mmlu_sr:  15%|██████████████████                                                                                                    | 63/412 [09:13<51:49,  8.91s/it]
+
mmlu_sr:  16%|██████████████████▎                                                                                                   | 64/412 [09:21<49:35,  8.55s/it]
+
mmlu_sr:  16%|██████████████████▌                                                                                                   | 65/412 [09:30<50:47,  8.78s/it]
+
mmlu_sr:  16%|██████████████████▉                                                                                                   | 66/412 [09:39<51:41,  8.96s/it]
+
mmlu_sr:  16%|███████████████████▏                                                                                                  | 67/412 [09:47<49:43,  8.65s/it]
+
mmlu_sr:  17%|███████████████████▍                                                                                                  | 68/412 [09:55<48:13,  8.41s/it]
+
mmlu_sr:  17%|███████████████████▊                                                                                                  | 69/412 [10:04<49:37,  8.68s/it]
+
mmlu_sr:  17%|████████████████████                                                                                                  | 70/412 [10:13<49:49,  8.74s/it]
+
mmlu_sr:  17%|████████████████████▎                                                                                                 | 71/412 [10:21<47:24,  8.34s/it]
+
mmlu_sr:  17%|████████████████████▌                                                                                                 | 72/412 [10:30<48:13,  8.51s/it]
+
mmlu_sr:  18%|████████████████████▉                                                                                                 | 73/412 [10:39<49:02,  8.68s/it]
+
mmlu_sr:  18%|█████████████████████▏                                                                                                | 74/412 [10:48<49:25,  8.77s/it]
+
mmlu_sr:  18%|█████████████████████▍                                                                                                | 75/412 [10:57<50:02,  8.91s/it]
+
mmlu_sr:  18%|█████████████████████▊                                                                                                | 76/412 [11:07<51:12,  9.14s/it]
+
mmlu_sr:  19%|██████████████████████                                                                                                | 77/412 [11:16<50:37,  9.07s/it]
+
mmlu_sr:  19%|██████████████████████▎                                                                                               | 78/412 [11:25<50:47,  9.12s/it]
+
mmlu_sr:  19%|██████████████████████▋                                                                                               | 79/412 [11:33<48:41,  8.77s/it]
+
mmlu_sr:  19%|██████████████████████▉                                                                                               | 80/412 [11:42<48:56,  8.85s/it]
+
mmlu_sr:  20%|███████████████████████▏                                                                                              | 81/412 [11:50<48:19,  8.76s/it]
+
mmlu_sr:  20%|███████████████████████▍                                                                                              | 82/412 [11:59<48:14,  8.77s/it]
+
mmlu_sr:  20%|███████████████████████▊                                                                                              | 83/412 [12:09<49:10,  8.97s/it]
+
mmlu_sr:  20%|████████████████████████                                                                                              | 84/412 [12:18<49:37,  9.08s/it]
+
mmlu_sr:  21%|████████████████████████▎                                                                                             | 85/412 [12:27<49:18,  9.05s/it]
+
mmlu_sr:  21%|████████████████████████▋                                                                                             | 86/412 [12:36<49:30,  9.11s/it]
+
mmlu_sr:  21%|████████████████████████▉                                                                                             | 87/412 [12:44<46:51,  8.65s/it]
+
mmlu_sr:  21%|█████████████████████████▏                                                                                            | 88/412 [12:52<45:36,  8.45s/it]
+
mmlu_sr:  22%|█████████████████████████▍                                                                                            | 89/412 [13:00<45:03,  8.37s/it]
+
mmlu_sr:  22%|█████████████████████████▊                                                                                            | 90/412 [13:09<46:14,  8.62s/it]
+
mmlu_sr:  22%|██████████████████████████                                                                                            | 91/412 [13:19<47:37,  8.90s/it]
+
mmlu_sr:  22%|██████████████████████████▎                                                                                           | 92/412 [13:28<47:42,  8.95s/it]
+
mmlu_sr:  23%|██████████████████████████▋                                                                                           | 93/412 [13:37<48:34,  9.14s/it]
+
mmlu_sr:  23%|██████████████████████████▉                                                                                           | 94/412 [13:46<47:28,  8.96s/it]
+
mmlu_sr:  23%|███████████████████████████▏                                                                                          | 95/412 [13:53<45:18,  8.58s/it]
+
mmlu_sr:  23%|███████████████████████████▍                                                                                          | 96/412 [14:02<45:19,  8.61s/it]
+
mmlu_sr:  24%|███████████████████████████▊                                                                                          | 97/412 [14:11<45:29,  8.67s/it]
+
mmlu_sr:  24%|████████████████████████████                                                                                          | 98/412 [14:21<46:54,  8.96s/it]
+
mmlu_sr:  24%|████████████████████████████▎                                                                                         | 99/412 [14:29<46:18,  8.88s/it]
+
mmlu_sr:  24%|████████████████████████████▍                                                                                        | 100/412 [14:37<44:22,  8.53s/it]
+
mmlu_sr:  25%|████████████████████████████▋                                                                                        | 101/412 [14:46<45:00,  8.68s/it]
+
mmlu_sr:  25%|████████████████████████████▉                                                                                        | 102/412 [14:55<45:01,  8.72s/it]
+
mmlu_sr:  25%|█████████████████████████████▎                                                                                       | 103/412 [15:03<43:35,  8.46s/it]
+
mmlu_sr:  25%|█████████████████████████████▌                                                                                       | 104/412 [15:10<42:02,  8.19s/it]
+
mmlu_sr:  25%|█████████████████████████████▊                                                                                       | 105/412 [15:19<42:08,  8.24s/it]
+
mmlu_sr:  26%|██████████████████████████████                                                                                       | 106/412 [15:28<43:31,  8.53s/it]
+
mmlu_sr:  26%|██████████████████████████████▍                                                                                      | 107/412 [15:35<41:59,  8.26s/it]
+
mmlu_sr:  26%|██████████████████████████████▋                                                                                      | 108/412 [15:44<42:11,  8.33s/it]
+
mmlu_sr:  26%|██████████████████████████████▉                                                                                      | 109/412 [15:52<41:20,  8.19s/it]
+
mmlu_sr:  27%|███████████████████████████████▏                                                                                     | 110/412 [16:01<42:28,  8.44s/it]
+
mmlu_sr:  27%|███████████████████████████████▌                                                                                     | 111/412 [16:10<43:43,  8.71s/it]
+
mmlu_sr:  27%|███████████████████████████████▊                                                                                     | 112/412 [16:18<42:51,  8.57s/it]
+
mmlu_sr:  27%|████████████████████████████████                                                                                     | 113/412 [16:28<44:38,  8.96s/it]
+
mmlu_sr:  28%|████████████████████████████████▎                                                                                    | 114/412 [16:37<43:37,  8.78s/it]
+
mmlu_sr:  28%|████████████████████████████████▋                                                                                    | 115/412 [16:45<42:47,  8.64s/it]
+
mmlu_sr:  28%|████████████████████████████████▉                                                                                    | 116/412 [16:53<42:14,  8.56s/it]
+
mmlu_sr:  28%|█████████████████████████████████▏                                                                                   | 117/412 [17:02<42:50,  8.71s/it]
+
mmlu_sr:  29%|█████████████████████████████████▌                                                                                   | 118/412 [17:10<41:42,  8.51s/it]
+
mmlu_sr:  29%|█████████████████████████████████▊                                                                                   | 119/412 [17:20<42:48,  8.77s/it]
+
mmlu_sr:  29%|██████████████████████████████████                                                                                   | 120/412 [17:30<45:10,  9.28s/it]
+
mmlu_sr:  29%|██████████████████████████████████▎                                                                                  | 121/412 [17:41<46:43,  9.63s/it]
+
mmlu_sr:  30%|██████████████████████████████████▋                                                                                  | 122/412 [17:50<45:40,  9.45s/it]
+
mmlu_sr:  30%|██████████████████████████████████▉                                                                                  | 123/412 [17:58<44:29,  9.24s/it]
+
mmlu_sr:  30%|███████████████████████████████████▏                                                                                 | 124/412 [18:06<42:28,  8.85s/it]
+
mmlu_sr:  30%|███████████████████████████████████▍                                                                                 | 125/412 [18:15<41:19,  8.64s/it]
+
mmlu_sr:  31%|███████████████████████████████████▊                                                                                 | 126/412 [18:23<40:20,  8.46s/it]
+
mmlu_sr:  31%|████████████████████████████████████                                                                                 | 127/412 [18:32<41:08,  8.66s/it]
+
mmlu_sr:  31%|████████████████████████████████████▎                                                                                | 128/412 [18:40<40:13,  8.50s/it]
+
mmlu_sr:  31%|████████████████████████████████████▋                                                                                | 129/412 [18:50<41:45,  8.85s/it]
+
mmlu_sr:  32%|████████████████████████████████████▉                                                                                | 130/412 [19:00<43:09,  9.18s/it]
+
mmlu_sr:  32%|█████████████████████████████████████▏                                                                               | 131/412 [19:07<40:47,  8.71s/it]
+
mmlu_sr:  32%|█████████████████████████████████████▍                                                                               | 132/412 [19:16<40:59,  8.78s/it]
+
mmlu_sr:  32%|█████████████████████████████████████▊                                                                               | 133/412 [19:26<41:55,  9.02s/it]
+
mmlu_sr:  33%|██████████████████████████████████████                                                                               | 134/412 [19:35<42:00,  9.07s/it]
+
mmlu_sr:  33%|██████████████████████████████████████▎                                                                              | 135/412 [19:43<41:02,  8.89s/it]
+
mmlu_sr:  33%|██████████████████████████████████████▌                                                                              | 136/412 [19:53<41:26,  9.01s/it]
+
mmlu_sr:  33%|██████████████████████████████████████▉                                                                              | 137/412 [20:01<40:42,  8.88s/it]
+
mmlu_sr:  33%|███████████████████████████████████████▏                                                                             | 138/412 [20:10<40:20,  8.84s/it]
+
mmlu_sr:  34%|███████████████████████████████████████▍                                                                             | 139/412 [20:20<41:20,  9.09s/it]
+
mmlu_sr:  34%|███████████████████████████████████████▊                                                                             | 140/412 [20:28<40:06,  8.85s/it]
+
mmlu_sr:  34%|████████████████████████████████████████                                                                             | 141/412 [20:37<40:27,  8.96s/it]
+
mmlu_sr:  34%|████████████████████████████████████████▎                                                                            | 142/412 [20:46<40:31,  9.01s/it]
+
mmlu_sr:  35%|████████████████████████████████████████▌                                                                            | 143/412 [20:54<39:02,  8.71s/it]
+
mmlu_sr:  35%|████████████████████████████████████████▉                                                                            | 144/412 [21:03<39:34,  8.86s/it]
+
mmlu_sr:  35%|█████████████████████████████████████████▏                                                                           | 145/412 [21:13<39:51,  8.96s/it]
+
mmlu_sr:  35%|█████████████████████████████████████████▍                                                                           | 146/412 [21:22<39:53,  9.00s/it]
+
mmlu_sr:  36%|█████████████████████████████████████████▋                                                                           | 147/412 [21:31<40:04,  9.07s/it]
+
mmlu_sr:  36%|██████████████████████████████████████████                                                                           | 148/412 [21:40<39:35,  9.00s/it]
+
mmlu_sr:  36%|██████████████████████████████████████████▎                                                                          | 149/412 [21:50<40:49,  9.31s/it]
+
mmlu_sr:  36%|██████████████████████████████████████████▌                                                                          | 150/412 [21:59<40:37,  9.30s/it]
+
mmlu_sr:  37%|██████████████████████████████████████████▉                                                                          | 151/412 [22:08<40:16,  9.26s/it]
+
mmlu_sr:  37%|███████████████████████████████████████████▏                                                                         | 152/412 [22:17<39:50,  9.20s/it]
+
mmlu_sr:  37%|███████████████████████████████████████████▍                                                                         | 153/412 [22:25<37:32,  8.70s/it]
+
mmlu_sr:  37%|███████████████████████████████████████████▋                                                                         | 154/412 [22:33<36:19,  8.45s/it]
+
mmlu_sr:  38%|████████████████████████████████████████████                                                                         | 155/412 [22:42<36:42,  8.57s/it]
+
mmlu_sr:  38%|████████████████████████████████████████████▎                                                                        | 156/412 [22:50<36:58,  8.66s/it]
+
mmlu_sr:  38%|████████████████████████████████████████████▌                                                                        | 157/412 [22:59<37:08,  8.74s/it]
+
mmlu_sr:  38%|████████████████████████████████████████████▊                                                                        | 158/412 [23:08<37:08,  8.77s/it]
+
mmlu_sr:  39%|█████████████████████████████████████████████▏                                                                       | 159/412 [23:17<37:34,  8.91s/it]
+
mmlu_sr:  39%|█████████████████████████████████████████████▍                                                                       | 160/412 [23:27<37:46,  8.99s/it]
+
mmlu_sr:  39%|█████████████████████████████████████████████▋                                                                       | 161/412 [23:37<38:55,  9.30s/it]
+
mmlu_sr:  39%|██████████████████████████████████████████████                                                                       | 162/412 [23:44<36:40,  8.80s/it]
+
mmlu_sr:  40%|██████████████████████████████████████████████▎                                                                      | 163/412 [23:53<36:17,  8.75s/it]
+
mmlu_sr:  40%|██████████████████████████████████████████████▌                                                                      | 164/412 [24:02<37:00,  8.95s/it]
+
mmlu_sr:  40%|██████████████████████████████████████████████▊                                                                      | 165/412 [24:10<35:06,  8.53s/it]
+
mmlu_sr:  40%|███████████████████████████████████████████████▏                                                                     | 166/412 [24:18<34:10,  8.34s/it]
+
mmlu_sr:  41%|███████████████████████████████████████████████▍                                                                     | 167/412 [24:27<35:09,  8.61s/it]
+
mmlu_sr:  41%|███████████████████████████████████████████████▋                                                                     | 168/412 [24:36<35:24,  8.70s/it]
+
mmlu_sr:  41%|███████████████████████████████████████████████▉                                                                     | 169/412 [24:44<34:43,  8.57s/it]
+
mmlu_sr:  41%|████████████████████████████████████████████████▎                                                                    | 170/412 [24:54<36:39,  9.09s/it]
+
mmlu_sr:  42%|████████████████████████████████████████████████▌                                                                    | 171/412 [25:03<36:15,  9.03s/it]
+
mmlu_sr:  42%|████████████████████████████████████████████████▊                                                                    | 172/412 [25:13<36:33,  9.14s/it]
+
mmlu_sr:  42%|█████████████████████████████████████████████████▏                                                                   | 173/412 [25:22<36:08,  9.07s/it]
+
mmlu_sr:  42%|█████████████████████████████████████████████████▍                                                                   | 174/412 [25:31<36:26,  9.19s/it]
+
mmlu_sr:  42%|█████████████████████████████████████████████████▋                                                                   | 175/412 [25:40<35:46,  9.06s/it]
+
mmlu_sr:  43%|█████████████████████████████████████████████████▉                                                                   | 176/412 [25:50<36:50,  9.37s/it]
+
mmlu_sr:  43%|██████████████████████████████████████████████████▎                                                                  | 177/412 [26:01<38:17,  9.78s/it]
+
mmlu_sr:  43%|██████████████████████████████████████████████████▌                                                                  | 178/412 [26:10<37:28,  9.61s/it]
+
mmlu_sr:  43%|██████████████████████████████████████████████████▊                                                                  | 179/412 [26:19<36:20,  9.36s/it]
+
mmlu_sr:  44%|███████████████████████████████████████████████████                                                                  | 180/412 [26:27<35:27,  9.17s/it]
+
mmlu_sr:  44%|███████████████████████████████████████████████████▍                                                                 | 181/412 [26:36<34:12,  8.89s/it]
+
mmlu_sr:  44%|███████████████████████████████████████████████████▋                                                                 | 182/412 [26:44<33:45,  8.81s/it]
+
mmlu_sr:  44%|███████████████████████████████████████████████████▉                                                                 | 183/412 [26:52<32:30,  8.52s/it]
+
mmlu_sr:  45%|████████████████████████████████████████████████████▎                                                                | 184/412 [27:01<32:50,  8.64s/it]
+
mmlu_sr:  45%|████████████████████████████████████████████████████▌                                                                | 185/412 [27:11<34:21,  9.08s/it]
+
mmlu_sr:  45%|████████████████████████████████████████████████████▊                                                                | 186/412 [27:21<35:15,  9.36s/it]
+
mmlu_sr:  45%|█████████████████████████████████████████████████████                                                                | 187/412 [27:30<34:29,  9.20s/it]
+
mmlu_sr:  46%|█████████████████████████████████████████████████████▍                                                               | 188/412 [27:39<34:40,  9.29s/it]
+
mmlu_sr:  46%|█████████████████████████████████████████████████████▋                                                               | 189/412 [27:48<33:07,  8.91s/it]
+
mmlu_sr:  46%|█████████████████████████████████████████████████████▉                                                               | 190/412 [27:57<34:07,  9.22s/it]
+
mmlu_sr:  46%|██████████████████████████████████████████████████████▏                                                              | 191/412 [28:06<32:52,  8.92s/it]
+
mmlu_sr:  47%|██████████████████████████████████████████████████████▌                                                              | 192/412 [28:14<31:54,  8.70s/it]
+
mmlu_sr:  47%|██████████████████████████████████████████████████████▊                                                              | 193/412 [28:22<31:39,  8.67s/it]
+
mmlu_sr:  47%|███████████████████████████████████████████████████████                                                              | 194/412 [28:31<31:08,  8.57s/it]
+
mmlu_sr:  47%|███████████████████████████████████████████████████████▍                                                             | 195/412 [28:40<31:51,  8.81s/it]
+
mmlu_sr:  48%|███████████████████████████████████████████████████████▋                                                             | 196/412 [28:48<30:23,  8.44s/it]
+
mmlu_sr:  48%|███████████████████████████████████████████████████████▉                                                             | 197/412 [28:56<29:43,  8.29s/it]
+
mmlu_sr:  48%|████████████████████████████████████████████████████████▏                                                            | 198/412 [29:04<29:13,  8.20s/it]
+
mmlu_sr:  48%|████████████████████████████████████████████████████████▌                                                            | 199/412 [29:12<28:41,  8.08s/it]
+
mmlu_sr:  49%|████████████████████████████████████████████████████████▊                                                            | 200/412 [29:21<29:55,  8.47s/it]
+
mmlu_sr:  49%|█████████████████████████████████████████████████████████                                                            | 201/412 [29:30<30:15,  8.60s/it]
+
mmlu_sr:  49%|█████████████████████████████████████████████████████████▎                                                           | 202/412 [29:38<29:48,  8.52s/it]
+
mmlu_sr:  49%|█████████████████████████████████████████████████████████▋                                                           | 203/412 [29:48<30:54,  8.87s/it]
+
mmlu_sr:  50%|█████████████████████████████████████████████████████████▉                                                           | 204/412 [29:56<29:47,  8.59s/it]
+
mmlu_sr:  50%|██████████████████████████████████████████████████████████▏                                                          | 205/412 [30:05<30:40,  8.89s/it]
+
mmlu_sr:  50%|██████████████████████████████████████████████████████████▌                                                          | 206/412 [30:13<29:44,  8.66s/it]
+
mmlu_sr:  50%|██████████████████████████████████████████████████████████▊                                                          | 207/412 [30:23<30:10,  8.83s/it]
+
mmlu_sr:  50%|███████████████████████████████████████████████████████████                                                          | 208/412 [30:31<29:38,  8.72s/it]
+
mmlu_sr:  51%|███████████████████████████████████████████████████████████▎                                                         | 209/412 [30:40<29:15,  8.65s/it]
+
mmlu_sr:  51%|███████████████████████████████████████████████████████████▋                                                         | 210/412 [30:49<29:57,  8.90s/it]
+
mmlu_sr:  51%|███████████████████████████████████████████████████████████▉                                                         | 211/412 [30:57<28:52,  8.62s/it]
+
mmlu_sr:  51%|████████████████████████████████████████████████████████████▏                                                        | 212/412 [31:05<27:55,  8.38s/it]
+
mmlu_sr:  52%|████████████████████████████████████████████████████████████▍                                                        | 213/412 [31:13<27:05,  8.17s/it]
+
mmlu_sr:  52%|████████████████████████████████████████████████████████████▊                                                        | 214/412 [31:23<28:47,  8.73s/it]
+
mmlu_sr:  52%|█████████████████████████████████████████████████████████████                                                        | 215/412 [31:32<28:54,  8.81s/it]
+
mmlu_sr:  52%|█████████████████████████████████████████████████████████████▎                                                       | 216/412 [31:39<27:49,  8.52s/it]
+
mmlu_sr:  53%|█████████████████████████████████████████████████████████████▌                                                       | 217/412 [31:48<27:45,  8.54s/it]
+
mmlu_sr:  53%|█████████████████████████████████████████████████████████████▉                                                       | 218/412 [31:57<28:20,  8.77s/it]
+
mmlu_sr:  53%|██████████████████████████████████████████████████████████████▏                                                      | 219/412 [32:06<28:34,  8.88s/it]
+
mmlu_sr:  53%|██████████████████████████████████████████████████████████████▍                                                      | 220/412 [32:15<27:36,  8.63s/it]
+
mmlu_sr:  54%|██████████████████████████████████████████████████████████████▊                                                      | 221/412 [32:22<26:39,  8.37s/it]
+
mmlu_sr:  54%|███████████████████████████████████████████████████████████████                                                      | 222/412 [32:31<26:21,  8.32s/it]
+
mmlu_sr:  54%|███████████████████████████████████████████████████████████████▎                                                     | 223/412 [32:39<26:36,  8.44s/it]
+
mmlu_sr:  54%|███████████████████████████████████████████████████████████████▌                                                     | 224/412 [32:47<25:50,  8.25s/it]
+
mmlu_sr:  55%|███████████████████████████████████████████████████████████████▉                                                     | 225/412 [32:56<26:22,  8.46s/it]
+
mmlu_sr:  55%|████████████████████████████████████████████████████████████████▏                                                    | 226/412 [33:05<26:36,  8.58s/it]
+
mmlu_sr:  55%|████████████████████████████████████████████████████████████████▍                                                    | 227/412 [33:14<27:09,  8.81s/it]
+
mmlu_sr:  55%|████████████████████████████████████████████████████████████████▋                                                    | 228/412 [33:23<26:36,  8.68s/it]
+
mmlu_sr:  56%|█████████████████████████████████████████████████████████████████                                                    | 229/412 [33:33<27:38,  9.06s/it]
+
mmlu_sr:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 230/412 [33:40<26:08,  8.62s/it]
+
mmlu_sr:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 231/412 [33:48<25:26,  8.43s/it]
+
mmlu_sr:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 232/412 [33:57<25:32,  8.52s/it]
+
mmlu_sr:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 233/412 [34:05<25:28,  8.54s/it]
+
mmlu_sr:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 234/412 [34:14<25:16,  8.52s/it]
+
mmlu_sr:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 235/412 [34:23<25:34,  8.67s/it]
+
mmlu_sr:  57%|███████████████████████████████████████████████████████████████████                                                  | 236/412 [34:32<25:37,  8.73s/it]
+
mmlu_sr:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 237/412 [34:40<24:46,  8.50s/it]
+
mmlu_sr:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 238/412 [34:50<26:11,  9.03s/it]
+
mmlu_sr:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 239/412 [34:58<25:32,  8.86s/it]
+
mmlu_sr:  58%|████████████████████████████████████████████████████████████████████▏                                                | 240/412 [35:07<25:22,  8.85s/it]
+
mmlu_sr:  58%|████████████████████████████████████████████████████████████████████▍                                                | 241/412 [35:18<26:25,  9.27s/it]
+
mmlu_sr:  59%|████████████████████████████████████████████████████████████████████▋                                                | 242/412 [35:26<25:25,  8.97s/it]
+
mmlu_sr:  59%|█████████████████████████████████████████████████████████████████████                                                | 243/412 [35:35<25:47,  9.16s/it]
+
mmlu_sr:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 244/412 [35:45<25:51,  9.24s/it]
+
mmlu_sr:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 245/412 [35:55<26:07,  9.39s/it]
+
mmlu_sr:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 246/412 [36:02<24:31,  8.86s/it]
+
mmlu_sr:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 247/412 [36:11<24:14,  8.82s/it]
+
mmlu_sr:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 248/412 [36:19<23:49,  8.72s/it]
+
mmlu_sr:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 249/412 [36:29<24:07,  8.88s/it]
+
mmlu_sr:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 250/412 [36:37<23:17,  8.63s/it]
+
mmlu_sr:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 251/412 [36:46<23:25,  8.73s/it]
+
mmlu_sr:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 252/412 [36:55<23:26,  8.79s/it]
+
mmlu_sr:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 253/412 [37:03<22:55,  8.65s/it]
+
mmlu_sr:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 254/412 [37:12<22:45,  8.64s/it]
+
mmlu_sr:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 255/412 [37:21<23:27,  8.96s/it]
+
mmlu_sr:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 256/412 [37:29<22:29,  8.65s/it]
+
mmlu_sr:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 257/412 [37:38<22:24,  8.67s/it]
+
mmlu_sr:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 258/412 [37:46<22:06,  8.61s/it]
+
mmlu_sr:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 259/412 [37:55<21:43,  8.52s/it]
+
mmlu_sr:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 260/412 [38:04<21:54,  8.65s/it]
+
mmlu_sr:  63%|██████████████████████████████████████████████████████████████████████████                                           | 261/412 [38:12<21:43,  8.63s/it]
+
mmlu_sr:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 262/412 [38:21<21:37,  8.65s/it]
+
mmlu_sr:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 263/412 [38:30<21:55,  8.83s/it]
+
mmlu_sr:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 264/412 [38:39<21:32,  8.74s/it]
+
mmlu_sr:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 265/412 [38:48<21:50,  8.91s/it]
+
mmlu_sr:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 266/412 [38:58<22:44,  9.35s/it]
+
mmlu_sr:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 267/412 [39:08<22:26,  9.29s/it]
+
mmlu_sr:  65%|████████████████████████████████████████████████████████████████████████████                                         | 268/412 [39:15<21:13,  8.84s/it]
+
mmlu_sr:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 269/412 [39:23<20:22,  8.55s/it]
+
mmlu_sr:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 270/412 [39:33<20:51,  8.81s/it]
+
mmlu_sr:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 271/412 [39:41<20:33,  8.75s/it]
+
mmlu_sr:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 272/412 [39:51<20:58,  8.99s/it]
+
mmlu_sr:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 273/412 [39:59<20:06,  8.68s/it]
+
mmlu_sr:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 274/412 [40:07<19:56,  8.67s/it]
+
mmlu_sr:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 275/412 [40:16<19:32,  8.56s/it]
+
mmlu_sr:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 276/412 [40:24<19:18,  8.52s/it]
+
mmlu_sr:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 277/412 [40:34<19:46,  8.79s/it]
+
mmlu_sr:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 278/412 [40:42<19:17,  8.64s/it]
+
mmlu_sr:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 279/412 [40:51<19:23,  8.75s/it]
+
mmlu_sr:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 280/412 [40:59<19:02,  8.66s/it]
+
mmlu_sr:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 281/412 [41:07<18:35,  8.52s/it]
+
mmlu_sr:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 282/412 [41:17<18:54,  8.72s/it]
+
mmlu_sr:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 283/412 [41:25<18:49,  8.75s/it]
+
mmlu_sr:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 284/412 [41:34<18:28,  8.66s/it]
+
mmlu_sr:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 285/412 [41:44<19:04,  9.01s/it]
+
mmlu_sr:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 286/412 [41:53<18:54,  9.01s/it]
+
mmlu_sr:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 287/412 [42:01<18:01,  8.65s/it]
+
mmlu_sr:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 288/412 [42:09<17:43,  8.57s/it]
+
mmlu_sr:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 289/412 [42:19<18:39,  9.10s/it]
+
mmlu_sr:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 290/412 [42:28<18:02,  8.87s/it]
+
mmlu_sr:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 291/412 [42:38<18:45,  9.30s/it]
+
mmlu_sr:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 292/412 [42:47<18:28,  9.24s/it]
+
mmlu_sr:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 293/412 [42:56<18:14,  9.20s/it]
+
mmlu_sr:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 294/412 [43:05<18:08,  9.23s/it]
+
mmlu_sr:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 295/412 [43:14<17:53,  9.18s/it]
+
mmlu_sr:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 296/412 [43:23<17:26,  9.02s/it]
+
mmlu_sr:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 297/412 [43:31<16:37,  8.67s/it]
+
mmlu_sr:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 298/412 [43:40<16:40,  8.77s/it]
+
mmlu_sr:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 299/412 [43:49<16:40,  8.86s/it]
+
mmlu_sr:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 300/412 [43:58<16:35,  8.89s/it]
+
mmlu_sr:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 301/412 [44:08<17:05,  9.24s/it]
+
mmlu_sr:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 302/412 [44:18<17:08,  9.35s/it]
+
mmlu_sr:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 303/412 [44:26<16:34,  9.13s/it]
+
mmlu_sr:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 304/412 [44:35<16:18,  9.06s/it]
+
mmlu_sr:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 305/412 [44:45<16:35,  9.30s/it]
+
mmlu_sr:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 306/412 [44:54<16:28,  9.32s/it]
+
mmlu_sr:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 307/412 [45:02<15:29,  8.86s/it]
+
mmlu_sr:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 308/412 [45:11<15:14,  8.79s/it]
+
mmlu_sr:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 309/412 [45:20<15:26,  9.00s/it]
+
mmlu_sr:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 310/412 [45:29<15:05,  8.88s/it]
+
mmlu_sr:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 311/412 [45:38<15:00,  8.92s/it]
+
mmlu_sr:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 312/412 [45:47<14:54,  8.95s/it]
+
mmlu_sr:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 313/412 [45:56<14:51,  9.01s/it]
+
mmlu_sr:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 314/412 [46:04<14:05,  8.63s/it]
+
mmlu_sr:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 315/412 [46:13<14:05,  8.72s/it]
+
mmlu_sr:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 316/412 [46:21<13:46,  8.61s/it]
+
mmlu_sr:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 317/412 [46:29<13:08,  8.30s/it]
+
mmlu_sr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 318/412 [46:37<13:03,  8.33s/it]
+
mmlu_sr:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 319/412 [46:47<13:41,  8.83s/it]
+
mmlu_sr:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 320/412 [46:56<13:32,  8.83s/it]
+
mmlu_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 321/412 [47:04<13:10,  8.69s/it]
+
mmlu_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 322/412 [47:14<13:23,  8.93s/it]
+
mmlu_sr:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 323/412 [47:23<13:09,  8.87s/it]
+
mmlu_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 324/412 [47:33<13:51,  9.44s/it]
+
mmlu_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 325/412 [47:42<13:14,  9.13s/it]
+
mmlu_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 326/412 [47:50<12:51,  8.97s/it]
+
mmlu_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 327/412 [48:00<12:51,  9.08s/it]
+
mmlu_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 328/412 [48:09<12:51,  9.18s/it]
+
mmlu_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 329/412 [48:18<12:42,  9.18s/it]
+
mmlu_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 330/412 [48:27<12:12,  8.93s/it]
+
mmlu_sr:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 331/412 [48:37<12:50,  9.51s/it]
+
mmlu_sr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 332/412 [48:46<12:29,  9.37s/it]
+
mmlu_sr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 333/412 [48:55<11:56,  9.07s/it]
+
mmlu_sr:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 334/412 [49:03<11:22,  8.75s/it]
+
mmlu_sr:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 335/412 [49:12<11:12,  8.74s/it]
+
mmlu_sr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 336/412 [49:19<10:43,  8.47s/it]
+
mmlu_sr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 337/412 [49:29<10:55,  8.74s/it]
+
mmlu_sr:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 338/412 [49:37<10:41,  8.67s/it]
+
mmlu_sr:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 339/412 [49:46<10:44,  8.82s/it]
+
mmlu_sr:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 340/412 [49:55<10:30,  8.76s/it]
+
mmlu_sr:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 341/412 [50:04<10:34,  8.93s/it]
+
mmlu_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 342/412 [50:14<10:44,  9.21s/it]
+
mmlu_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 343/412 [50:23<10:31,  9.16s/it]
+
mmlu_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 344/412 [50:32<10:14,  9.03s/it]
+
mmlu_sr:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 345/412 [50:41<10:10,  9.11s/it]
+
mmlu_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 346/412 [50:49<09:41,  8.81s/it]
+
mmlu_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 347/412 [50:58<09:23,  8.67s/it]
+
mmlu_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 348/412 [51:07<09:33,  8.97s/it]
+
mmlu_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 349/412 [51:17<09:32,  9.08s/it]
+
mmlu_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 350/412 [51:26<09:27,  9.15s/it]
+
mmlu_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 351/412 [51:36<09:25,  9.26s/it]
+
mmlu_sr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 352/412 [51:45<09:22,  9.38s/it]
+
mmlu_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 353/412 [51:56<09:29,  9.65s/it]
+
mmlu_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 354/412 [52:04<09:04,  9.40s/it]
+
mmlu_sr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 355/412 [52:13<08:47,  9.25s/it]
+
mmlu_sr:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 356/412 [52:22<08:22,  8.97s/it]
+
mmlu_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 357/412 [52:30<08:09,  8.91s/it]
+
mmlu_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 358/412 [52:39<07:59,  8.87s/it]
+
mmlu_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 359/412 [52:48<07:51,  8.90s/it]
+
mmlu_sr:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 360/412 [52:58<07:53,  9.11s/it]
+
mmlu_sr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 361/412 [53:07<07:44,  9.11s/it]
+
mmlu_sr:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 362/412 [53:15<07:27,  8.95s/it]
+
mmlu_sr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 363/412 [53:25<07:20,  9.00s/it]
+
mmlu_sr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 364/412 [53:33<07:08,  8.93s/it]
+
mmlu_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 365/412 [53:42<07:02,  8.98s/it]
+
mmlu_sr:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 366/412 [53:50<06:36,  8.62s/it]
+
mmlu_sr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 367/412 [53:58<06:21,  8.48s/it]
+
mmlu_sr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 368/412 [54:07<06:22,  8.68s/it]
+
mmlu_sr:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 369/412 [54:17<06:18,  8.80s/it]
+
mmlu_sr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 370/412 [54:27<06:26,  9.19s/it]
+
mmlu_sr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 371/412 [54:35<06:05,  8.92s/it]
+
mmlu_sr:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 372/412 [54:44<05:52,  8.82s/it]
+
mmlu_sr:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 373/412 [54:53<05:57,  9.16s/it]
+
mmlu_sr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 374/412 [55:04<05:59,  9.46s/it]
+
mmlu_sr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 375/412 [55:13<05:50,  9.48s/it]
+
mmlu_sr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 376/412 [55:21<05:28,  9.12s/it]
+
mmlu_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 377/412 [55:31<05:19,  9.13s/it]
+
mmlu_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 378/412 [55:39<05:04,  8.95s/it]
+
mmlu_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 379/412 [55:48<04:52,  8.85s/it]
+
mmlu_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 380/412 [55:56<04:33,  8.54s/it]
+
mmlu_sr:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 381/412 [56:04<04:27,  8.63s/it]
+
mmlu_sr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 382/412 [56:12<04:12,  8.42s/it]
+
mmlu_sr:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 383/412 [56:21<04:09,  8.61s/it]
+
mmlu_sr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 384/412 [56:30<03:57,  8.49s/it]
+
mmlu_sr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 385/412 [56:38<03:46,  8.39s/it]
+
mmlu_sr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 386/412 [56:47<03:46,  8.71s/it]
+
mmlu_sr:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 387/412 [56:56<03:35,  8.63s/it]
+
mmlu_sr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 388/412 [57:05<03:28,  8.69s/it]
+
mmlu_sr:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 389/412 [57:13<03:20,  8.70s/it]
+
mmlu_sr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 390/412 [57:22<03:11,  8.72s/it]
+
mmlu_sr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 391/412 [57:30<02:57,  8.45s/it]
+
mmlu_sr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 392/412 [57:37<02:42,  8.11s/it]
+
mmlu_sr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 393/412 [57:46<02:36,  8.22s/it]
+
mmlu_sr:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 394/412 [57:55<02:31,  8.44s/it]
+
mmlu_sr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 395/412 [58:02<02:20,  8.25s/it]
+
mmlu_sr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 396/412 [58:10<02:10,  8.14s/it]
+
mmlu_sr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 397/412 [58:19<02:03,  8.21s/it]
+
mmlu_sr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 398/412 [58:27<01:56,  8.29s/it]
+
mmlu_sr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 399/412 [58:37<01:53,  8.71s/it]
+
mmlu_sr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 400/412 [58:46<01:46,  8.88s/it]
+
mmlu_sr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 401/412 [58:54<01:34,  8.63s/it]
+
mmlu_sr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 402/412 [59:03<01:27,  8.71s/it]
+
mmlu_sr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 403/412 [59:13<01:21,  9.03s/it]
+
mmlu_sr:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 404/412 [59:21<01:10,  8.75s/it]
+
mmlu_sr:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 405/412 [59:30<01:01,  8.75s/it]
+
mmlu_sr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [59:39<00:53,  8.86s/it]
+
mmlu_sr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [59:48<00:44,  8.91s/it]
+
mmlu_sr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [59:56<00:35,  8.81s/it]
+
mmlu_sr:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [1:00:05<00:26,  8.81s/it]
+
mmlu_sr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [1:00:14<00:17,  8.92s/it]
+
mmlu_sr: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [1:00:24<00:09,  9.07s/it]
+
mmlu_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [1:00:31<00:00,  8.46s/it]
mmlu_sr: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [1:00:31<00:00,  8.81s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sr_acc 0.3154179002505124
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sr_acc_norm 0.30289227966294696
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 22:32:06,974 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 22:32:06,974 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:07,103 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 22:32:07,103 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:07,231 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 22:32:07,231 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:07,359 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 22:32:07,361 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 22:32:07,361 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 22:32:07,490 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 22:32:07,490 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sr_acc'}
+2024-05-31 22:32:07,556 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 22:32:07,556 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1251, 'value': 0.3154179002505124}
+2024-05-31 22:32:07,621 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 22:32:08,279 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 22:32:08,279 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:08,409 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 22:32:08,409 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:08,538 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 22:32:08,539 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:08,668 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 22:32:08,669 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 22:32:08,669 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 22:32:08,799 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 22:32:08,799 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sr_acc_norm'}
+2024-05-31 22:32:08,865 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 22:32:08,865 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1252, 'value': 0.30289227966294696}
+2024-05-31 22:32:08,931 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  70%|███████████████████████████████████████████████████████████████████████████▊                                | 87/124 [63:44:38<41:57:12, 4081.95s/it]['mmlu_sv']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 22:32:09,564 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 22:32:09,564 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:09,688 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 22:32:09,688 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:09,812 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 22:32:09,812 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 22:32:09,936 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 22:32:09,937 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 22:32:09,937 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_sv'}
+2024-05-31 22:32:10,062 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_sv task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1774 examples [00:00, 16853.22 examples/s]
+
Generating test split: 5116 examples [00:00, 26389.49 examples/s]
+
Generating test split: 8635 examples [00:00, 30354.17 examples/s]
+
Generating test split: 12000 examples [00:00, 31621.51 examples/s]
Generating test split: 13226 examples [00:00, 29605.12 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 268 examples [00:00, 27347.06 examples/s]
+Running loglikelihood requests
+
+
mmlu_sv:   0%|                                                                                                                               | 0/414 [00:00<?, ?it/s]
+
mmlu_sv:   0%|▎                                                                                                                      | 1/414 [00:07<53:51,  7.82s/it]
+
mmlu_sv:   0%|▌                                                                                                                      | 2/414 [00:15<51:10,  7.45s/it]
+
mmlu_sv:   1%|▊                                                                                                                      | 3/414 [00:23<53:38,  7.83s/it]
+
mmlu_sv:   1%|█▏                                                                                                                     | 4/414 [00:30<52:21,  7.66s/it]
+
mmlu_sv:   1%|█▍                                                                                                                     | 5/414 [00:39<53:54,  7.91s/it]
+
mmlu_sv:   1%|█▋                                                                                                                     | 6/414 [00:46<53:22,  7.85s/it]
+
mmlu_sv:   2%|██                                                                                                                     | 7/414 [00:54<51:51,  7.64s/it]
+
mmlu_sv:   2%|██▎                                                                                                                    | 8/414 [01:00<49:46,  7.36s/it]
+
mmlu_sv:   2%|██▌                                                                                                                    | 9/414 [01:09<51:55,  7.69s/it]
+
mmlu_sv:   2%|██▊                                                                                                                   | 10/414 [01:18<54:30,  8.10s/it]
+
mmlu_sv:   3%|███▏                                                                                                                  | 11/414 [01:26<54:22,  8.09s/it]
+
mmlu_sv:   3%|███▍                                                                                                                  | 12/414 [01:32<51:08,  7.63s/it]
+
mmlu_sv:   3%|███▋                                                                                                                  | 13/414 [01:40<51:18,  7.68s/it]
+
mmlu_sv:   3%|███▉                                                                                                                  | 14/414 [01:47<49:43,  7.46s/it]
+
mmlu_sv:   4%|████▎                                                                                                                 | 15/414 [01:55<49:34,  7.46s/it]
+
mmlu_sv:   4%|████▌                                                                                                                 | 16/414 [02:02<49:42,  7.49s/it]
+
mmlu_sv:   4%|████▊                                                                                                                 | 17/414 [02:09<48:35,  7.34s/it]
+
mmlu_sv:   4%|█████▏                                                                                                                | 18/414 [02:18<50:40,  7.68s/it]
+
mmlu_sv:   5%|█████▍                                                                                                                | 19/414 [02:25<50:08,  7.62s/it]
+
mmlu_sv:   5%|█████▋                                                                                                                | 20/414 [02:32<48:56,  7.45s/it]
+
mmlu_sv:   5%|█████▉                                                                                                                | 21/414 [02:40<50:05,  7.65s/it]
+
mmlu_sv:   5%|██████▎                                                                                                               | 22/414 [02:48<50:49,  7.78s/it]
+
mmlu_sv:   6%|██████▌                                                                                                               | 23/414 [02:55<48:54,  7.51s/it]
+
mmlu_sv:   6%|██████▊                                                                                                               | 24/414 [03:03<50:08,  7.71s/it]
+
mmlu_sv:   6%|███████▏                                                                                                              | 25/414 [03:12<52:05,  8.03s/it]
+
mmlu_sv:   6%|███████▍                                                                                                              | 26/414 [03:19<49:04,  7.59s/it]
+
mmlu_sv:   7%|███████▋                                                                                                              | 27/414 [03:26<48:42,  7.55s/it]
+
mmlu_sv:   7%|███████▉                                                                                                              | 28/414 [03:33<48:03,  7.47s/it]
+
mmlu_sv:   7%|████████▎                                                                                                             | 29/414 [03:41<48:27,  7.55s/it]
+
mmlu_sv:   7%|████████▌                                                                                                             | 30/414 [03:49<48:09,  7.53s/it]
+
mmlu_sv:   7%|████████▊                                                                                                             | 31/414 [03:56<46:50,  7.34s/it]
+
mmlu_sv:   8%|█████████                                                                                                             | 32/414 [04:02<45:46,  7.19s/it]
+
mmlu_sv:   8%|█████████▍                                                                                                            | 33/414 [04:10<45:34,  7.18s/it]
+
mmlu_sv:   8%|█████████▋                                                                                                            | 34/414 [04:17<46:05,  7.28s/it]
+
mmlu_sv:   8%|█████████▉                                                                                                            | 35/414 [04:25<46:37,  7.38s/it]
+
mmlu_sv:   9%|██████████▎                                                                                                           | 36/414 [04:32<46:04,  7.31s/it]
+
mmlu_sv:   9%|██████████▌                                                                                                           | 37/414 [04:39<45:13,  7.20s/it]
+
mmlu_sv:   9%|██████████▊                                                                                                           | 38/414 [04:46<45:29,  7.26s/it]
+
mmlu_sv:   9%|███████████                                                                                                           | 39/414 [04:54<46:43,  7.48s/it]
+
mmlu_sv:  10%|███████████▍                                                                                                          | 40/414 [05:02<46:24,  7.44s/it]
+
mmlu_sv:  10%|███████████▋                                                                                                          | 41/414 [05:09<46:42,  7.51s/it]
+
mmlu_sv:  10%|███████████▉                                                                                                          | 42/414 [05:18<48:08,  7.76s/it]
+
mmlu_sv:  10%|████████████▎                                                                                                         | 43/414 [05:25<47:02,  7.61s/it]
+
mmlu_sv:  11%|████████████▌                                                                                                         | 44/414 [05:33<48:41,  7.90s/it]
+
mmlu_sv:  11%|████████████▊                                                                                                         | 45/414 [05:41<47:44,  7.76s/it]
+
mmlu_sv:  11%|█████████████                                                                                                         | 46/414 [05:48<47:24,  7.73s/it]
+
mmlu_sv:  11%|█████████████▍                                                                                                        | 47/414 [05:56<46:44,  7.64s/it]
+
mmlu_sv:  12%|█████████████▋                                                                                                        | 48/414 [06:05<48:30,  7.95s/it]
+
mmlu_sv:  12%|█████████████▉                                                                                                        | 49/414 [06:12<47:13,  7.76s/it]
+
mmlu_sv:  12%|██████████████▎                                                                                                       | 50/414 [06:20<47:25,  7.82s/it]
+
mmlu_sv:  12%|██████████████▌                                                                                                       | 51/414 [06:27<46:12,  7.64s/it]
+
mmlu_sv:  13%|██████████████▊                                                                                                       | 52/414 [06:35<45:50,  7.60s/it]
+
mmlu_sv:  13%|███████████████                                                                                                       | 53/414 [06:43<46:33,  7.74s/it]
+
mmlu_sv:  13%|███████████████▍                                                                                                      | 54/414 [06:51<47:06,  7.85s/it]
+
mmlu_sv:  13%|███████████████▋                                                                                                      | 55/414 [06:58<45:16,  7.57s/it]
+
mmlu_sv:  14%|███████████████▉                                                                                                      | 56/414 [07:05<44:35,  7.47s/it]
+
mmlu_sv:  14%|████████████████▏                                                                                                     | 57/414 [07:12<44:24,  7.46s/it]
+
mmlu_sv:  14%|████████████████▌                                                                                                     | 58/414 [07:20<43:57,  7.41s/it]
+
mmlu_sv:  14%|████████████████▊                                                                                                     | 59/414 [07:27<43:25,  7.34s/it]
+
mmlu_sv:  14%|█████████████████                                                                                                     | 60/414 [07:35<45:37,  7.73s/it]
+
mmlu_sv:  15%|█████████████████▍                                                                                                    | 61/414 [07:44<46:12,  7.86s/it]
+
mmlu_sv:  15%|█████████████████▋                                                                                                    | 62/414 [07:51<46:04,  7.85s/it]
+
mmlu_sv:  15%|█████████████████▉                                                                                                    | 63/414 [07:59<45:31,  7.78s/it]
+
mmlu_sv:  15%|██████████████████▏                                                                                                   | 64/414 [08:06<44:44,  7.67s/it]
+
mmlu_sv:  16%|██████████████████▌                                                                                                   | 65/414 [08:14<43:40,  7.51s/it]
+
mmlu_sv:  16%|██████████████████▊                                                                                                   | 66/414 [08:21<42:35,  7.34s/it]
+
mmlu_sv:  16%|███████████████████                                                                                                   | 67/414 [08:28<42:26,  7.34s/it]
+
mmlu_sv:  16%|███████████████████▍                                                                                                  | 68/414 [08:36<43:30,  7.54s/it]
+
mmlu_sv:  17%|███████████████████▋                                                                                                  | 69/414 [08:44<44:29,  7.74s/it]
+
mmlu_sv:  17%|███████████████████▉                                                                                                  | 70/414 [08:51<43:04,  7.51s/it]
+
mmlu_sv:  17%|████████████████████▏                                                                                                 | 71/414 [08:59<43:23,  7.59s/it]
+
mmlu_sv:  17%|████████████████████▌                                                                                                 | 72/414 [09:06<42:54,  7.53s/it]
+
mmlu_sv:  18%|████████████████████▊                                                                                                 | 73/414 [09:14<43:12,  7.60s/it]
+
mmlu_sv:  18%|█████████████████████                                                                                                 | 74/414 [09:22<43:45,  7.72s/it]
+
mmlu_sv:  18%|█████████████████████▍                                                                                                | 75/414 [09:30<44:00,  7.79s/it]
+
mmlu_sv:  18%|█████████████████████▋                                                                                                | 76/414 [09:37<42:52,  7.61s/it]
+
mmlu_sv:  19%|█████████████████████▉                                                                                                | 77/414 [09:45<42:30,  7.57s/it]
+
mmlu_sv:  19%|██████████████████████▏                                                                                               | 78/414 [09:53<43:09,  7.71s/it]
+
mmlu_sv:  19%|██████████████████████▌                                                                                               | 79/414 [10:01<44:01,  7.89s/it]
+
mmlu_sv:  19%|██████████████████████▊                                                                                               | 80/414 [10:08<42:58,  7.72s/it]
+
mmlu_sv:  20%|███████████████████████                                                                                               | 81/414 [10:17<43:41,  7.87s/it]
+
mmlu_sv:  20%|███████████████████████▎                                                                                              | 82/414 [10:24<42:33,  7.69s/it]
+
mmlu_sv:  20%|███████████████████████▋                                                                                              | 83/414 [10:31<41:40,  7.56s/it]
+
mmlu_sv:  20%|███████████████████████▉                                                                                              | 84/414 [10:38<40:36,  7.38s/it]
+
mmlu_sv:  21%|████████████████████████▏                                                                                             | 85/414 [10:45<40:02,  7.30s/it]
+
mmlu_sv:  21%|████████████████████████▌                                                                                             | 86/414 [10:52<39:41,  7.26s/it]
+
mmlu_sv:  21%|████████████████████████▊                                                                                             | 87/414 [10:59<39:11,  7.19s/it]
+
mmlu_sv:  21%|█████████████████████████                                                                                             | 88/414 [11:07<39:16,  7.23s/it]
+
mmlu_sv:  21%|█████████████████████████▎                                                                                            | 89/414 [11:15<41:22,  7.64s/it]
+
mmlu_sv:  22%|█████████████████████████▋                                                                                            | 90/414 [11:22<40:19,  7.47s/it]
+
mmlu_sv:  22%|█████████████████████████▉                                                                                            | 91/414 [11:30<41:03,  7.63s/it]
+
mmlu_sv:  22%|██████████████████████████▏                                                                                           | 92/414 [11:37<39:52,  7.43s/it]
+
mmlu_sv:  22%|██████████████████████████▌                                                                                           | 93/414 [11:44<38:54,  7.27s/it]
+
mmlu_sv:  23%|██████████████████████████▊                                                                                           | 94/414 [11:52<40:09,  7.53s/it]
+
mmlu_sv:  23%|███████████████████████████                                                                                           | 95/414 [12:00<39:31,  7.44s/it]
+
mmlu_sv:  23%|███████████████████████████▎                                                                                          | 96/414 [12:07<39:17,  7.41s/it]
+
mmlu_sv:  23%|███████████████████████████▋                                                                                          | 97/414 [12:14<38:43,  7.33s/it]
+
mmlu_sv:  24%|███████████████████████████▉                                                                                          | 98/414 [12:21<37:56,  7.21s/it]
+
mmlu_sv:  24%|████████████████████████████▏                                                                                         | 99/414 [12:28<37:24,  7.12s/it]
+
mmlu_sv:  24%|████████████████████████████▎                                                                                        | 100/414 [12:35<37:46,  7.22s/it]
+
mmlu_sv:  24%|████████████████████████████▌                                                                                        | 101/414 [12:44<39:26,  7.56s/it]
+
mmlu_sv:  25%|████████████████████████████▊                                                                                        | 102/414 [12:51<39:44,  7.64s/it]
+
mmlu_sv:  25%|█████████████████████████████                                                                                        | 103/414 [13:00<41:26,  7.99s/it]
+
mmlu_sv:  25%|█████████████████████████████▍                                                                                       | 104/414 [13:07<39:25,  7.63s/it]
+
mmlu_sv:  25%|█████████████████████████████▋                                                                                       | 105/414 [13:14<38:01,  7.38s/it]
+
mmlu_sv:  26%|█████████████████████████████▉                                                                                       | 106/414 [13:22<38:44,  7.55s/it]
+
mmlu_sv:  26%|██████████████████████████████▏                                                                                      | 107/414 [13:30<38:56,  7.61s/it]
+
mmlu_sv:  26%|██████████████████████████████▌                                                                                      | 108/414 [13:37<38:30,  7.55s/it]
+
mmlu_sv:  26%|██████████████████████████████▊                                                                                      | 109/414 [13:45<39:11,  7.71s/it]
+
mmlu_sv:  27%|███████████████████████████████                                                                                      | 110/414 [13:53<39:02,  7.71s/it]
+
mmlu_sv:  27%|███████████████████████████████▎                                                                                     | 111/414 [14:00<38:39,  7.66s/it]
+
mmlu_sv:  27%|███████████████████████████████▋                                                                                     | 112/414 [14:07<37:45,  7.50s/it]
+
mmlu_sv:  27%|███████████████████████████████▉                                                                                     | 113/414 [14:15<37:12,  7.42s/it]
+
mmlu_sv:  28%|████████████████████████████████▏                                                                                    | 114/414 [14:22<36:16,  7.26s/it]
+
mmlu_sv:  28%|████████████████████████████████▌                                                                                    | 115/414 [14:29<36:35,  7.34s/it]
+
mmlu_sv:  28%|████████████████████████████████▊                                                                                    | 116/414 [14:37<36:59,  7.45s/it]
+
mmlu_sv:  28%|█████████████████████████████████                                                                                    | 117/414 [14:45<38:01,  7.68s/it]
+
mmlu_sv:  29%|█████████████████████████████████▎                                                                                   | 118/414 [14:52<37:25,  7.59s/it]
+
mmlu_sv:  29%|█████████████████████████████████▋                                                                                   | 119/414 [14:59<36:31,  7.43s/it]
+
mmlu_sv:  29%|█████████████████████████████████▉                                                                                   | 120/414 [15:06<35:51,  7.32s/it]
+
mmlu_sv:  29%|██████████████████████████████████▏                                                                                  | 121/414 [15:14<35:33,  7.28s/it]
+
mmlu_sv:  29%|██████████████████████████████████▍                                                                                  | 122/414 [15:22<36:21,  7.47s/it]
+
mmlu_sv:  30%|██████████████████████████████████▊                                                                                  | 123/414 [15:29<35:56,  7.41s/it]
+
mmlu_sv:  30%|███████████████████████████████████                                                                                  | 124/414 [15:36<35:06,  7.26s/it]
+
mmlu_sv:  30%|███████████████████████████████████▎                                                                                 | 125/414 [15:43<35:08,  7.29s/it]
+
mmlu_sv:  30%|███████████████████████████████████▌                                                                                 | 126/414 [15:50<34:44,  7.24s/it]
+
mmlu_sv:  31%|███████████████████████████████████▉                                                                                 | 127/414 [15:59<37:03,  7.75s/it]
+
mmlu_sv:  31%|████████████████████████████████████▏                                                                                | 128/414 [16:07<37:04,  7.78s/it]
+
mmlu_sv:  31%|████████████████████████████████████▍                                                                                | 129/414 [16:15<36:37,  7.71s/it]
+
mmlu_sv:  31%|████████████████████████████████████▋                                                                                | 130/414 [16:22<35:25,  7.48s/it]
+
mmlu_sv:  32%|█████████████████████████████████████                                                                                | 131/414 [16:29<35:19,  7.49s/it]
+
mmlu_sv:  32%|█████████████████████████████████████▎                                                                               | 132/414 [16:37<36:20,  7.73s/it]
+
mmlu_sv:  32%|█████████████████████████████████████▌                                                                               | 133/414 [16:46<37:04,  7.92s/it]
+
mmlu_sv:  32%|█████████████████████████████████████▊                                                                               | 134/414 [16:53<36:26,  7.81s/it]
+
mmlu_sv:  33%|██████████████████████████████████████▏                                                                              | 135/414 [17:01<35:45,  7.69s/it]
+
mmlu_sv:  33%|██████████████████████████████████████▍                                                                              | 136/414 [17:09<35:56,  7.76s/it]
+
mmlu_sv:  33%|██████████████████████████████████████▋                                                                              | 137/414 [17:16<35:46,  7.75s/it]
+
mmlu_sv:  33%|███████████████████████████████████████                                                                              | 138/414 [17:24<35:36,  7.74s/it]
+
mmlu_sv:  34%|███████████████████████████████████████▎                                                                             | 139/414 [17:31<34:41,  7.57s/it]
+
mmlu_sv:  34%|███████████████████████████████████████▌                                                                             | 140/414 [17:38<34:03,  7.46s/it]
+
mmlu_sv:  34%|███████████████████████████████████████▊                                                                             | 141/414 [17:45<32:05,  7.05s/it]
+
mmlu_sv:  34%|████████████████████████████████████████▏                                                                            | 142/414 [17:52<32:09,  7.09s/it]
+
mmlu_sv:  35%|████████████████████████████████████████▍                                                                            | 143/414 [17:59<31:54,  7.06s/it]
+
mmlu_sv:  35%|████████████████████████████████████████▋                                                                            | 144/414 [18:08<34:58,  7.77s/it]
+
mmlu_sv:  35%|████████████████████████████████████████▉                                                                            | 145/414 [18:16<34:22,  7.67s/it]
+
mmlu_sv:  35%|█████████████████████████████████████████▎                                                                           | 146/414 [18:24<34:45,  7.78s/it]
+
mmlu_sv:  36%|█████████████████████████████████████████▌                                                                           | 147/414 [18:31<33:58,  7.64s/it]
+
mmlu_sv:  36%|█████████████████████████████████████████▊                                                                           | 148/414 [18:38<33:39,  7.59s/it]
+
mmlu_sv:  36%|██████████████████████████████████████████                                                                           | 149/414 [18:47<35:01,  7.93s/it]
+
mmlu_sv:  36%|██████████████████████████████████████████▍                                                                          | 150/414 [18:54<33:51,  7.70s/it]
+
mmlu_sv:  36%|██████████████████████████████████████████▋                                                                          | 151/414 [19:02<34:08,  7.79s/it]
+
mmlu_sv:  37%|██████████████████████████████████████████▉                                                                          | 152/414 [19:10<33:34,  7.69s/it]
+
mmlu_sv:  37%|███████████████████████████████████████████▏                                                                         | 153/414 [19:18<33:56,  7.80s/it]
+
mmlu_sv:  37%|███████████████████████████████████████████▌                                                                         | 154/414 [19:25<33:26,  7.72s/it]
+
mmlu_sv:  37%|███████████████████████████████████████████▊                                                                         | 155/414 [19:33<33:47,  7.83s/it]
+
mmlu_sv:  38%|████████████████████████████████████████████                                                                         | 156/414 [19:41<33:49,  7.87s/it]
+
mmlu_sv:  38%|████████████████████████████████████████████▎                                                                        | 157/414 [19:49<32:56,  7.69s/it]
+
mmlu_sv:  38%|████████████████████████████████████████████▋                                                                        | 158/414 [19:56<32:23,  7.59s/it]
+
mmlu_sv:  38%|████████████████████████████████████████████▉                                                                        | 159/414 [20:04<33:02,  7.78s/it]
+
mmlu_sv:  39%|█████████████████████████████████████████████▏                                                                       | 160/414 [20:11<32:08,  7.59s/it]
+
mmlu_sv:  39%|█████████████████████████████████████████████▌                                                                       | 161/414 [20:19<32:11,  7.63s/it]
+
mmlu_sv:  39%|█████████████████████████████████████████████▊                                                                       | 162/414 [20:27<32:22,  7.71s/it]
+
mmlu_sv:  39%|██████████████████████████████████████████████                                                                       | 163/414 [20:35<32:32,  7.78s/it]
+
mmlu_sv:  40%|██████████████████████████████████████████████▎                                                                      | 164/414 [20:43<32:48,  7.88s/it]
+
mmlu_sv:  40%|██████████████████████████████████████████████▋                                                                      | 165/414 [20:51<33:11,  8.00s/it]
+
mmlu_sv:  40%|██████████████████████████████████████████████▉                                                                      | 166/414 [20:59<32:04,  7.76s/it]
+
mmlu_sv:  40%|███████████████████████████████████████████████▏                                                                     | 167/414 [21:07<32:52,  7.99s/it]
+
mmlu_sv:  41%|███████████████████████████████████████████████▍                                                                     | 168/414 [21:14<31:39,  7.72s/it]
+
mmlu_sv:  41%|███████████████████████████████████████████████▊                                                                     | 169/414 [21:22<31:13,  7.65s/it]
+
mmlu_sv:  41%|████████████████████████████████████████████████                                                                     | 170/414 [21:30<31:37,  7.78s/it]
+
mmlu_sv:  41%|████████████████████████████████████████████████▎                                                                    | 171/414 [21:37<31:32,  7.79s/it]
+
mmlu_sv:  42%|████████████████████████████████████████████████▌                                                                    | 172/414 [21:45<31:21,  7.77s/it]
+
mmlu_sv:  42%|████████████████████████████████████████████████▉                                                                    | 173/414 [21:53<31:40,  7.89s/it]
+
mmlu_sv:  42%|█████████████████████████████████████████████████▏                                                                   | 174/414 [22:01<30:42,  7.68s/it]
+
mmlu_sv:  42%|█████████████████████████████████████████████████▍                                                                   | 175/414 [22:08<30:52,  7.75s/it]
+
mmlu_sv:  43%|█████████████████████████████████████████████████▋                                                                   | 176/414 [22:16<30:29,  7.69s/it]
+
mmlu_sv:  43%|██████████████████████████████████████████████████                                                                   | 177/414 [22:23<29:27,  7.46s/it]
+
mmlu_sv:  43%|██████████████████████████████████████████████████▎                                                                  | 178/414 [22:30<29:12,  7.43s/it]
+
mmlu_sv:  43%|██████████████████████████████████████████████████▌                                                                  | 179/414 [22:38<29:37,  7.57s/it]
+
mmlu_sv:  43%|██████████████████████████████████████████████████▊                                                                  | 180/414 [22:46<29:43,  7.62s/it]
+
mmlu_sv:  44%|███████████████████████████████████████████████████▏                                                                 | 181/414 [22:53<29:10,  7.51s/it]
+
mmlu_sv:  44%|███████████████████████████████████████████████████▍                                                                 | 182/414 [23:01<29:31,  7.64s/it]
+
mmlu_sv:  44%|███████████████████████████████████████████████████▋                                                                 | 183/414 [23:09<29:22,  7.63s/it]
+
mmlu_sv:  44%|████████████████████████████████████████████████████                                                                 | 184/414 [23:16<28:26,  7.42s/it]
+
mmlu_sv:  45%|████████████████████████████████████████████████████▎                                                                | 185/414 [23:24<29:44,  7.79s/it]
+
mmlu_sv:  45%|████████████████████████████████████████████████████▌                                                                | 186/414 [23:33<30:33,  8.04s/it]
+
mmlu_sv:  45%|████████████████████████████████████████████████████▊                                                                | 187/414 [23:40<28:57,  7.65s/it]
+
mmlu_sv:  45%|█████████████████████████████████████████████████████▏                                                               | 188/414 [23:48<29:19,  7.79s/it]
+
mmlu_sv:  46%|█████████████████████████████████████████████████████▍                                                               | 189/414 [23:55<28:33,  7.62s/it]
+
mmlu_sv:  46%|█████████████████████████████████████████████████████▋                                                               | 190/414 [24:03<28:30,  7.64s/it]
+
mmlu_sv:  46%|█████████████████████████████████████████████████████▉                                                               | 191/414 [24:10<28:10,  7.58s/it]
+
mmlu_sv:  46%|██████████████████████████████████████████████████████▎                                                              | 192/414 [24:18<27:58,  7.56s/it]
+
mmlu_sv:  47%|██████████████████████████████████████████████████████▌                                                              | 193/414 [24:26<28:28,  7.73s/it]
+
mmlu_sv:  47%|██████████████████████████████████████████████████████▊                                                              | 194/414 [24:33<27:31,  7.51s/it]
+
mmlu_sv:  47%|███████████████████████████████████████████████████████                                                              | 195/414 [24:41<27:55,  7.65s/it]
+
mmlu_sv:  47%|███████████████████████████████████████████████████████▍                                                             | 196/414 [24:48<27:15,  7.50s/it]
+
mmlu_sv:  48%|███████████████████████████████████████████████████████▋                                                             | 197/414 [24:56<28:01,  7.75s/it]
+
mmlu_sv:  48%|███████████████████████████████████████████████████████▉                                                             | 198/414 [25:04<27:24,  7.62s/it]
+
mmlu_sv:  48%|████████████████████████████████████████████████████████▏                                                            | 199/414 [25:11<27:06,  7.57s/it]
+
mmlu_sv:  48%|████████████████████████████████████████████████████████▌                                                            | 200/414 [25:19<27:11,  7.62s/it]
+
mmlu_sv:  49%|████████████████████████████████████████████████████████▊                                                            | 201/414 [25:26<26:20,  7.42s/it]
+
mmlu_sv:  49%|█████████████████████████████████████████████████████████                                                            | 202/414 [25:34<26:37,  7.54s/it]
+
mmlu_sv:  49%|█████████████████████████████████████████████████████████▎                                                           | 203/414 [25:40<25:55,  7.37s/it]
+
mmlu_sv:  49%|█████████████████████████████████████████████████████████▋                                                           | 204/414 [25:48<26:06,  7.46s/it]
+
mmlu_sv:  50%|█████████████████████████████████████████████████████████▉                                                           | 205/414 [25:56<26:53,  7.72s/it]
+
mmlu_sv:  50%|██████████████████████████████████████████████████████████▏                                                          | 206/414 [26:04<26:37,  7.68s/it]
+
mmlu_sv:  50%|██████████████████████████████████████████████████████████▌                                                          | 207/414 [26:11<26:07,  7.57s/it]
+
mmlu_sv:  50%|██████████████████████████████████████████████████████████▊                                                          | 208/414 [26:19<26:08,  7.61s/it]
+
mmlu_sv:  50%|███████████████████████████████████████████████████████████                                                          | 209/414 [26:25<24:45,  7.25s/it]
+
mmlu_sv:  51%|███████████████████████████████████████████████████████████▎                                                         | 210/414 [26:33<24:51,  7.31s/it]
+
mmlu_sv:  51%|███████████████████████████████████████████████████████████▋                                                         | 211/414 [26:40<24:45,  7.32s/it]
+
mmlu_sv:  51%|███████████████████████████████████████████████████████████▉                                                         | 212/414 [26:48<25:26,  7.56s/it]
+
mmlu_sv:  51%|████████████████████████████████████████████████████████████▏                                                        | 213/414 [26:56<25:09,  7.51s/it]
+
mmlu_sv:  52%|████████████████████████████████████████████████████████████▍                                                        | 214/414 [27:03<24:22,  7.31s/it]
+
mmlu_sv:  52%|████████████████████████████████████████████████████████████▊                                                        | 215/414 [27:10<24:30,  7.39s/it]
+
mmlu_sv:  52%|█████████████████████████████████████████████████████████████                                                        | 216/414 [27:17<24:16,  7.36s/it]
+
mmlu_sv:  52%|█████████████████████████████████████████████████████████████▎                                                       | 217/414 [27:25<24:16,  7.39s/it]
+
mmlu_sv:  53%|█████████████████████████████████████████████████████████████▌                                                       | 218/414 [27:32<24:01,  7.35s/it]
+
mmlu_sv:  53%|█████████████████████████████████████████████████████████████▉                                                       | 219/414 [27:40<23:58,  7.38s/it]
+
mmlu_sv:  53%|██████████████████████████████████████████████████████████████▏                                                      | 220/414 [27:48<24:27,  7.56s/it]
+
mmlu_sv:  53%|██████████████████████████████████████████████████████████████▍                                                      | 221/414 [27:55<24:29,  7.61s/it]
+
mmlu_sv:  54%|██████████████████████████████████████████████████████████████▋                                                      | 222/414 [28:03<24:22,  7.62s/it]
+
mmlu_sv:  54%|███████████████████████████████████████████████████████████████                                                      | 223/414 [28:10<23:30,  7.39s/it]
+
mmlu_sv:  54%|███████████████████████████████████████████████████████████████▎                                                     | 224/414 [28:18<24:23,  7.70s/it]
+
mmlu_sv:  54%|███████████████████████████████████████████████████████████████▌                                                     | 225/414 [28:26<24:40,  7.83s/it]
+
mmlu_sv:  55%|███████████████████████████████████████████████████████████████▊                                                     | 226/414 [28:34<24:43,  7.89s/it]
+
mmlu_sv:  55%|████████████████████████████████████████████████████████████████▏                                                    | 227/414 [28:42<24:17,  7.79s/it]
+
mmlu_sv:  55%|████████████████████████████████████████████████████████████████▍                                                    | 228/414 [28:50<24:29,  7.90s/it]
+
mmlu_sv:  55%|████████████████████████████████████████████████████████████████▋                                                    | 229/414 [28:58<24:14,  7.86s/it]
+
mmlu_sv:  56%|█████████████████████████████████████████████████████████████████                                                    | 230/414 [29:06<24:12,  7.89s/it]
+
mmlu_sv:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 231/414 [29:14<24:13,  7.94s/it]
+
mmlu_sv:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 232/414 [29:22<23:50,  7.86s/it]
+
mmlu_sv:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 233/414 [29:30<23:45,  7.88s/it]
+
mmlu_sv:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 234/414 [29:37<22:48,  7.60s/it]
+
mmlu_sv:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 235/414 [29:45<23:18,  7.81s/it]
+
mmlu_sv:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 236/414 [29:53<23:23,  7.88s/it]
+
mmlu_sv:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 237/414 [30:00<22:52,  7.75s/it]
+
mmlu_sv:  57%|███████████████████████████████████████████████████████████████████▎                                                 | 238/414 [30:08<22:31,  7.68s/it]
+
mmlu_sv:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 239/414 [30:15<21:56,  7.52s/it]
+
mmlu_sv:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 240/414 [30:24<22:44,  7.84s/it]
+
mmlu_sv:  58%|████████████████████████████████████████████████████████████████████                                                 | 241/414 [30:31<22:13,  7.71s/it]
+
mmlu_sv:  58%|████████████████████████████████████████████████████████████████████▍                                                | 242/414 [30:40<23:22,  8.15s/it]
+
mmlu_sv:  59%|████████████████████████████████████████████████████████████████████▋                                                | 243/414 [30:48<22:40,  7.96s/it]
+
mmlu_sv:  59%|████████████████████████████████████████████████████████████████████▉                                                | 244/414 [30:55<22:00,  7.77s/it]
+
mmlu_sv:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 245/414 [31:02<21:37,  7.67s/it]
+
mmlu_sv:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 246/414 [31:12<22:51,  8.16s/it]
+
mmlu_sv:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 247/414 [31:19<22:05,  7.94s/it]
+
mmlu_sv:  60%|██████████████████████████████████████████████████████████████████████                                               | 248/414 [31:27<22:10,  8.01s/it]
+
mmlu_sv:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 249/414 [31:34<21:01,  7.64s/it]
+
mmlu_sv:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 250/414 [31:43<21:51,  8.00s/it]
+
mmlu_sv:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 251/414 [31:50<20:36,  7.58s/it]
+
mmlu_sv:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 252/414 [31:56<19:40,  7.29s/it]
+
mmlu_sv:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 253/414 [32:04<20:21,  7.59s/it]
+
mmlu_sv:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 254/414 [32:12<20:33,  7.71s/it]
+
mmlu_sv:  62%|████████████████████████████████████████████████████████████████████████                                             | 255/414 [32:21<20:46,  7.84s/it]
+
mmlu_sv:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 256/414 [32:27<19:44,  7.50s/it]
+
mmlu_sv:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 257/414 [32:35<20:04,  7.67s/it]
+
mmlu_sv:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 258/414 [32:43<19:42,  7.58s/it]
+
mmlu_sv:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 259/414 [32:50<19:26,  7.52s/it]
+
mmlu_sv:  63%|█████████████████████████████████████████████████████████████████████████▍                                           | 260/414 [32:58<19:16,  7.51s/it]
+
mmlu_sv:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 261/414 [33:06<19:32,  7.66s/it]
+
mmlu_sv:  63%|██████████████████████████████████████████████████████████████████████████                                           | 262/414 [33:13<19:01,  7.51s/it]
+
mmlu_sv:  64%|██████████████████████████████████████████████████████████████████████████▎                                          | 263/414 [33:20<18:52,  7.50s/it]
+
mmlu_sv:  64%|██████████████████████████████████████████████████████████████████████████▌                                          | 264/414 [33:28<19:10,  7.67s/it]
+
mmlu_sv:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 265/414 [33:36<18:43,  7.54s/it]
+
mmlu_sv:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 266/414 [33:43<18:15,  7.40s/it]
+
mmlu_sv:  64%|███████████████████████████████████████████████████████████████████████████▍                                         | 267/414 [33:50<18:13,  7.44s/it]
+
mmlu_sv:  65%|███████████████████████████████████████████████████████████████████████████▋                                         | 268/414 [33:59<18:45,  7.71s/it]
+
mmlu_sv:  65%|████████████████████████████████████████████████████████████████████████████                                         | 269/414 [34:07<19:25,  8.04s/it]
+
mmlu_sv:  65%|████████████████████████████████████████████████████████████████████████████▎                                        | 270/414 [34:14<18:39,  7.78s/it]
+
mmlu_sv:  65%|████████████████████████████████████████████████████████████████████████████▌                                        | 271/414 [34:23<18:42,  7.85s/it]
+
mmlu_sv:  66%|████████████████████████████████████████████████████████████████████████████▊                                        | 272/414 [34:30<17:58,  7.60s/it]
+
mmlu_sv:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 273/414 [34:37<17:29,  7.44s/it]
+
mmlu_sv:  66%|█████████████████████████████████████████████████████████████████████████████▍                                       | 274/414 [34:44<17:06,  7.33s/it]
+
mmlu_sv:  66%|█████████████████████████████████████████████████████████████████████████████▋                                       | 275/414 [34:51<17:03,  7.36s/it]
+
mmlu_sv:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 276/414 [34:59<17:36,  7.66s/it]
+
mmlu_sv:  67%|██████████████████████████████████████████████████████████████████████████████▎                                      | 277/414 [35:07<17:12,  7.54s/it]
+
mmlu_sv:  67%|██████████████████████████████████████████████████████████████████████████████▌                                      | 278/414 [35:14<16:48,  7.42s/it]
+
mmlu_sv:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 279/414 [35:21<16:43,  7.43s/it]
+
mmlu_sv:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 280/414 [35:29<16:42,  7.48s/it]
+
mmlu_sv:  68%|███████████████████████████████████████████████████████████████████████████████▍                                     | 281/414 [35:36<16:27,  7.42s/it]
+
mmlu_sv:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 282/414 [35:44<16:47,  7.64s/it]
+
mmlu_sv:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 283/414 [35:52<16:32,  7.57s/it]
+
mmlu_sv:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 284/414 [35:59<16:20,  7.54s/it]
+
mmlu_sv:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 285/414 [36:08<16:46,  7.80s/it]
+
mmlu_sv:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 286/414 [36:16<16:43,  7.84s/it]
+
mmlu_sv:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 287/414 [36:24<17:05,  8.07s/it]
+
mmlu_sv:  70%|█████████████████████████████████████████████████████████████████████████████████▍                                   | 288/414 [36:32<16:36,  7.91s/it]
+
mmlu_sv:  70%|█████████████████████████████████████████████████████████████████████████████████▋                                   | 289/414 [36:40<16:31,  7.93s/it]
+
mmlu_sv:  70%|█████████████████████████████████████████████████████████████████████████████████▉                                   | 290/414 [36:48<16:31,  8.00s/it]
+
mmlu_sv:  70%|██████████████████████████████████████████████████████████████████████████████████▏                                  | 291/414 [36:55<16:01,  7.82s/it]
+
mmlu_sv:  71%|██████████████████████████████████████████████████████████████████████████████████▌                                  | 292/414 [37:03<16:08,  7.94s/it]
+
mmlu_sv:  71%|██████████████████████████████████████████████████████████████████████████████████▊                                  | 293/414 [37:10<15:26,  7.66s/it]
+
mmlu_sv:  71%|███████████████████████████████████████████████████████████████████████████████████                                  | 294/414 [37:18<15:00,  7.51s/it]
+
mmlu_sv:  71%|███████████████████████████████████████████████████████████████████████████████████▎                                 | 295/414 [37:26<15:32,  7.83s/it]
+
mmlu_sv:  71%|███████████████████████████████████████████████████████████████████████████████████▋                                 | 296/414 [37:35<15:47,  8.03s/it]
+
mmlu_sv:  72%|███████████████████████████████████████████████████████████████████████████████████▉                                 | 297/414 [37:42<15:03,  7.72s/it]
+
mmlu_sv:  72%|████████████████████████████████████████████████████████████████████████████████████▏                                | 298/414 [37:49<14:42,  7.61s/it]
+
mmlu_sv:  72%|████████████████████████████████████████████████████████████████████████████████████▌                                | 299/414 [37:56<14:06,  7.36s/it]
+
mmlu_sv:  72%|████████████████████████████████████████████████████████████████████████████████████▊                                | 300/414 [38:03<13:47,  7.26s/it]
+
mmlu_sv:  73%|█████████████████████████████████████████████████████████████████████████████████████                                | 301/414 [38:12<14:47,  7.86s/it]
+
mmlu_sv:  73%|█████████████████████████████████████████████████████████████████████████████████████▎                               | 302/414 [38:20<14:42,  7.88s/it]
+
mmlu_sv:  73%|█████████████████████████████████████████████████████████████████████████████████████▋                               | 303/414 [38:27<13:54,  7.52s/it]
+
mmlu_sv:  73%|█████████████████████████████████████████████████████████████████████████████████████▉                               | 304/414 [38:34<13:37,  7.43s/it]
+
mmlu_sv:  74%|██████████████████████████████████████████████████████████████████████████████████████▏                              | 305/414 [38:41<13:21,  7.35s/it]
+
mmlu_sv:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 306/414 [38:49<13:24,  7.45s/it]
+
mmlu_sv:  74%|██████████████████████████████████████████████████████████████████████████████████████▊                              | 307/414 [38:56<13:06,  7.35s/it]
+
mmlu_sv:  74%|███████████████████████████████████████████████████████████████████████████████████████                              | 308/414 [39:03<13:00,  7.36s/it]
+
mmlu_sv:  75%|███████████████████████████████████████████████████████████████████████████████████████▎                             | 309/414 [39:12<13:19,  7.62s/it]
+
mmlu_sv:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 310/414 [39:21<13:56,  8.05s/it]
+
mmlu_sv:  75%|███████████████████████████████████████████████████████████████████████████████████████▉                             | 311/414 [39:29<13:59,  8.15s/it]
+
mmlu_sv:  75%|████████████████████████████████████████████████████████████████████████████████████████▏                            | 312/414 [39:36<13:29,  7.94s/it]
+
mmlu_sv:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 313/414 [39:45<13:34,  8.06s/it]
+
mmlu_sv:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 314/414 [39:53<13:21,  8.01s/it]
+
mmlu_sv:  76%|█████████████████████████████████████████████████████████████████████████████████████████                            | 315/414 [40:01<13:09,  7.97s/it]
+
mmlu_sv:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 316/414 [40:09<13:06,  8.02s/it]
+
mmlu_sv:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 317/414 [40:16<12:43,  7.87s/it]
+
mmlu_sv:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 318/414 [40:24<12:43,  7.95s/it]
+
mmlu_sv:  77%|██████████████████████████████████████████████████████████████████████████████████████████▏                          | 319/414 [40:32<12:18,  7.77s/it]
+
mmlu_sv:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 320/414 [40:40<12:17,  7.85s/it]
+
mmlu_sv:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 321/414 [40:47<11:57,  7.71s/it]
+
mmlu_sv:  78%|███████████████████████████████████████████████████████████████████████████████████████████                          | 322/414 [40:54<11:35,  7.56s/it]
+
mmlu_sv:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 323/414 [41:02<11:43,  7.73s/it]
+
mmlu_sv:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 324/414 [41:10<11:45,  7.83s/it]
+
mmlu_sv:  79%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 325/414 [41:18<11:22,  7.66s/it]
+
mmlu_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████████▏                        | 326/414 [41:25<11:13,  7.65s/it]
+
mmlu_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 327/414 [41:33<11:11,  7.72s/it]
+
mmlu_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 328/414 [41:40<10:45,  7.51s/it]
+
mmlu_sv:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 329/414 [41:48<10:31,  7.43s/it]
+
mmlu_sv:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 330/414 [41:56<10:55,  7.80s/it]
+
mmlu_sv:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 331/414 [42:05<11:08,  8.05s/it]
+
mmlu_sv:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 332/414 [42:12<10:47,  7.90s/it]
+
mmlu_sv:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 333/414 [42:20<10:34,  7.84s/it]
+
mmlu_sv:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 334/414 [42:28<10:33,  7.92s/it]
+
mmlu_sv:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 335/414 [42:36<10:15,  7.79s/it]
+
mmlu_sv:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 336/414 [42:44<10:15,  7.90s/it]
+
mmlu_sv:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 337/414 [42:52<10:13,  7.97s/it]
+
mmlu_sv:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 338/414 [42:59<09:55,  7.84s/it]
+
mmlu_sv:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 339/414 [43:08<09:53,  7.92s/it]
+
mmlu_sv:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 340/414 [43:17<10:17,  8.34s/it]
+
mmlu_sv:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 341/414 [43:24<09:44,  8.01s/it]
+
mmlu_sv:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 342/414 [43:32<09:34,  7.97s/it]
+
mmlu_sv:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 343/414 [43:40<09:22,  7.92s/it]
+
mmlu_sv:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 344/414 [43:47<08:57,  7.67s/it]
+
mmlu_sv:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 345/414 [43:56<09:11,  8.00s/it]
+
mmlu_sv:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 346/414 [44:03<08:54,  7.87s/it]
+
mmlu_sv:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 347/414 [44:10<08:31,  7.63s/it]
+
mmlu_sv:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 348/414 [44:18<08:15,  7.51s/it]
+
mmlu_sv:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 349/414 [44:25<08:13,  7.58s/it]
+
mmlu_sv:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 350/414 [44:32<07:56,  7.44s/it]
+
mmlu_sv:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 351/414 [44:40<07:48,  7.43s/it]
+
mmlu_sv:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 352/414 [44:48<07:51,  7.60s/it]
+
mmlu_sv:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 353/414 [44:56<08:02,  7.92s/it]
+
mmlu_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████                 | 354/414 [45:03<07:38,  7.63s/it]
+
mmlu_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 355/414 [45:11<07:34,  7.71s/it]
+
mmlu_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 356/414 [45:18<07:12,  7.46s/it]
+
mmlu_sv:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 357/414 [45:26<07:18,  7.69s/it]
+
mmlu_sv:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 358/414 [45:34<07:00,  7.52s/it]
+
mmlu_sv:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 359/414 [45:41<06:55,  7.55s/it]
+
mmlu_sv:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 360/414 [45:50<07:05,  7.87s/it]
+
mmlu_sv:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████               | 361/414 [45:57<06:53,  7.81s/it]
+
mmlu_sv:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 362/414 [46:05<06:44,  7.77s/it]
+
mmlu_sv:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 363/414 [46:13<06:36,  7.77s/it]
+
mmlu_sv:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 364/414 [46:22<06:53,  8.27s/it]
+
mmlu_sv:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 365/414 [46:30<06:35,  8.07s/it]
+
mmlu_sv:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 366/414 [46:38<06:25,  8.04s/it]
+
mmlu_sv:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 367/414 [46:45<06:03,  7.74s/it]
+
mmlu_sv:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████             | 368/414 [46:53<05:58,  7.79s/it]
+
mmlu_sv:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 369/414 [47:00<05:44,  7.65s/it]
+
mmlu_sv:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 370/414 [47:08<05:40,  7.74s/it]
+
mmlu_sv:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 371/414 [47:16<05:40,  7.93s/it]
+
mmlu_sv:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 372/414 [47:25<05:34,  7.95s/it]
+
mmlu_sv:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 373/414 [47:32<05:18,  7.78s/it]
+
mmlu_sv:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 374/414 [47:40<05:21,  8.03s/it]
+
mmlu_sv:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 375/414 [47:48<05:05,  7.82s/it]
+
mmlu_sv:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 376/414 [47:55<04:51,  7.68s/it]
+
mmlu_sv:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 377/414 [48:02<04:39,  7.54s/it]
+
mmlu_sv:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 378/414 [48:10<04:29,  7.48s/it]
+
mmlu_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 379/414 [48:17<04:22,  7.51s/it]
+
mmlu_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 380/414 [48:24<04:10,  7.36s/it]
+
mmlu_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 381/414 [48:33<04:15,  7.76s/it]
+
mmlu_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 382/414 [48:41<04:12,  7.90s/it]
+
mmlu_sv:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 383/414 [48:49<04:03,  7.85s/it]
+
mmlu_sv:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 384/414 [48:57<03:59,  7.98s/it]
+
mmlu_sv:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 385/414 [49:04<03:44,  7.74s/it]
+
mmlu_sv:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 386/414 [49:12<03:33,  7.62s/it]
+
mmlu_sv:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 387/414 [49:19<03:20,  7.42s/it]
+
mmlu_sv:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 388/414 [49:27<03:17,  7.58s/it]
+
mmlu_sv:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 389/414 [49:34<03:11,  7.66s/it]
+
mmlu_sv:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 390/414 [49:42<03:00,  7.52s/it]
+
mmlu_sv:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 391/414 [49:49<02:51,  7.46s/it]
+
mmlu_sv:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 392/414 [49:58<02:52,  7.86s/it]
+
mmlu_sv:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 393/414 [50:05<02:40,  7.66s/it]
+
mmlu_sv:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 394/414 [50:13<02:35,  7.78s/it]
+
mmlu_sv:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 395/414 [50:21<02:28,  7.80s/it]
+
mmlu_sv:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 396/414 [50:28<02:18,  7.71s/it]
+
mmlu_sv:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 397/414 [50:35<02:07,  7.49s/it]
+
mmlu_sv:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 398/414 [50:43<01:59,  7.48s/it]
+
mmlu_sv:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 399/414 [50:50<01:51,  7.43s/it]
+
mmlu_sv:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 400/414 [50:58<01:45,  7.55s/it]
+
mmlu_sv:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 401/414 [51:05<01:37,  7.52s/it]
+
mmlu_sv:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 402/414 [51:13<01:29,  7.42s/it]
+
mmlu_sv:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 403/414 [51:20<01:21,  7.44s/it]
+
mmlu_sv:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 404/414 [51:28<01:15,  7.57s/it]
+
mmlu_sv:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 405/414 [51:38<01:13,  8.20s/it]
+
mmlu_sv:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 406/414 [51:45<01:03,  7.99s/it]
+
mmlu_sv:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 407/414 [51:52<00:54,  7.78s/it]
+
mmlu_sv:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 408/414 [52:00<00:45,  7.63s/it]
+
mmlu_sv:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 409/414 [52:08<00:38,  7.67s/it]
+
mmlu_sv:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 410/414 [52:15<00:30,  7.61s/it]
+
mmlu_sv:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 411/414 [52:23<00:23,  7.69s/it]
+
mmlu_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 412/414 [52:32<00:15,  7.98s/it]
+
mmlu_sv: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 413/414 [52:39<00:07,  7.93s/it]
+
mmlu_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [52:44<00:00,  7.05s/it]
mmlu_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 414/414 [52:44<00:00,  7.64s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sv_acc 0.36261908362316647
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_sv_acc_norm 0.3307878421291396
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 23:24:57,648 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 23:24:57,648 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:57,777 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 23:24:57,777 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:57,906 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 23:24:57,906 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:58,035 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 23:24:58,036 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 23:24:58,036 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 23:24:58,167 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 23:24:58,167 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_sv_acc'}
+2024-05-31 23:24:58,232 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 23:24:58,233 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1253, 'value': 0.36261908362316647}
+2024-05-31 23:24:58,298 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 23:24:58,951 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 23:24:58,951 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:59,080 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 23:24:59,080 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:59,208 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 23:24:59,208 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-05-31 23:24:59,337 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-05-31 23:24:59,467 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-05-31 23:24:59,467 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_sv_acc_norm'}
+2024-05-31 23:24:59,533 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-05-31 23:24:59,533 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1254, 'value': 0.3307878421291396}
+2024-05-31 23:24:59,598 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  71%|████████████████████████████████████████████████████████████████████████████▋                               | 88/124 [64:37:28<38:05:08, 3808.57s/it]['mmlu_ta']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 23:25:00,245 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 23:25:00,245 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:25:00,372 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 23:25:00,372 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:25:00,499 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 23:25:00,499 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:25:00,626 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 23:25:00,627 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 23:25:00,627 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'mmlu_ta'}
+2024-05-31 23:25:00,755 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_ta task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  8.49 examples/s]
+
Generating test split: 3207 examples [00:00, 17575.63 examples/s]
+
Generating test split: 6518 examples [00:00, 24393.57 examples/s]
+
Generating test split: 9809 examples [00:00, 27673.29 examples/s]
Generating test split: 11599 examples [00:00, 23886.22 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 251 examples [00:00, 25631.69 examples/s]
+Running loglikelihood requests
+
+
mmlu_ta:   0%|                                                                                                                               | 0/363 [00:00<?, ?it/s]
+
mmlu_ta:   0%|▎                                                                                                                    | 1/363 [00:32<3:16:52, 32.63s/it]
+
mmlu_ta:   1%|▋                                                                                                                    | 2/363 [00:56<2:46:21, 27.65s/it]
+
mmlu_ta:   1%|▉                                                                                                                    | 3/363 [01:14<2:17:36, 22.94s/it]
+
mmlu_ta:   1%|█▎                                                                                                                   | 4/363 [01:35<2:14:16, 22.44s/it]
+
mmlu_ta:   1%|█▌                                                                                                                   | 5/363 [01:58<2:15:09, 22.65s/it]
+
mmlu_ta:   2%|█▉                                                                                                                   | 6/363 [02:24<2:20:55, 23.68s/it]
+
mmlu_ta:   2%|██▎                                                                                                                  | 7/363 [02:48<2:20:15, 23.64s/it]
+
mmlu_ta:   2%|██▌                                                                                                                  | 8/363 [03:23<2:42:00, 27.38s/it]
+
mmlu_ta:   2%|██▉                                                                                                                  | 9/363 [03:50<2:41:13, 27.33s/it]
+
mmlu_ta:   3%|███▏                                                                                                                | 10/363 [04:17<2:40:07, 27.22s/it]
+
mmlu_ta:   3%|███▌                                                                                                                | 11/363 [04:49<2:47:51, 28.61s/it]
+
mmlu_ta:   3%|███▊                                                                                                                | 12/363 [05:28<3:05:23, 31.69s/it]
+
mmlu_ta:   4%|████▏                                                                                                               | 13/363 [05:50<2:48:49, 28.94s/it]
+
mmlu_ta:   4%|████▍                                                                                                               | 14/363 [06:19<2:47:45, 28.84s/it]
+
mmlu_ta:   4%|████▊                                                                                                               | 15/363 [06:49<2:49:15, 29.18s/it]
+
mmlu_ta:   4%|█████                                                                                                               | 16/363 [07:10<2:35:22, 26.87s/it]
+
mmlu_ta:   5%|█████▍                                                                                                              | 17/363 [07:37<2:34:15, 26.75s/it]
+
mmlu_ta:   5%|█████▊                                                                                                              | 18/363 [08:03<2:32:49, 26.58s/it]
+
mmlu_ta:   5%|██████                                                                                                              | 19/363 [08:35<2:41:17, 28.13s/it]
+
mmlu_ta:   6%|██████▍                                                                                                             | 20/363 [09:09<2:51:47, 30.05s/it]
+
mmlu_ta:   6%|██████▋                                                                                                             | 21/363 [09:40<2:52:43, 30.30s/it]
+
mmlu_ta:   6%|███████                                                                                                             | 22/363 [10:04<2:41:11, 28.36s/it]
+
mmlu_ta:   6%|███████▎                                                                                                            | 23/363 [10:29<2:34:32, 27.27s/it]
+
mmlu_ta:   7%|███████▋                                                                                                            | 24/363 [11:01<2:41:59, 28.67s/it]
+
mmlu_ta:   7%|███████▉                                                                                                            | 25/363 [11:27<2:36:54, 27.85s/it]
+
mmlu_ta:   7%|████████▎                                                                                                           | 26/363 [11:51<2:30:15, 26.75s/it]
+
mmlu_ta:   7%|████████▋                                                                                                           | 27/363 [12:16<2:26:48, 26.22s/it]
+
mmlu_ta:   8%|████████▉                                                                                                           | 28/363 [12:42<2:26:50, 26.30s/it]
+
mmlu_ta:   8%|█████████▎                                                                                                          | 29/363 [13:10<2:29:38, 26.88s/it]
+
mmlu_ta:   8%|█████████▌                                                                                                          | 30/363 [13:34<2:23:54, 25.93s/it]
+
mmlu_ta:   9%|█████████▉                                                                                                          | 31/363 [13:57<2:18:16, 24.99s/it]
+
mmlu_ta:   9%|██████████▏                                                                                                         | 32/363 [14:31<2:32:14, 27.60s/it]
+
mmlu_ta:   9%|██████████▌                                                                                                         | 33/363 [14:55<2:26:52, 26.70s/it]
+
mmlu_ta:   9%|██████████▊                                                                                                         | 34/363 [15:23<2:28:36, 27.10s/it]
+
mmlu_ta:  10%|███████████▏                                                                                                        | 35/363 [15:45<2:18:50, 25.40s/it]
+
mmlu_ta:  10%|███████████▌                                                                                                        | 36/363 [16:09<2:15:49, 24.92s/it]
+
mmlu_ta:  10%|███████████▊                                                                                                        | 37/363 [16:34<2:16:22, 25.10s/it]
+
mmlu_ta:  10%|████████████▏                                                                                                       | 38/363 [16:56<2:11:30, 24.28s/it]
+
mmlu_ta:  11%|████████████▍                                                                                                       | 39/363 [17:25<2:18:44, 25.69s/it]
+
mmlu_ta:  11%|████████████▊                                                                                                       | 40/363 [17:49<2:14:33, 25.00s/it]
+
mmlu_ta:  11%|█████████████                                                                                                       | 41/363 [18:15<2:16:43, 25.48s/it]
+
mmlu_ta:  12%|█████████████▍                                                                                                      | 42/363 [18:38<2:12:03, 24.68s/it]
+
mmlu_ta:  12%|█████████████▋                                                                                                      | 43/363 [19:07<2:18:27, 25.96s/it]
+
mmlu_ta:  12%|██████████████                                                                                                      | 44/363 [19:37<2:23:39, 27.02s/it]
+
mmlu_ta:  12%|██████████████▍                                                                                                     | 45/363 [20:02<2:20:00, 26.42s/it]
+
mmlu_ta:  13%|██████████████▋                                                                                                     | 46/363 [20:23<2:11:47, 24.95s/it]
+
mmlu_ta:  13%|███████████████                                                                                                     | 47/363 [20:52<2:17:54, 26.18s/it]
+
mmlu_ta:  13%|███████████████▎                                                                                                    | 48/363 [21:20<2:19:17, 26.53s/it]
+
mmlu_ta:  13%|███████████████▋                                                                                                    | 49/363 [21:50<2:25:21, 27.78s/it]
+
mmlu_ta:  14%|███████████████▉                                                                                                    | 50/363 [22:12<2:14:59, 25.88s/it]
+
mmlu_ta:  14%|████████████████▎                                                                                                   | 51/363 [22:38<2:15:24, 26.04s/it]
+
mmlu_ta:  14%|████████████████▌                                                                                                   | 52/363 [23:00<2:08:26, 24.78s/it]
+
mmlu_ta:  15%|████████████████▉                                                                                                   | 53/363 [23:24<2:07:07, 24.60s/it]
+
mmlu_ta:  15%|█████████████████▎                                                                                                  | 54/363 [23:55<2:16:52, 26.58s/it]
+
mmlu_ta:  15%|█████████████████▌                                                                                                  | 55/363 [24:21<2:15:19, 26.36s/it]
+
mmlu_ta:  15%|█████████████████▉                                                                                                  | 56/363 [24:53<2:23:34, 28.06s/it]
mmlu_ta:  15%|█████████████████▉                                                                                                  | 56/363 [25:22<2:19:04, 27.18s/it]
+/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py:296: UserWarning: Could not evaluate task task=<lm_eval.tasks.multilingual_mmlu.create_task.<locals>.HendrycksTest object at 0x7f580047d4b0>
+Traceback (most recent call last):
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/utils/_errors.py", line 304, in hf_raise_for_status
+    response.raise_for_status()
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/requests/models.py", line 1021, in raise_for_status
+    raise HTTPError(http_error_msg, response=self)
+requests.exceptions.HTTPError: 422 Client Error: Unprocessable Entity for url: http://127.0.0.1:8080/
+
+The above exception was the direct cause of the following exception:
+
+Traceback (most recent call last):
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 2031, in text_generation
+    bytes_output = self.post(json=payload, model=model, task="text-generation", stream=stream)  # type: ignore
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 273, in post
+    hf_raise_for_status(response)
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/utils/_errors.py", line 371, in hf_raise_for_status
+    raise HfHubHTTPError(str(e), response=response) from e
+huggingface_hub.utils._errors.HfHubHTTPError: 422 Client Error: Unprocessable Entity for url: http://127.0.0.1:8080/
+
+Input validation error: `inputs` tokens + `max_new_tokens` must be <= 8193. Given: 8192 `inputs` tokens and 130 `max_new_tokens`
+Make sure 'text-generation' task is supported by the model.
+
+The above exception was the direct cause of the following exception:
+
+Traceback (most recent call last):
+  File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 285, in harness_eval
+    results = lm_eval.evaluator.evaluate(
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/utils.py", line 205, in _wrapper
+    return fn(*args, **kwargs)
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/lm_eval/evaluator.py", line 250, in evaluate
+    resps = getattr(lm, reqtype)([req.args for req in reqs])
+  File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 390, in loglikelihood
+    return self.evaluator.log_prob_and_correct(data=requests)
+  File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/eval.py", line 123, in log_prob_and_correct
+    selected = self.remote_model.select_from_objects(reqs)
+  File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/tools/tgi_local.py", line 144, in select_from_objects
+    responses = list(executor.map(self.local_query, requests))
+  File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 621, in result_iterator
+    yield _result_or_cancel(fs.pop())
+  File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 319, in _result_or_cancel
+    return fut.result(timeout)
+  File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 451, in result
+    return self.__get_result()
+  File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/_base.py", line 403, in __get_result
+    raise self._exception
+  File "/home/ec2-user/anaconda3/lib/python3.10/concurrent/futures/thread.py", line 58, in run
+    result = self.fn(*self.args, **self.kwargs)
+  File "/home/ec2-user/SageMaker/chonky-studies/evaluation/chonky_eval/tools/tgi_local.py", line 80, in local_query
+    return self.client.text_generation(**query)
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_client.py", line 2060, in text_generation
+    raise_text_generation_error(e)
+  File "/home/ec2-user/anaconda3/lib/python3.10/site-packages/huggingface_hub/inference/_common.py", line 457, in raise_text_generation_error
+    raise exception from http_error
+huggingface_hub.errors.ValidationError: Input validation error: `inputs` tokens + `max_new_tokens` must be <= 8193. Given: 8192 `inputs` tokens and 130 `max_new_tokens`
+
+  warnings.warn(f"Could not evaluate task {task=}\n{traceback.format_exc()}")
+
ALL TASKS:  72%|█████████████████████████████████████████████████████████████████████████████▌                              | 89/124 [65:02:53<30:21:56, 3123.32s/it]['mmlu_te']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-05-31 23:50:24,673 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-05-31 23:50:24,674 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:50:24,805 INFO sqlalchemy.engine.Engine select current_schema()
+2024-05-31 23:50:24,805 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:50:24,936 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-05-31 23:50:24,936 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-05-31 23:50:25,067 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-05-31 23:50:25,068 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-05-31 23:50:25,068 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'mmlu_te'}
+2024-05-31 23:50:25,200 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_te task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1735 examples [00:00, 13524.86 examples/s]
+
Generating test split: 5000 examples [00:00, 23414.81 examples/s]
+
Generating test split: 8406 examples [00:00, 27960.10 examples/s]
Generating test split: 11375 examples [00:00, 26595.58 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 272 examples [00:00, 26049.79 examples/s]
+Running loglikelihood requests
+
+
mmlu_te:   0%|                                                                                                                               | 0/356 [00:00<?, ?it/s]
+
mmlu_te:   0%|▎                                                                                                                    | 1/356 [00:19<1:53:05, 19.11s/it]
+
mmlu_te:   1%|▋                                                                                                                    | 2/356 [00:36<1:47:34, 18.23s/it]
+
mmlu_te:   1%|▉                                                                                                                    | 3/356 [00:55<1:48:47, 18.49s/it]
+
mmlu_te:   1%|█▎                                                                                                                   | 4/356 [01:17<1:55:41, 19.72s/it]
+
mmlu_te:   1%|█▋                                                                                                                   | 5/356 [01:34<1:50:24, 18.87s/it]
+
mmlu_te:   2%|█▉                                                                                                                   | 6/356 [01:55<1:53:19, 19.43s/it]
+
mmlu_te:   2%|██▎                                                                                                                  | 7/356 [02:13<1:51:03, 19.09s/it]
+
mmlu_te:   2%|██▋                                                                                                                  | 8/356 [02:29<1:45:03, 18.11s/it]
+
mmlu_te:   3%|██▉                                                                                                                  | 9/356 [02:51<1:52:14, 19.41s/it]
+
mmlu_te:   3%|███▎                                                                                                                | 10/356 [03:13<1:56:57, 20.28s/it]
+
mmlu_te:   3%|███▌                                                                                                                | 11/356 [03:34<1:57:11, 20.38s/it]
+
mmlu_te:   3%|███▉                                                                                                                | 12/356 [03:58<2:02:38, 21.39s/it]
+
mmlu_te:   4%|████▏                                                                                                               | 13/356 [04:16<1:57:13, 20.51s/it]
+
mmlu_te:   4%|████▌                                                                                                               | 14/356 [04:34<1:52:28, 19.73s/it]
+
mmlu_te:   4%|████▉                                                                                                               | 15/356 [04:50<1:45:28, 18.56s/it]
+
mmlu_te:   4%|█████▏                                                                                                              | 16/356 [05:07<1:42:46, 18.14s/it]
+
mmlu_te:   5%|█████▌                                                                                                              | 17/356 [05:26<1:44:24, 18.48s/it]
+
mmlu_te:   5%|█████▊                                                                                                              | 18/356 [05:49<1:51:21, 19.77s/it]
+
mmlu_te:   5%|██████▏                                                                                                             | 19/356 [06:13<1:58:21, 21.07s/it]
+
mmlu_te:   6%|██████▌                                                                                                             | 20/356 [06:32<1:54:21, 20.42s/it]
+
mmlu_te:   6%|██████▊                                                                                                             | 21/356 [06:51<1:52:07, 20.08s/it]
+
mmlu_te:   6%|███████▏                                                                                                            | 22/356 [07:08<1:45:25, 18.94s/it]
+
mmlu_te:   6%|███████▍                                                                                                            | 23/356 [07:24<1:41:13, 18.24s/it]
+
mmlu_te:   7%|███████▊                                                                                                            | 24/356 [07:42<1:39:08, 17.92s/it]
+
mmlu_te:   7%|████████▏                                                                                                           | 25/356 [08:05<1:47:56, 19.57s/it]
+
mmlu_te:   7%|████████▍                                                                                                           | 26/356 [08:29<1:54:16, 20.78s/it]
+
mmlu_te:   8%|████████▊                                                                                                           | 27/356 [08:46<1:49:11, 19.91s/it]
+
mmlu_te:   8%|█████████                                                                                                           | 28/356 [09:07<1:50:23, 20.19s/it]
+
mmlu_te:   8%|█████████▍                                                                                                          | 29/356 [09:24<1:44:06, 19.10s/it]
+
mmlu_te:   8%|█████████▊                                                                                                          | 30/356 [09:39<1:38:00, 18.04s/it]
+
mmlu_te:   9%|██████████                                                                                                          | 31/356 [09:57<1:37:26, 17.99s/it]
+
mmlu_te:   9%|██████████▍                                                                                                         | 32/356 [10:21<1:46:49, 19.78s/it]
+
mmlu_te:   9%|██████████▊                                                                                                         | 33/356 [10:43<1:49:01, 20.25s/it]
+
mmlu_te:  10%|███████████                                                                                                         | 34/356 [11:03<1:49:11, 20.35s/it]
+
mmlu_te:  10%|███████████▍                                                                                                        | 35/356 [11:25<1:50:30, 20.65s/it]
+
mmlu_te:  10%|███████████▋                                                                                                        | 36/356 [11:41<1:43:26, 19.39s/it]
+
mmlu_te:  10%|████████████                                                                                                        | 37/356 [12:01<1:43:56, 19.55s/it]
+
mmlu_te:  11%|████████████▍                                                                                                       | 38/356 [12:18<1:40:13, 18.91s/it]
+
mmlu_te:  11%|████████████▋                                                                                                       | 39/356 [12:32<1:32:02, 17.42s/it]
+
mmlu_te:  11%|█████████████                                                                                                       | 40/356 [12:50<1:32:42, 17.60s/it]
+
mmlu_te:  12%|█████████████▎                                                                                                      | 41/356 [13:06<1:29:52, 17.12s/it]
+
mmlu_te:  12%|█████████████▋                                                                                                      | 42/356 [13:23<1:28:50, 16.98s/it]
+
mmlu_te:  12%|██████████████                                                                                                      | 43/356 [13:43<1:33:58, 18.01s/it]
+
mmlu_te:  12%|██████████████▎                                                                                                     | 44/356 [14:06<1:40:17, 19.29s/it]
+
mmlu_te:  13%|██████████████▋                                                                                                     | 45/356 [14:23<1:36:51, 18.69s/it]
+
mmlu_te:  13%|██████████████▉                                                                                                     | 46/356 [14:44<1:40:52, 19.52s/it]
+
mmlu_te:  13%|███████████████▎                                                                                                    | 47/356 [15:02<1:38:11, 19.07s/it]
+
mmlu_te:  13%|███████████████▋                                                                                                    | 48/356 [15:20<1:34:56, 18.50s/it]
+
mmlu_te:  14%|███████████████▉                                                                                                    | 49/356 [15:36<1:31:01, 17.79s/it]
+
mmlu_te:  14%|████████████████▎                                                                                                   | 50/356 [15:54<1:31:45, 17.99s/it]
+
mmlu_te:  14%|████████████████▌                                                                                                   | 51/356 [16:08<1:25:16, 16.77s/it]
+
mmlu_te:  15%|████████████████▉                                                                                                   | 52/356 [16:29<1:30:32, 17.87s/it]
+
mmlu_te:  15%|█████████████████▎                                                                                                  | 53/356 [16:45<1:28:48, 17.58s/it]
+
mmlu_te:  15%|█████████████████▌                                                                                                  | 54/356 [17:05<1:31:47, 18.24s/it]
+
mmlu_te:  15%|█████████████████▉                                                                                                  | 55/356 [17:24<1:32:01, 18.34s/it]
+
mmlu_te:  16%|██████████████████▏                                                                                                 | 56/356 [17:38<1:25:57, 17.19s/it]
+
mmlu_te:  16%|██████████████████▌                                                                                                 | 57/356 [17:57<1:28:16, 17.71s/it]
+
mmlu_te:  16%|██████████████████▉                                                                                                 | 58/356 [18:15<1:28:44, 17.87s/it]
+
mmlu_te:  17%|███████████████████▏                                                                                                | 59/356 [18:34<1:29:38, 18.11s/it]
+
mmlu_te:  17%|███████████████████▌                                                                                                | 60/356 [18:54<1:31:48, 18.61s/it]
+
mmlu_te:  17%|███████████████████▉                                                                                                | 61/356 [19:17<1:37:55, 19.92s/it]
+
mmlu_te:  17%|████████████████████▏                                                                                               | 62/356 [19:36<1:36:05, 19.61s/it]
+
mmlu_te:  18%|████████████████████▌                                                                                               | 63/356 [19:49<1:26:47, 17.77s/it]
+
mmlu_te:  18%|████████████████████▊                                                                                               | 64/356 [20:13<1:35:26, 19.61s/it]
+
mmlu_te:  18%|█████████████████████▏                                                                                              | 65/356 [20:32<1:34:17, 19.44s/it]
+
mmlu_te:  19%|█████████████████████▌                                                                                              | 66/356 [20:54<1:37:27, 20.16s/it]
+
mmlu_te:  19%|█████████████████████▊                                                                                              | 67/356 [21:12<1:34:16, 19.57s/it]
+
mmlu_te:  19%|██████████████████████▏                                                                                             | 68/356 [21:29<1:30:15, 18.80s/it]
+
mmlu_te:  19%|██████████████████████▍                                                                                             | 69/356 [21:50<1:32:49, 19.41s/it]
+
mmlu_te:  20%|██████████████████████▊                                                                                             | 70/356 [22:08<1:30:57, 19.08s/it]
+
mmlu_te:  20%|███████████████████████▏                                                                                            | 71/356 [22:30<1:34:28, 19.89s/it]
+
mmlu_te:  20%|███████████████████████▍                                                                                            | 72/356 [22:48<1:31:48, 19.40s/it]
+
mmlu_te:  21%|███████████████████████▊                                                                                            | 73/356 [23:05<1:27:30, 18.55s/it]
+
mmlu_te:  21%|████████████████████████                                                                                            | 74/356 [23:19<1:20:57, 17.23s/it]
+
mmlu_te:  21%|████████████████████████▍                                                                                           | 75/356 [23:38<1:22:59, 17.72s/it]
+
mmlu_te:  21%|████████████████████████▊                                                                                           | 76/356 [23:57<1:24:54, 18.19s/it]
+
mmlu_te:  22%|█████████████████████████                                                                                           | 77/356 [24:18<1:28:01, 18.93s/it]
+
mmlu_te:  22%|█████████████████████████▍                                                                                          | 78/356 [24:36<1:26:29, 18.67s/it]
+
mmlu_te:  22%|█████████████████████████▋                                                                                          | 79/356 [25:01<1:34:22, 20.44s/it]
+
mmlu_te:  22%|██████████████████████████                                                                                          | 80/356 [25:18<1:29:33, 19.47s/it]
+
mmlu_te:  23%|██████████████████████████▍                                                                                         | 81/356 [25:38<1:30:22, 19.72s/it]
+
mmlu_te:  23%|██████████████████████████▋                                                                                         | 82/356 [25:57<1:28:31, 19.39s/it]
+
mmlu_te:  23%|███████████████████████████                                                                                         | 83/356 [26:23<1:37:44, 21.48s/it]
+
mmlu_te:  24%|███████████████████████████▎                                                                                        | 84/356 [26:42<1:33:38, 20.66s/it]
+
mmlu_te:  24%|███████████████████████████▋                                                                                        | 85/356 [26:59<1:28:40, 19.63s/it]
+
mmlu_te:  24%|████████████████████████████                                                                                        | 86/356 [27:19<1:28:42, 19.71s/it]
+
mmlu_te:  24%|████████████████████████████▎                                                                                       | 87/356 [27:37<1:25:59, 19.18s/it]
+
mmlu_te:  25%|████████████████████████████▋                                                                                       | 88/356 [27:58<1:28:12, 19.75s/it]
+
mmlu_te:  25%|█████████████████████████████                                                                                       | 89/356 [28:22<1:33:22, 20.98s/it]
+
mmlu_te:  25%|█████████████████████████████▎                                                                                      | 90/356 [28:45<1:36:32, 21.77s/it]
+
mmlu_te:  26%|█████████████████████████████▋                                                                                      | 91/356 [29:06<1:35:02, 21.52s/it]
+
mmlu_te:  26%|█████████████████████████████▉                                                                                      | 92/356 [29:27<1:32:57, 21.13s/it]
+
mmlu_te:  26%|██████████████████████████████▎                                                                                     | 93/356 [29:45<1:29:26, 20.41s/it]
+
mmlu_te:  26%|██████████████████████████████▋                                                                                     | 94/356 [30:07<1:30:39, 20.76s/it]
+
mmlu_te:  27%|██████████████████████████████▉                                                                                     | 95/356 [30:27<1:29:28, 20.57s/it]
+
mmlu_te:  27%|███████████████████████████████▎                                                                                    | 96/356 [30:44<1:24:52, 19.59s/it]
+
mmlu_te:  27%|███████████████████████████████▌                                                                                    | 97/356 [31:05<1:26:13, 19.98s/it]
+
mmlu_te:  28%|███████████████████████████████▉                                                                                    | 98/356 [31:23<1:23:44, 19.47s/it]
+
mmlu_te:  28%|████████████████████████████████▎                                                                                   | 99/356 [31:42<1:22:42, 19.31s/it]
+
mmlu_te:  28%|████████████████████████████████▎                                                                                  | 100/356 [32:01<1:21:19, 19.06s/it]
+
mmlu_te:  28%|████████████████████████████████▋                                                                                  | 101/356 [32:16<1:16:11, 17.93s/it]
+
mmlu_te:  29%|████████████████████████████████▉                                                                                  | 102/356 [32:36<1:18:35, 18.57s/it]
+
mmlu_te:  29%|█████████████████████████████████▎                                                                                 | 103/356 [32:56<1:19:37, 18.88s/it]
+
mmlu_te:  29%|█████████████████████████████████▌                                                                                 | 104/356 [33:20<1:26:23, 20.57s/it]
+
mmlu_te:  29%|█████████████████████████████████▉                                                                                 | 105/356 [33:38<1:22:29, 19.72s/it]
+
mmlu_te:  30%|██████████████████████████████████▏                                                                                | 106/356 [34:03<1:28:28, 21.23s/it]
+
mmlu_te:  30%|██████████████████████████████████▌                                                                                | 107/356 [34:24<1:28:25, 21.31s/it]
+
mmlu_te:  30%|██████████████████████████████████▉                                                                                | 108/356 [34:44<1:25:47, 20.76s/it]
+
mmlu_te:  31%|███████████████████████████████████▏                                                                               | 109/356 [35:01<1:21:27, 19.79s/it]
+
mmlu_te:  31%|███████████████████████████████████▌                                                                               | 110/356 [35:18<1:17:44, 18.96s/it]
+
mmlu_te:  31%|███████████████████████████████████▊                                                                               | 111/356 [35:39<1:18:53, 19.32s/it]
+
mmlu_te:  31%|████████████████████████████████████▏                                                                              | 112/356 [36:02<1:23:41, 20.58s/it]
+
mmlu_te:  32%|████████████████████████████████████▌                                                                              | 113/356 [36:21<1:20:51, 19.96s/it]
+
mmlu_te:  32%|████████████████████████████████████▊                                                                              | 114/356 [36:39<1:18:07, 19.37s/it]
+
mmlu_te:  32%|█████████████████████████████████████▏                                                                             | 115/356 [37:01<1:20:58, 20.16s/it]
+
mmlu_te:  33%|█████████████████████████████████████▍                                                                             | 116/356 [37:27<1:27:35, 21.90s/it]
+
mmlu_te:  33%|█████████████████████████████████████▊                                                                             | 117/356 [37:49<1:28:19, 22.18s/it]
+
mmlu_te:  33%|██████████████████████████████████████                                                                             | 118/356 [38:07<1:22:50, 20.88s/it]
+
mmlu_te:  33%|██████████████████████████████████████▍                                                                            | 119/356 [38:27<1:20:53, 20.48s/it]
+
mmlu_te:  34%|██████████████████████████████████████▊                                                                            | 120/356 [38:45<1:18:31, 19.96s/it]
+
mmlu_te:  34%|███████████████████████████████████████                                                                            | 121/356 [39:06<1:18:28, 20.04s/it]
+
mmlu_te:  34%|███████████████████████████████████████▍                                                                           | 122/356 [39:25<1:16:45, 19.68s/it]
+
mmlu_te:  35%|███████████████████████████████████████▋                                                                           | 123/356 [39:44<1:16:30, 19.70s/it]
+
mmlu_te:  35%|████████████████████████████████████████                                                                           | 124/356 [40:05<1:17:15, 19.98s/it]
+
mmlu_te:  35%|████████████████████████████████████████▍                                                                          | 125/356 [40:26<1:18:14, 20.32s/it]
+
mmlu_te:  35%|████████████████████████████████████████▋                                                                          | 126/356 [40:44<1:15:31, 19.70s/it]
+
mmlu_te:  36%|█████████████████████████████████████████                                                                          | 127/356 [41:00<1:10:43, 18.53s/it]
+
mmlu_te:  36%|█████████████████████████████████████████▎                                                                         | 128/356 [41:24<1:16:04, 20.02s/it]
+
mmlu_te:  36%|█████████████████████████████████████████▋                                                                         | 129/356 [41:41<1:12:42, 19.22s/it]
+
mmlu_te:  37%|█████████████████████████████████████████▉                                                                         | 130/356 [42:01<1:13:41, 19.56s/it]
+
mmlu_te:  37%|██████████████████████████████████████████▎                                                                        | 131/356 [42:17<1:09:29, 18.53s/it]
+
mmlu_te:  37%|██████████████████████████████████████████▋                                                                        | 132/356 [42:33<1:05:48, 17.63s/it]
+
mmlu_te:  37%|██████████████████████████████████████████▉                                                                        | 133/356 [42:54<1:09:36, 18.73s/it]
+
mmlu_te:  38%|███████████████████████████████████████████▎                                                                       | 134/356 [43:16<1:12:29, 19.59s/it]
+
mmlu_te:  38%|███████████████████████████████████████████▌                                                                       | 135/356 [43:35<1:11:36, 19.44s/it]
+
mmlu_te:  38%|███████████████████████████████████████████▉                                                                       | 136/356 [43:59<1:16:10, 20.77s/it]
+
mmlu_te:  38%|████████████████████████████████████████████▎                                                                      | 137/356 [44:20<1:16:26, 20.94s/it]
+
mmlu_te:  39%|████████████████████████████████████████████▌                                                                      | 138/356 [44:40<1:14:36, 20.53s/it]
+
mmlu_te:  39%|████████████████████████████████████████████▉                                                                      | 139/356 [45:01<1:15:10, 20.79s/it]
+
mmlu_te:  39%|█████████████████████████████████████████████▏                                                                     | 140/356 [45:19<1:11:15, 19.79s/it]
+
mmlu_te:  40%|█████████████████████████████████████████████▌                                                                     | 141/356 [45:38<1:10:49, 19.77s/it]
+
mmlu_te:  40%|█████████████████████████████████████████████▊                                                                     | 142/356 [45:54<1:06:14, 18.57s/it]
+
mmlu_te:  40%|██████████████████████████████████████████████▏                                                                    | 143/356 [46:17<1:10:01, 19.73s/it]
+
mmlu_te:  40%|██████████████████████████████████████████████▌                                                                    | 144/356 [46:36<1:09:17, 19.61s/it]
+
mmlu_te:  41%|██████████████████████████████████████████████▊                                                                    | 145/356 [46:55<1:08:30, 19.48s/it]
+
mmlu_te:  41%|███████████████████████████████████████████████▏                                                                   | 146/356 [47:15<1:08:18, 19.52s/it]
+
mmlu_te:  41%|███████████████████████████████████████████████▍                                                                   | 147/356 [47:34<1:07:40, 19.43s/it]
+
mmlu_te:  42%|███████████████████████████████████████████████▊                                                                   | 148/356 [48:00<1:14:34, 21.51s/it]
+
mmlu_te:  42%|████████████████████████████████████████████████▏                                                                  | 149/356 [48:20<1:12:31, 21.02s/it]
+
mmlu_te:  42%|████████████████████████████████████████████████▍                                                                  | 150/356 [48:39<1:10:24, 20.50s/it]
+
mmlu_te:  42%|████████████████████████████████████████████████▊                                                                  | 151/356 [48:55<1:05:19, 19.12s/it]
+
mmlu_te:  43%|█████████████████████████████████████████████████                                                                  | 152/356 [49:12<1:02:58, 18.52s/it]
+
mmlu_te:  43%|█████████████████████████████████████████████████▍                                                                 | 153/356 [49:30<1:01:42, 18.24s/it]
+
mmlu_te:  43%|█████████████████████████████████████████████████▋                                                                 | 154/356 [49:48<1:01:06, 18.15s/it]
+
mmlu_te:  44%|██████████████████████████████████████████████████                                                                 | 155/356 [50:13<1:07:37, 20.19s/it]
+
mmlu_te:  44%|██████████████████████████████████████████████████▍                                                                | 156/356 [50:30<1:04:03, 19.22s/it]
+
mmlu_te:  44%|██████████████████████████████████████████████████▋                                                                | 157/356 [50:48<1:02:59, 18.99s/it]
+
mmlu_te:  44%|███████████████████████████████████████████████████                                                                | 158/356 [51:11<1:06:28, 20.14s/it]
+
mmlu_te:  45%|███████████████████████████████████████████████████▎                                                               | 159/356 [51:30<1:04:55, 19.77s/it]
+
mmlu_te:  45%|███████████████████████████████████████████████████▋                                                               | 160/356 [51:50<1:05:16, 19.98s/it]
+
mmlu_te:  45%|████████████████████████████████████████████████████                                                               | 161/356 [52:13<1:07:06, 20.65s/it]
+
mmlu_te:  46%|████████████████████████████████████████████████████▎                                                              | 162/356 [52:32<1:05:24, 20.23s/it]
+
mmlu_te:  46%|████████████████████████████████████████████████████▋                                                              | 163/356 [52:55<1:07:35, 21.01s/it]
+
mmlu_te:  46%|████████████████████████████████████████████████████▉                                                              | 164/356 [53:13<1:04:43, 20.23s/it]
+
mmlu_te:  46%|██████████████████████████████████████████████████████▏                                                              | 165/356 [53:29<59:58, 18.84s/it]
+
mmlu_te:  47%|█████████████████████████████████████████████████████▌                                                             | 166/356 [53:51<1:02:32, 19.75s/it]
+
mmlu_te:  47%|█████████████████████████████████████████████████████▉                                                             | 167/356 [54:09<1:00:52, 19.33s/it]
+
mmlu_te:  47%|███████████████████████████████████████████████████████▏                                                             | 168/356 [54:28<59:47, 19.08s/it]
+
mmlu_te:  47%|███████████████████████████████████████████████████████▌                                                             | 169/356 [54:44<56:36, 18.16s/it]
+
mmlu_te:  48%|██████████████████████████████████████████████████████▉                                                            | 170/356 [55:07<1:01:37, 19.88s/it]
+
mmlu_te:  48%|███████████████████████████████████████████████████████▏                                                           | 171/356 [55:27<1:00:37, 19.66s/it]
+
mmlu_te:  48%|███████████████████████████████████████████████████████▌                                                           | 172/356 [55:46<1:00:12, 19.64s/it]
+
mmlu_te:  49%|████████████████████████████████████████████████████████▊                                                            | 173/356 [56:04<58:01, 19.02s/it]
+
mmlu_te:  49%|████████████████████████████████████████████████████████▏                                                          | 174/356 [56:29<1:03:14, 20.85s/it]
+
mmlu_te:  49%|████████████████████████████████████████████████████████▌                                                          | 175/356 [56:51<1:03:47, 21.15s/it]
+
mmlu_te:  49%|████████████████████████████████████████████████████████▊                                                          | 176/356 [57:08<1:00:03, 20.02s/it]
+
mmlu_te:  50%|█████████████████████████████████████████████████████████▏                                                         | 177/356 [57:30<1:01:07, 20.49s/it]
+
mmlu_te:  50%|██████████████████████████████████████████████████████████▌                                                          | 178/356 [57:49<59:51, 20.18s/it]
+
mmlu_te:  50%|██████████████████████████████████████████████████████████▊                                                          | 179/356 [58:06<56:37, 19.20s/it]
+
mmlu_te:  51%|███████████████████████████████████████████████████████████▏                                                         | 180/356 [58:24<55:02, 18.77s/it]
+
mmlu_te:  51%|███████████████████████████████████████████████████████████▍                                                         | 181/356 [58:46<57:33, 19.73s/it]
+
mmlu_te:  51%|███████████████████████████████████████████████████████████▊                                                         | 182/356 [59:07<58:16, 20.09s/it]
+
mmlu_te:  51%|████████████████████████████████████████████████████████████▏                                                        | 183/356 [59:26<57:02, 19.78s/it]
+
mmlu_te:  52%|████████████████████████████████████████████████████████████▍                                                        | 184/356 [59:48<58:25, 20.38s/it]
+
mmlu_te:  52%|██████████████████████████████████████████████████████████▋                                                      | 185/356 [1:00:10<1:00:08, 21.10s/it]
+
mmlu_te:  52%|████████████████████████████████████████████████████████████                                                       | 186/356 [1:00:27<55:52, 19.72s/it]
+
mmlu_te:  53%|████████████████████████████████████████████████████████████▍                                                      | 187/356 [1:00:44<53:19, 18.93s/it]
+
mmlu_te:  53%|████████████████████████████████████████████████████████████▋                                                      | 188/356 [1:01:02<51:58, 18.56s/it]
+
mmlu_te:  53%|█████████████████████████████████████████████████████████████                                                      | 189/356 [1:01:18<49:48, 17.90s/it]
+
mmlu_te:  53%|█████████████████████████████████████████████████████████████▍                                                     | 190/356 [1:01:43<55:05, 19.91s/it]
+
mmlu_te:  54%|█████████████████████████████████████████████████████████████▋                                                     | 191/356 [1:02:02<54:41, 19.89s/it]
+
mmlu_te:  54%|██████████████████████████████████████████████████████████████                                                     | 192/356 [1:02:20<52:33, 19.23s/it]
+
mmlu_te:  54%|██████████████████████████████████████████████████████████████▎                                                    | 193/356 [1:02:39<52:02, 19.16s/it]
+
mmlu_te:  54%|██████████████████████████████████████████████████████████████▋                                                    | 194/356 [1:02:56<49:34, 18.36s/it]
+
mmlu_te:  55%|██████████████████████████████████████████████████████████████▉                                                    | 195/356 [1:03:13<48:33, 18.10s/it]
+
mmlu_te:  55%|███████████████████████████████████████████████████████████████▎                                                   | 196/356 [1:03:33<49:43, 18.65s/it]
+
mmlu_te:  55%|███████████████████████████████████████████████████████████████▋                                                   | 197/356 [1:03:56<52:38, 19.87s/it]
+
mmlu_te:  56%|███████████████████████████████████████████████████████████████▉                                                   | 198/356 [1:04:15<51:28, 19.55s/it]
+
mmlu_te:  56%|████████████████████████████████████████████████████████████████▎                                                  | 199/356 [1:04:34<50:50, 19.43s/it]
+
mmlu_te:  56%|████████████████████████████████████████████████████████████████▌                                                  | 200/356 [1:04:52<49:38, 19.09s/it]
+
mmlu_te:  56%|████████████████████████████████████████████████████████████████▉                                                  | 201/356 [1:05:14<51:12, 19.82s/it]
+
mmlu_te:  57%|█████████████████████████████████████████████████████████████████▎                                                 | 202/356 [1:05:34<51:19, 20.00s/it]
+
mmlu_te:  57%|█████████████████████████████████████████████████████████████████▌                                                 | 203/356 [1:05:51<48:38, 19.08s/it]
+
mmlu_te:  57%|█████████████████████████████████████████████████████████████████▉                                                 | 204/356 [1:06:10<48:29, 19.14s/it]
+
mmlu_te:  58%|██████████████████████████████████████████████████████████████████▏                                                | 205/356 [1:06:27<46:40, 18.55s/it]
+
mmlu_te:  58%|██████████████████████████████████████████████████████████████████▌                                                | 206/356 [1:06:46<46:15, 18.51s/it]
+
mmlu_te:  58%|██████████████████████████████████████████████████████████████████▊                                                | 207/356 [1:07:05<46:22, 18.68s/it]
+
mmlu_te:  58%|███████████████████████████████████████████████████████████████████▏                                               | 208/356 [1:07:24<46:19, 18.78s/it]
+
mmlu_te:  59%|███████████████████████████████████████████████████████████████████▌                                               | 209/356 [1:07:39<43:41, 17.83s/it]
+
mmlu_te:  59%|███████████████████████████████████████████████████████████████████▊                                               | 210/356 [1:07:57<42:53, 17.62s/it]
+
mmlu_te:  59%|████████████████████████████████████████████████████████████████████▏                                              | 211/356 [1:08:17<44:30, 18.42s/it]
+
mmlu_te:  60%|████████████████████████████████████████████████████████████████████▍                                              | 212/356 [1:08:36<44:42, 18.63s/it]
+
mmlu_te:  60%|████████████████████████████████████████████████████████████████████▊                                              | 213/356 [1:08:52<42:42, 17.92s/it]
+
mmlu_te:  60%|█████████████████████████████████████████████████████████████████████▏                                             | 214/356 [1:09:10<42:38, 18.02s/it]
+
mmlu_te:  60%|█████████████████████████████████████████████████████████████████████▍                                             | 215/356 [1:09:28<42:13, 17.97s/it]
+
mmlu_te:  61%|█████████████████████████████████████████████████████████████████████▊                                             | 216/356 [1:09:47<42:10, 18.08s/it]
+
mmlu_te:  61%|██████████████████████████████████████████████████████████████████████                                             | 217/356 [1:10:04<41:25, 17.88s/it]
+
mmlu_te:  61%|██████████████████████████████████████████████████████████████████████▍                                            | 218/356 [1:10:24<42:11, 18.34s/it]
+
mmlu_te:  62%|██████████████████████████████████████████████████████████████████████▋                                            | 219/356 [1:10:39<40:10, 17.60s/it]
+
mmlu_te:  62%|███████████████████████████████████████████████████████████████████████                                            | 220/356 [1:10:56<39:02, 17.23s/it]
+
mmlu_te:  62%|███████████████████████████████████████████████████████████████████████▍                                           | 221/356 [1:11:12<38:04, 16.92s/it]
+
mmlu_te:  62%|███████████████████████████████████████████████████████████████████████▋                                           | 222/356 [1:11:30<38:51, 17.40s/it]
+
mmlu_te:  63%|████████████████████████████████████████████████████████████████████████                                           | 223/356 [1:11:45<36:44, 16.57s/it]
+
mmlu_te:  63%|████████████████████████████████████████████████████████████████████████▎                                          | 224/356 [1:12:08<40:31, 18.42s/it]
+
mmlu_te:  63%|████████████████████████████████████████████████████████████████████████▋                                          | 225/356 [1:12:24<38:35, 17.68s/it]
+
mmlu_te:  63%|█████████████████████████████████████████████████████████████████████████                                          | 226/356 [1:12:44<40:08, 18.53s/it]
+
mmlu_te:  64%|█████████████████████████████████████████████████████████████████████████▎                                         | 227/356 [1:13:04<40:23, 18.79s/it]
+
mmlu_te:  64%|█████████████████████████████████████████████████████████████████████████▋                                         | 228/356 [1:13:23<40:11, 18.84s/it]
+
mmlu_te:  64%|█████████████████████████████████████████████████████████████████████████▉                                         | 229/356 [1:13:40<38:38, 18.25s/it]
+
mmlu_te:  65%|██████████████████████████████████████████████████████████████████████████▎                                        | 230/356 [1:14:02<41:03, 19.55s/it]
+
mmlu_te:  65%|██████████████████████████████████████████████████████████████████████████▌                                        | 231/356 [1:14:21<40:08, 19.27s/it]
+
mmlu_te:  65%|██████████████████████████████████████████████████████████████████████████▉                                        | 232/356 [1:14:36<37:12, 18.01s/it]
+
mmlu_te:  65%|███████████████████████████████████████████████████████████████████████████▎                                       | 233/356 [1:14:54<37:07, 18.11s/it]
+
mmlu_te:  66%|███████████████████████████████████████████████████████████████████████████▌                                       | 234/356 [1:15:09<34:55, 17.17s/it]
+
mmlu_te:  66%|███████████████████████████████████████████████████████████████████████████▉                                       | 235/356 [1:15:28<35:44, 17.73s/it]
+
mmlu_te:  66%|████████████████████████████████████████████████████████████████████████████▏                                      | 236/356 [1:15:47<36:07, 18.06s/it]
+
mmlu_te:  67%|████████████████████████████████████████████████████████████████████████████▌                                      | 237/356 [1:16:06<36:29, 18.40s/it]
+
mmlu_te:  67%|████████████████████████████████████████████████████████████████████████████▉                                      | 238/356 [1:16:30<39:41, 20.18s/it]
+
mmlu_te:  67%|█████████████████████████████████████████████████████████████████████████████▏                                     | 239/356 [1:16:48<37:43, 19.34s/it]
+
mmlu_te:  67%|█████████████████████████████████████████████████████████████████████████████▌                                     | 240/356 [1:17:08<37:51, 19.58s/it]
+
mmlu_te:  68%|█████████████████████████████████████████████████████████████████████████████▊                                     | 241/356 [1:17:26<36:28, 19.03s/it]
+
mmlu_te:  68%|██████████████████████████████████████████████████████████████████████████████▏                                    | 242/356 [1:17:42<34:51, 18.34s/it]
+
mmlu_te:  68%|██████████████████████████████████████████████████████████████████████████████▍                                    | 243/356 [1:18:02<35:12, 18.69s/it]
+
mmlu_te:  69%|██████████████████████████████████████████████████████████████████████████████▊                                    | 244/356 [1:18:22<35:28, 19.01s/it]
+
mmlu_te:  69%|███████████████████████████████████████████████████████████████████████████████▏                                   | 245/356 [1:18:37<32:51, 17.76s/it]
+
mmlu_te:  69%|███████████████████████████████████████████████████████████████████████████████▍                                   | 246/356 [1:18:53<31:36, 17.24s/it]
+
mmlu_te:  69%|███████████████████████████████████████████████████████████████████████████████▊                                   | 247/356 [1:19:14<33:29, 18.44s/it]
+
mmlu_te:  70%|████████████████████████████████████████████████████████████████████████████████                                   | 248/356 [1:19:32<33:00, 18.34s/it]
+
mmlu_te:  70%|████████████████████████████████████████████████████████████████████████████████▍                                  | 249/356 [1:19:49<32:15, 18.09s/it]
+
mmlu_te:  70%|████████████████████████████████████████████████████████████████████████████████▊                                  | 250/356 [1:20:08<32:01, 18.13s/it]
+
mmlu_te:  71%|█████████████████████████████████████████████████████████████████████████████████                                  | 251/356 [1:20:24<31:00, 17.72s/it]
+
mmlu_te:  71%|█████████████████████████████████████████████████████████████████████████████████▍                                 | 252/356 [1:20:43<30:59, 17.88s/it]
+
mmlu_te:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 253/356 [1:21:04<32:21, 18.85s/it]
+
mmlu_te:  71%|██████████████████████████████████████████████████████████████████████████████████                                 | 254/356 [1:21:21<31:24, 18.47s/it]
+
mmlu_te:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 255/356 [1:21:40<31:17, 18.59s/it]
+
mmlu_te:  72%|██████████████████████████████████████████████████████████████████████████████████▋                                | 256/356 [1:21:58<30:36, 18.36s/it]
+
mmlu_te:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 257/356 [1:22:19<31:35, 19.14s/it]
+
mmlu_te:  72%|███████████████████████████████████████████████████████████████████████████████████▎                               | 258/356 [1:22:37<30:36, 18.74s/it]
+
mmlu_te:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 259/356 [1:22:59<31:47, 19.66s/it]
+
mmlu_te:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 260/356 [1:23:16<30:16, 18.93s/it]
+
mmlu_te:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 261/356 [1:23:35<30:12, 19.08s/it]
+
mmlu_te:  74%|████████████████████████████████████████████████████████████████████████████████████▋                              | 262/356 [1:23:54<29:35, 18.89s/it]
+
mmlu_te:  74%|████████████████████████████████████████████████████████████████████████████████████▉                              | 263/356 [1:24:10<28:07, 18.15s/it]
+
mmlu_te:  74%|█████████████████████████████████████████████████████████████████████████████████████▎                             | 264/356 [1:24:27<27:25, 17.88s/it]
+
mmlu_te:  74%|█████████████████████████████████████████████████████████████████████████████████████▌                             | 265/356 [1:24:47<27:47, 18.33s/it]
+
mmlu_te:  75%|█████████████████████████████████████████████████████████████████████████████████████▉                             | 266/356 [1:25:05<27:14, 18.16s/it]
+
mmlu_te:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 267/356 [1:25:20<25:42, 17.33s/it]
+
mmlu_te:  75%|██████████████████████████████████████████████████████████████████████████████████████▌                            | 268/356 [1:25:39<25:58, 17.71s/it]
+
mmlu_te:  76%|██████████████████████████████████████████████████████████████████████████████████████▉                            | 269/356 [1:25:55<25:07, 17.33s/it]
+
mmlu_te:  76%|███████████████████████████████████████████████████████████████████████████████████████▏                           | 270/356 [1:26:13<24:58, 17.43s/it]
+
mmlu_te:  76%|███████████████████████████████████████████████████████████████████████████████████████▌                           | 271/356 [1:26:31<24:53, 17.57s/it]
+
mmlu_te:  76%|███████████████████████████████████████████████████████████████████████████████████████▊                           | 272/356 [1:26:50<25:21, 18.11s/it]
+
mmlu_te:  77%|████████████████████████████████████████████████████████████████████████████████████████▏                          | 273/356 [1:27:14<27:27, 19.85s/it]
+
mmlu_te:  77%|████████████████████████████████████████████████████████████████████████████████████████▌                          | 274/356 [1:27:31<25:51, 18.92s/it]
+
mmlu_te:  77%|████████████████████████████████████████████████████████████████████████████████████████▊                          | 275/356 [1:27:51<26:11, 19.41s/it]
+
mmlu_te:  78%|█████████████████████████████████████████████████████████████████████████████████████████▏                         | 276/356 [1:28:06<24:11, 18.15s/it]
+
mmlu_te:  78%|█████████████████████████████████████████████████████████████████████████████████████████▍                         | 277/356 [1:28:28<25:26, 19.32s/it]
+
mmlu_te:  78%|█████████████████████████████████████████████████████████████████████████████████████████▊                         | 278/356 [1:28:45<23:59, 18.45s/it]
+
mmlu_te:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 279/356 [1:29:03<23:27, 18.28s/it]
+
mmlu_te:  79%|██████████████████████████████████████████████████████████████████████████████████████████▍                        | 280/356 [1:29:25<24:46, 19.56s/it]
+
mmlu_te:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 281/356 [1:29:44<24:11, 19.35s/it]
+
mmlu_te:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 282/356 [1:30:05<24:31, 19.89s/it]
+
mmlu_te:  79%|███████████████████████████████████████████████████████████████████████████████████████████▍                       | 283/356 [1:30:27<24:51, 20.43s/it]
+
mmlu_te:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 284/356 [1:30:47<24:30, 20.42s/it]
+
mmlu_te:  80%|████████████████████████████████████████████████████████████████████████████████████████████                       | 285/356 [1:31:04<22:54, 19.36s/it]
+
mmlu_te:  80%|████████████████████████████████████████████████████████████████████████████████████████████▍                      | 286/356 [1:31:21<21:30, 18.44s/it]
+
mmlu_te:  81%|████████████████████████████████████████████████████████████████████████████████████████████▋                      | 287/356 [1:31:38<20:59, 18.25s/it]
+
mmlu_te:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 288/356 [1:31:57<20:42, 18.27s/it]
+
mmlu_te:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▎                     | 289/356 [1:32:16<20:38, 18.48s/it]
+
mmlu_te:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 290/356 [1:32:35<20:40, 18.79s/it]
+
mmlu_te:  82%|██████████████████████████████████████████████████████████████████████████████████████████████                     | 291/356 [1:32:55<20:33, 18.98s/it]
+
mmlu_te:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▎                    | 292/356 [1:33:11<19:33, 18.34s/it]
+
mmlu_te:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▋                    | 293/356 [1:33:31<19:46, 18.83s/it]
+
mmlu_te:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▉                    | 294/356 [1:33:53<20:16, 19.63s/it]
+
mmlu_te:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▎                   | 295/356 [1:34:12<19:40, 19.35s/it]
+
mmlu_te:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▌                   | 296/356 [1:34:31<19:30, 19.51s/it]
+
mmlu_te:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▉                   | 297/356 [1:34:46<17:48, 18.12s/it]
+
mmlu_te:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 298/356 [1:35:06<17:51, 18.47s/it]
+
mmlu_te:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 299/356 [1:35:25<17:48, 18.74s/it]
+
mmlu_te:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 300/356 [1:35:43<17:16, 18.51s/it]
+
mmlu_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 301/356 [1:36:05<17:51, 19.48s/it]
+
mmlu_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 302/356 [1:36:28<18:26, 20.48s/it]
+
mmlu_te:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 303/356 [1:36:48<18:00, 20.39s/it]
+
mmlu_te:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 304/356 [1:37:07<17:16, 19.94s/it]
+
mmlu_te:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                | 305/356 [1:37:28<17:20, 20.40s/it]
+
mmlu_te:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 306/356 [1:37:48<16:49, 20.19s/it]
+
mmlu_te:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▏               | 307/356 [1:38:05<15:38, 19.15s/it]
+
mmlu_te:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▍               | 308/356 [1:38:26<15:49, 19.78s/it]
+
mmlu_te:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊               | 309/356 [1:38:43<14:54, 19.03s/it]
+
mmlu_te:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 310/356 [1:39:10<16:23, 21.39s/it]
+
mmlu_te:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 311/356 [1:39:30<15:46, 21.04s/it]
+
mmlu_te:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 312/356 [1:39:52<15:34, 21.24s/it]
+
mmlu_te:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 313/356 [1:40:09<14:17, 19.94s/it]
+
mmlu_te:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 314/356 [1:40:33<14:55, 21.32s/it]
+
mmlu_te:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 315/356 [1:40:52<13:58, 20.45s/it]
+
mmlu_te:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 316/356 [1:41:14<14:04, 21.11s/it]
+
mmlu_te:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 317/356 [1:41:38<14:13, 21.88s/it]
+
mmlu_te:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 318/356 [1:41:54<12:38, 19.96s/it]
+
mmlu_te:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████            | 319/356 [1:42:17<12:56, 21.00s/it]
+
mmlu_te:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 320/356 [1:42:41<13:04, 21.80s/it]
+
mmlu_te:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 321/356 [1:42:59<12:11, 20.91s/it]
+
mmlu_te:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████           | 322/356 [1:43:19<11:41, 20.62s/it]
+
mmlu_te:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 323/356 [1:43:34<10:24, 18.94s/it]
+
mmlu_te:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 324/356 [1:43:55<10:23, 19.49s/it]
+
mmlu_te:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 325/356 [1:44:11<09:33, 18.49s/it]
+
mmlu_te:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 326/356 [1:44:32<09:29, 18.99s/it]
+
mmlu_te:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 327/356 [1:44:53<09:29, 19.65s/it]
+
mmlu_te:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 328/356 [1:45:10<08:46, 18.80s/it]
+
mmlu_te:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 329/356 [1:45:30<08:41, 19.30s/it]
+
mmlu_te:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 330/356 [1:45:49<08:17, 19.14s/it]
+
mmlu_te:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 331/356 [1:46:03<07:23, 17.74s/it]
+
mmlu_te:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 332/356 [1:46:22<07:13, 18.06s/it]
+
mmlu_te:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 333/356 [1:46:38<06:43, 17.54s/it]
+
mmlu_te:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 334/356 [1:47:00<06:52, 18.73s/it]
+
mmlu_te:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 335/356 [1:47:15<06:11, 17.70s/it]
+
mmlu_te:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 336/356 [1:47:32<05:51, 17.56s/it]
+
mmlu_te:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 337/356 [1:47:49<05:26, 17.17s/it]
+
mmlu_te:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 338/356 [1:48:09<05:28, 18.24s/it]
+
mmlu_te:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 339/356 [1:48:29<05:15, 18.57s/it]
+
mmlu_te:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 340/356 [1:48:45<04:45, 17.83s/it]
+
mmlu_te:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 341/356 [1:49:02<04:24, 17.61s/it]
+
mmlu_te:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 342/356 [1:49:26<04:34, 19.60s/it]
+
mmlu_te:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 343/356 [1:49:46<04:15, 19.65s/it]
+
mmlu_te:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 344/356 [1:50:06<03:58, 19.87s/it]
+
mmlu_te:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 345/356 [1:50:25<03:34, 19.47s/it]
+
mmlu_te:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 346/356 [1:50:41<03:05, 18.50s/it]
+
mmlu_te:  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 347/356 [1:51:04<02:57, 19.71s/it]
+
mmlu_te:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 348/356 [1:51:24<02:38, 19.81s/it]
+
mmlu_te:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 349/356 [1:51:43<02:18, 19.80s/it]
+
mmlu_te:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 350/356 [1:52:01<01:54, 19.16s/it]
+
mmlu_te:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 351/356 [1:52:19<01:33, 18.67s/it]
+
mmlu_te:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 352/356 [1:52:39<01:16, 19.19s/it]
+
mmlu_te:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 353/356 [1:53:02<01:00, 20.26s/it]
+
mmlu_te:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 354/356 [1:53:20<00:39, 19.61s/it]
+
mmlu_te: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 355/356 [1:53:36<00:18, 18.63s/it]
+
mmlu_te: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 356/356 [1:53:46<00:00, 16.03s/it]
mmlu_te: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 356/356 [1:53:46<00:00, 19.18s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_te_acc 0.25564835164835165
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_te_acc_norm 0.2756923076923077
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 01:44:14,259 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 01:44:14,259 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:14,388 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 01:44:14,388 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:14,516 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 01:44:14,516 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:14,645 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 01:44:14,646 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 01:44:14,646 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 01:44:14,776 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 01:44:14,776 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_te_acc'}
+2024-06-01 01:44:14,841 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 01:44:14,841 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1257, 'value': 0.25564835164835165}
+2024-06-01 01:44:14,907 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 01:44:15,561 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 01:44:15,561 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:15,690 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 01:44:15,690 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:15,818 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 01:44:15,818 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:15,947 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 01:44:15,948 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 01:44:15,948 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 01:44:16,078 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 01:44:16,078 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_te_acc_norm'}
+2024-06-01 01:44:16,143 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 01:44:16,143 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1258, 'value': 0.2756923076923077}
+2024-06-01 01:44:16,209 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  73%|██████████████████████████████████████████████████████████████████████████████▍                             | 90/124 [66:56:45<40:00:23, 4235.99s/it]['mmlu_uk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 01:44:16,839 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 01:44:16,839 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:16,962 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 01:44:16,962 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:17,086 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 01:44:17,086 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 01:44:17,209 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 01:44:17,210 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 01:44:17,210 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_uk'}
+2024-06-01 01:44:17,334 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_uk task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1689 examples [00:00, 15001.10 examples/s]
+
Generating test split: 5000 examples [00:00, 24460.08 examples/s]
+
Generating test split: 8343 examples [00:00, 28379.77 examples/s]
+
Generating test split: 11774 examples [00:00, 30440.83 examples/s]
Generating test split: 12909 examples [00:00, 27577.38 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 269 examples [00:00, 26163.94 examples/s]
+Running loglikelihood requests
+
+
mmlu_uk:   0%|                                                                                                                               | 0/404 [00:00<?, ?it/s]
+
mmlu_uk:   0%|▎                                                                                                                    | 1/404 [00:13<1:33:59, 13.99s/it]
+
mmlu_uk:   0%|▌                                                                                                                    | 2/404 [00:27<1:31:14, 13.62s/it]
+
mmlu_uk:   1%|▊                                                                                                                    | 3/404 [00:40<1:28:45, 13.28s/it]
+
mmlu_uk:   1%|█▏                                                                                                                   | 4/404 [00:51<1:23:12, 12.48s/it]
+
mmlu_uk:   1%|█▍                                                                                                                   | 5/404 [01:04<1:25:08, 12.80s/it]
+
mmlu_uk:   1%|█▋                                                                                                                   | 6/404 [01:18<1:26:00, 12.96s/it]
+
mmlu_uk:   2%|██                                                                                                                   | 7/404 [01:30<1:23:55, 12.68s/it]
+
mmlu_uk:   2%|██▎                                                                                                                  | 8/404 [01:41<1:20:52, 12.25s/it]
+
mmlu_uk:   2%|██▌                                                                                                                  | 9/404 [01:55<1:23:25, 12.67s/it]
+
mmlu_uk:   2%|██▊                                                                                                                 | 10/404 [02:07<1:22:49, 12.61s/it]
+
mmlu_uk:   3%|███▏                                                                                                                | 11/404 [02:21<1:25:39, 13.08s/it]
+
mmlu_uk:   3%|███▍                                                                                                                | 12/404 [02:35<1:26:45, 13.28s/it]
+
mmlu_uk:   3%|███▋                                                                                                                | 13/404 [02:48<1:26:07, 13.22s/it]
+
mmlu_uk:   3%|████                                                                                                                | 14/404 [03:01<1:24:29, 13.00s/it]
+
mmlu_uk:   4%|████▎                                                                                                               | 15/404 [03:13<1:22:41, 12.76s/it]
+
mmlu_uk:   4%|████▌                                                                                                               | 16/404 [03:28<1:27:44, 13.57s/it]
+
mmlu_uk:   4%|████▉                                                                                                               | 17/404 [03:42<1:27:07, 13.51s/it]
+
mmlu_uk:   4%|█████▏                                                                                                              | 18/404 [03:54<1:24:35, 13.15s/it]
+
mmlu_uk:   5%|█████▍                                                                                                              | 19/404 [04:05<1:20:54, 12.61s/it]
+
mmlu_uk:   5%|█████▋                                                                                                              | 20/404 [04:16<1:17:51, 12.16s/it]
+
mmlu_uk:   5%|██████                                                                                                              | 21/404 [04:29<1:19:20, 12.43s/it]
+
mmlu_uk:   5%|██████▎                                                                                                             | 22/404 [04:43<1:22:01, 12.88s/it]
+
mmlu_uk:   6%|██████▌                                                                                                             | 23/404 [04:55<1:19:24, 12.50s/it]
+
mmlu_uk:   6%|██████▉                                                                                                             | 24/404 [05:08<1:19:45, 12.59s/it]
+
mmlu_uk:   6%|███████▏                                                                                                            | 25/404 [05:19<1:17:30, 12.27s/it]
+
mmlu_uk:   6%|███████▍                                                                                                            | 26/404 [05:35<1:24:22, 13.39s/it]
+
mmlu_uk:   7%|███████▊                                                                                                            | 27/404 [05:50<1:26:31, 13.77s/it]
+
mmlu_uk:   7%|████████                                                                                                            | 28/404 [06:01<1:21:39, 13.03s/it]
+
mmlu_uk:   7%|████████▎                                                                                                           | 29/404 [06:13<1:19:26, 12.71s/it]
+
mmlu_uk:   7%|████████▌                                                                                                           | 30/404 [06:27<1:21:21, 13.05s/it]
+
mmlu_uk:   8%|████████▉                                                                                                           | 31/404 [06:38<1:16:32, 12.31s/it]
+
mmlu_uk:   8%|█████████▏                                                                                                          | 32/404 [06:50<1:15:48, 12.23s/it]
+
mmlu_uk:   8%|█████████▍                                                                                                          | 33/404 [07:06<1:22:30, 13.34s/it]
+
mmlu_uk:   8%|█████████▊                                                                                                          | 34/404 [07:19<1:21:46, 13.26s/it]
+
mmlu_uk:   9%|██████████                                                                                                          | 35/404 [07:31<1:20:03, 13.02s/it]
+
mmlu_uk:   9%|██████████▎                                                                                                         | 36/404 [07:43<1:18:13, 12.75s/it]
+
mmlu_uk:   9%|██████████▌                                                                                                         | 37/404 [07:57<1:19:17, 12.96s/it]
+
mmlu_uk:   9%|██████████▉                                                                                                         | 38/404 [08:09<1:17:27, 12.70s/it]
+
mmlu_uk:  10%|███████████▏                                                                                                        | 39/404 [08:20<1:15:04, 12.34s/it]
+
mmlu_uk:  10%|███████████▍                                                                                                        | 40/404 [08:31<1:11:07, 11.72s/it]
+
mmlu_uk:  10%|███████████▊                                                                                                        | 41/404 [08:45<1:15:01, 12.40s/it]
+
mmlu_uk:  10%|████████████                                                                                                        | 42/404 [08:58<1:16:59, 12.76s/it]
+
mmlu_uk:  11%|████████████▎                                                                                                       | 43/404 [09:12<1:18:31, 13.05s/it]
+
mmlu_uk:  11%|████████████▋                                                                                                       | 44/404 [09:26<1:19:22, 13.23s/it]
+
mmlu_uk:  11%|████████████▉                                                                                                       | 45/404 [09:37<1:15:27, 12.61s/it]
+
mmlu_uk:  11%|█████████████▏                                                                                                      | 46/404 [09:49<1:15:26, 12.65s/it]
+
mmlu_uk:  12%|█████████████▍                                                                                                      | 47/404 [10:02<1:15:04, 12.62s/it]
+
mmlu_uk:  12%|█████████████▊                                                                                                      | 48/404 [10:13<1:11:40, 12.08s/it]
+
mmlu_uk:  12%|██████████████                                                                                                      | 49/404 [10:25<1:11:20, 12.06s/it]
+
mmlu_uk:  12%|██████████████▎                                                                                                     | 50/404 [10:37<1:11:41, 12.15s/it]
+
mmlu_uk:  13%|██████████████▋                                                                                                     | 51/404 [10:50<1:13:09, 12.43s/it]
+
mmlu_uk:  13%|██████████████▉                                                                                                     | 52/404 [11:02<1:11:43, 12.22s/it]
+
mmlu_uk:  13%|███████████████▏                                                                                                    | 53/404 [11:14<1:10:52, 12.12s/it]
+
mmlu_uk:  13%|███████████████▌                                                                                                    | 54/404 [11:28<1:14:07, 12.71s/it]
+
mmlu_uk:  14%|███████████████▊                                                                                                    | 55/404 [11:41<1:13:49, 12.69s/it]
+
mmlu_uk:  14%|████████████████                                                                                                    | 56/404 [11:54<1:13:52, 12.74s/it]
+
mmlu_uk:  14%|████████████████▎                                                                                                   | 57/404 [12:06<1:13:45, 12.75s/it]
+
mmlu_uk:  14%|████████████████▋                                                                                                   | 58/404 [12:21<1:16:14, 13.22s/it]
+
mmlu_uk:  15%|████████████████▉                                                                                                   | 59/404 [12:34<1:16:57, 13.38s/it]
+
mmlu_uk:  15%|█████████████████▏                                                                                                  | 60/404 [12:48<1:17:42, 13.55s/it]
+
mmlu_uk:  15%|█████████████████▌                                                                                                  | 61/404 [13:02<1:18:24, 13.72s/it]
+
mmlu_uk:  15%|█████████████████▊                                                                                                  | 62/404 [13:16<1:18:44, 13.81s/it]
+
mmlu_uk:  16%|██████████████████                                                                                                  | 63/404 [13:31<1:20:16, 14.12s/it]
+
mmlu_uk:  16%|██████████████████▍                                                                                                 | 64/404 [13:44<1:17:15, 13.63s/it]
+
mmlu_uk:  16%|██████████████████▋                                                                                                 | 65/404 [13:56<1:14:35, 13.20s/it]
+
mmlu_uk:  16%|██████████████████▉                                                                                                 | 66/404 [14:07<1:11:09, 12.63s/it]
+
mmlu_uk:  17%|███████████████████▏                                                                                                | 67/404 [14:20<1:11:32, 12.74s/it]
+
mmlu_uk:  17%|███████████████████▌                                                                                                | 68/404 [14:33<1:11:33, 12.78s/it]
+
mmlu_uk:  17%|███████████████████▊                                                                                                | 69/404 [14:46<1:12:09, 12.92s/it]
+
mmlu_uk:  17%|████████████████████                                                                                                | 70/404 [15:00<1:12:24, 13.01s/it]
+
mmlu_uk:  18%|████████████████████▍                                                                                               | 71/404 [15:13<1:13:02, 13.16s/it]
+
mmlu_uk:  18%|████████████████████▋                                                                                               | 72/404 [15:26<1:12:09, 13.04s/it]
+
mmlu_uk:  18%|████████████████████▉                                                                                               | 73/404 [15:37<1:08:15, 12.37s/it]
+
mmlu_uk:  18%|█████████████████████▏                                                                                              | 74/404 [15:48<1:06:51, 12.16s/it]
+
mmlu_uk:  19%|█████████████████████▌                                                                                              | 75/404 [16:03<1:10:56, 12.94s/it]
+
mmlu_uk:  19%|█████████████████████▊                                                                                              | 76/404 [16:18<1:13:32, 13.45s/it]
+
mmlu_uk:  19%|██████████████████████                                                                                              | 77/404 [16:31<1:12:10, 13.24s/it]
+
mmlu_uk:  19%|██████████████████████▍                                                                                             | 78/404 [16:42<1:08:24, 12.59s/it]
+
mmlu_uk:  20%|██████████████████████▋                                                                                             | 79/404 [16:55<1:08:49, 12.71s/it]
+
mmlu_uk:  20%|██████████████████████▉                                                                                             | 80/404 [17:07<1:08:49, 12.74s/it]
+
mmlu_uk:  20%|███████████████████████▎                                                                                            | 81/404 [17:21<1:09:43, 12.95s/it]
+
mmlu_uk:  20%|███████████████████████▌                                                                                            | 82/404 [17:33<1:07:46, 12.63s/it]
+
mmlu_uk:  21%|███████████████████████▊                                                                                            | 83/404 [17:45<1:07:33, 12.63s/it]
+
mmlu_uk:  21%|████████████████████████                                                                                            | 84/404 [17:59<1:08:36, 12.86s/it]
+
mmlu_uk:  21%|████████████████████████▍                                                                                           | 85/404 [18:11<1:07:54, 12.77s/it]
+
mmlu_uk:  21%|████████████████████████▋                                                                                           | 86/404 [18:25<1:09:37, 13.14s/it]
+
mmlu_uk:  22%|████████████████████████▉                                                                                           | 87/404 [18:39<1:10:10, 13.28s/it]
+
mmlu_uk:  22%|█████████████████████████▎                                                                                          | 88/404 [18:51<1:08:27, 13.00s/it]
+
mmlu_uk:  22%|█████████████████████████▌                                                                                          | 89/404 [19:04<1:08:02, 12.96s/it]
+
mmlu_uk:  22%|█████████████████████████▊                                                                                          | 90/404 [19:19<1:10:19, 13.44s/it]
+
mmlu_uk:  23%|██████████████████████████▏                                                                                         | 91/404 [19:29<1:05:17, 12.52s/it]
+
mmlu_uk:  23%|██████████████████████████▍                                                                                         | 92/404 [19:43<1:06:32, 12.80s/it]
+
mmlu_uk:  23%|██████████████████████████▋                                                                                         | 93/404 [19:55<1:06:29, 12.83s/it]
+
mmlu_uk:  23%|██████████████████████████▉                                                                                         | 94/404 [20:08<1:05:41, 12.71s/it]
+
mmlu_uk:  24%|███████████████████████████▎                                                                                        | 95/404 [20:19<1:03:31, 12.34s/it]
+
mmlu_uk:  24%|███████████████████████████▌                                                                                        | 96/404 [20:32<1:04:37, 12.59s/it]
+
mmlu_uk:  24%|███████████████████████████▊                                                                                        | 97/404 [20:47<1:07:29, 13.19s/it]
+
mmlu_uk:  24%|████████████████████████████▏                                                                                       | 98/404 [21:04<1:12:58, 14.31s/it]
+
mmlu_uk:  25%|████████████████████████████▍                                                                                       | 99/404 [21:16<1:09:30, 13.67s/it]
+
mmlu_uk:  25%|████████████████████████████▍                                                                                      | 100/404 [21:31<1:10:26, 13.90s/it]
+
mmlu_uk:  25%|████████████████████████████▊                                                                                      | 101/404 [21:44<1:09:28, 13.76s/it]
+
mmlu_uk:  25%|█████████████████████████████                                                                                      | 102/404 [21:57<1:08:29, 13.61s/it]
+
mmlu_uk:  25%|█████████████████████████████▎                                                                                     | 103/404 [22:12<1:09:27, 13.84s/it]
+
mmlu_uk:  26%|█████████████████████████████▌                                                                                     | 104/404 [22:25<1:08:15, 13.65s/it]
+
mmlu_uk:  26%|█████████████████████████████▉                                                                                     | 105/404 [22:36<1:04:47, 13.00s/it]
+
mmlu_uk:  26%|██████████████████████████████▏                                                                                    | 106/404 [22:49<1:03:55, 12.87s/it]
+
mmlu_uk:  26%|██████████████████████████████▍                                                                                    | 107/404 [23:02<1:03:33, 12.84s/it]
+
mmlu_uk:  27%|██████████████████████████████▋                                                                                    | 108/404 [23:18<1:07:41, 13.72s/it]
+
mmlu_uk:  27%|███████████████████████████████                                                                                    | 109/404 [23:31<1:07:08, 13.66s/it]
+
mmlu_uk:  27%|███████████████████████████████▎                                                                                   | 110/404 [23:42<1:03:42, 13.00s/it]
+
mmlu_uk:  27%|███████████████████████████████▌                                                                                   | 111/404 [23:56<1:04:55, 13.30s/it]
+
mmlu_uk:  28%|███████████████████████████████▉                                                                                   | 112/404 [24:11<1:06:58, 13.76s/it]
+
mmlu_uk:  28%|████████████████████████████████▏                                                                                  | 113/404 [24:22<1:02:10, 12.82s/it]
+
mmlu_uk:  28%|████████████████████████████████▍                                                                                  | 114/404 [24:36<1:03:17, 13.10s/it]
+
mmlu_uk:  28%|████████████████████████████████▋                                                                                  | 115/404 [24:48<1:02:02, 12.88s/it]
+
mmlu_uk:  29%|█████████████████████████████████                                                                                  | 116/404 [25:02<1:04:04, 13.35s/it]
+
mmlu_uk:  29%|█████████████████████████████████▎                                                                                 | 117/404 [25:15<1:02:58, 13.16s/it]
+
mmlu_uk:  29%|█████████████████████████████████▌                                                                                 | 118/404 [25:27<1:00:31, 12.70s/it]
+
mmlu_uk:  29%|█████████████████████████████████▊                                                                                 | 119/404 [25:41<1:02:35, 13.18s/it]
+
mmlu_uk:  30%|██████████████████████████████████▏                                                                                | 120/404 [25:54<1:02:03, 13.11s/it]
+
mmlu_uk:  30%|██████████████████████████████████▍                                                                                | 121/404 [26:07<1:01:13, 12.98s/it]
+
mmlu_uk:  30%|██████████████████████████████████▋                                                                                | 122/404 [26:20<1:01:51, 13.16s/it]
+
mmlu_uk:  30%|███████████████████████████████████                                                                                | 123/404 [26:32<1:00:09, 12.84s/it]
+
mmlu_uk:  31%|███████████████████████████████████▎                                                                               | 124/404 [26:46<1:01:33, 13.19s/it]
+
mmlu_uk:  31%|███████████████████████████████████▌                                                                               | 125/404 [26:59<1:00:44, 13.06s/it]
+
mmlu_uk:  31%|████████████████████████████████████▍                                                                                | 126/404 [27:11<58:15, 12.57s/it]
+
mmlu_uk:  31%|████████████████████████████████████▊                                                                                | 127/404 [27:23<57:30, 12.46s/it]
+
mmlu_uk:  32%|█████████████████████████████████████                                                                                | 128/404 [27:36<57:56, 12.60s/it]
+
mmlu_uk:  32%|█████████████████████████████████████▎                                                                               | 129/404 [27:47<56:19, 12.29s/it]
+
mmlu_uk:  32%|█████████████████████████████████████▋                                                                               | 130/404 [28:01<57:45, 12.65s/it]
+
mmlu_uk:  32%|█████████████████████████████████████▉                                                                               | 131/404 [28:14<58:30, 12.86s/it]
+
mmlu_uk:  33%|██████████████████████████████████████▏                                                                              | 132/404 [28:27<58:43, 12.95s/it]
+
mmlu_uk:  33%|██████████████████████████████████████▌                                                                              | 133/404 [28:38<56:00, 12.40s/it]
+
mmlu_uk:  33%|██████████████████████████████████████▊                                                                              | 134/404 [28:51<56:31, 12.56s/it]
+
mmlu_uk:  33%|███████████████████████████████████████                                                                              | 135/404 [29:06<58:31, 13.05s/it]
+
mmlu_uk:  34%|███████████████████████████████████████▍                                                                             | 136/404 [29:18<57:42, 12.92s/it]
+
mmlu_uk:  34%|███████████████████████████████████████▋                                                                             | 137/404 [29:32<58:41, 13.19s/it]
+
mmlu_uk:  34%|███████████████████████████████████████▉                                                                             | 138/404 [29:46<59:21, 13.39s/it]
+
mmlu_uk:  34%|████████████████████████████████████████▎                                                                            | 139/404 [29:57<56:28, 12.79s/it]
+
mmlu_uk:  35%|████████████████████████████████████████▌                                                                            | 140/404 [30:09<55:12, 12.55s/it]
+
mmlu_uk:  35%|████████████████████████████████████████▏                                                                          | 141/404 [30:27<1:01:22, 14.00s/it]
+
mmlu_uk:  35%|████████████████████████████████████████▍                                                                          | 142/404 [30:41<1:01:03, 13.98s/it]
+
mmlu_uk:  35%|████████████████████████████████████████▋                                                                          | 143/404 [30:57<1:03:25, 14.58s/it]
+
mmlu_uk:  36%|████████████████████████████████████████▉                                                                          | 144/404 [31:12<1:04:28, 14.88s/it]
+
mmlu_uk:  36%|█████████████████████████████████████████▎                                                                         | 145/404 [31:25<1:01:08, 14.17s/it]
+
mmlu_uk:  36%|██████████████████████████████████████████▎                                                                          | 146/404 [31:37<58:18, 13.56s/it]
+
mmlu_uk:  36%|██████████████████████████████████████████▌                                                                          | 147/404 [31:47<54:24, 12.70s/it]
+
mmlu_uk:  37%|██████████████████████████████████████████▊                                                                          | 148/404 [32:01<55:00, 12.89s/it]
+
mmlu_uk:  37%|███████████████████████████████████████████▏                                                                         | 149/404 [32:14<55:42, 13.11s/it]
+
mmlu_uk:  37%|███████████████████████████████████████████▍                                                                         | 150/404 [32:27<55:06, 13.02s/it]
+
mmlu_uk:  37%|███████████████████████████████████████████▋                                                                         | 151/404 [32:38<52:16, 12.40s/it]
+
mmlu_uk:  38%|████████████████████████████████████████████                                                                         | 152/404 [32:50<51:05, 12.16s/it]
+
mmlu_uk:  38%|████████████████████████████████████████████▎                                                                        | 153/404 [33:02<50:42, 12.12s/it]
+
mmlu_uk:  38%|████████████████████████████████████████████▌                                                                        | 154/404 [33:17<53:42, 12.89s/it]
+
mmlu_uk:  38%|████████████████████████████████████████████▉                                                                        | 155/404 [33:29<52:46, 12.72s/it]
+
mmlu_uk:  39%|█████████████████████████████████████████████▏                                                                       | 156/404 [33:39<49:04, 11.87s/it]
+
mmlu_uk:  39%|█████████████████████████████████████████████▍                                                                       | 157/404 [33:53<51:23, 12.48s/it]
+
mmlu_uk:  39%|█████████████████████████████████████████████▊                                                                       | 158/404 [34:07<53:04, 12.94s/it]
+
mmlu_uk:  39%|██████████████████████████████████████████████                                                                       | 159/404 [34:22<55:11, 13.52s/it]
+
mmlu_uk:  40%|██████████████████████████████████████████████▎                                                                      | 160/404 [34:36<56:01, 13.78s/it]
+
mmlu_uk:  40%|██████████████████████████████████████████████▋                                                                      | 161/404 [34:51<57:22, 14.17s/it]
+
mmlu_uk:  40%|██████████████████████████████████████████████▉                                                                      | 162/404 [35:04<55:49, 13.84s/it]
+
mmlu_uk:  40%|███████████████████████████████████████████████▏                                                                     | 163/404 [35:20<57:32, 14.33s/it]
+
mmlu_uk:  41%|███████████████████████████████████████████████▍                                                                     | 164/404 [35:31<54:09, 13.54s/it]
+
mmlu_uk:  41%|███████████████████████████████████████████████▊                                                                     | 165/404 [35:43<52:15, 13.12s/it]
+
mmlu_uk:  41%|████████████████████████████████████████████████                                                                     | 166/404 [35:55<50:07, 12.64s/it]
+
mmlu_uk:  41%|████████████████████████████████████████████████▎                                                                    | 167/404 [36:09<52:07, 13.19s/it]
+
mmlu_uk:  42%|████████████████████████████████████████████████▋                                                                    | 168/404 [36:21<50:34, 12.86s/it]
+
mmlu_uk:  42%|████████████████████████████████████████████████▉                                                                    | 169/404 [36:34<49:27, 12.63s/it]
+
mmlu_uk:  42%|█████████████████████████████████████████████████▏                                                                   | 170/404 [36:47<50:01, 12.83s/it]
+
mmlu_uk:  42%|█████████████████████████████████████████████████▌                                                                   | 171/404 [36:59<49:20, 12.71s/it]
+
mmlu_uk:  43%|█████████████████████████████████████████████████▊                                                                   | 172/404 [37:10<47:09, 12.20s/it]
+
mmlu_uk:  43%|██████████████████████████████████████████████████                                                                   | 173/404 [37:23<48:01, 12.47s/it]
+
mmlu_uk:  43%|██████████████████████████████████████████████████▍                                                                  | 174/404 [37:35<47:00, 12.26s/it]
+
mmlu_uk:  43%|██████████████████████████████████████████████████▋                                                                  | 175/404 [37:50<49:26, 12.95s/it]
+
mmlu_uk:  44%|██████████████████████████████████████████████████▉                                                                  | 176/404 [38:01<47:48, 12.58s/it]
+
mmlu_uk:  44%|███████████████████████████████████████████████████▎                                                                 | 177/404 [38:14<47:10, 12.47s/it]
+
mmlu_uk:  44%|███████████████████████████████████████████████████▌                                                                 | 178/404 [38:25<46:06, 12.24s/it]
+
mmlu_uk:  44%|███████████████████████████████████████████████████▊                                                                 | 179/404 [38:37<45:31, 12.14s/it]
+
mmlu_uk:  45%|████████████████████████████████████████████████████▏                                                                | 180/404 [38:51<47:01, 12.59s/it]
+
mmlu_uk:  45%|████████████████████████████████████████████████████▍                                                                | 181/404 [39:04<47:12, 12.70s/it]
+
mmlu_uk:  45%|████████████████████████████████████████████████████▋                                                                | 182/404 [39:18<49:09, 13.29s/it]
+
mmlu_uk:  45%|████████████████████████████████████████████████████▉                                                                | 183/404 [39:30<46:36, 12.65s/it]
+
mmlu_uk:  46%|█████████████████████████████████████████████████████▎                                                               | 184/404 [39:42<46:14, 12.61s/it]
+
mmlu_uk:  46%|█████████████████████████████████████████████████████▌                                                               | 185/404 [39:53<44:12, 12.11s/it]
+
mmlu_uk:  46%|█████████████████████████████████████████████████████▊                                                               | 186/404 [40:06<44:41, 12.30s/it]
+
mmlu_uk:  46%|██████████████████████████████████████████████████████▏                                                              | 187/404 [40:18<43:55, 12.14s/it]
+
mmlu_uk:  47%|██████████████████████████████████████████████████████▍                                                              | 188/404 [40:28<41:39, 11.57s/it]
+
mmlu_uk:  47%|██████████████████████████████████████████████████████▋                                                              | 189/404 [40:39<41:09, 11.49s/it]
+
mmlu_uk:  47%|███████████████████████████████████████████████████████                                                              | 190/404 [40:50<40:39, 11.40s/it]
+
mmlu_uk:  47%|███████████████████████████████████████████████████████▎                                                             | 191/404 [41:03<41:18, 11.64s/it]
+
mmlu_uk:  48%|███████████████████████████████████████████████████████▌                                                             | 192/404 [41:15<41:41, 11.80s/it]
+
mmlu_uk:  48%|███████████████████████████████████████████████████████▉                                                             | 193/404 [41:28<43:06, 12.26s/it]
+
mmlu_uk:  48%|████████████████████████████████████████████████████████▏                                                            | 194/404 [41:42<44:43, 12.78s/it]
+
mmlu_uk:  48%|████████████████████████████████████████████████████████▍                                                            | 195/404 [41:56<45:18, 13.01s/it]
+
mmlu_uk:  49%|████████████████████████████████████████████████████████▊                                                            | 196/404 [42:11<47:15, 13.63s/it]
+
mmlu_uk:  49%|█████████████████████████████████████████████████████████                                                            | 197/404 [42:23<45:09, 13.09s/it]
+
mmlu_uk:  49%|█████████████████████████████████████████████████████████▎                                                           | 198/404 [42:34<43:04, 12.55s/it]
+
mmlu_uk:  49%|█████████████████████████████████████████████████████████▋                                                           | 199/404 [42:47<43:35, 12.76s/it]
+
mmlu_uk:  50%|█████████████████████████████████████████████████████████▉                                                           | 200/404 [43:02<45:19, 13.33s/it]
+
mmlu_uk:  50%|██████████████████████████████████████████████████████████▏                                                          | 201/404 [43:16<45:46, 13.53s/it]
+
mmlu_uk:  50%|██████████████████████████████████████████████████████████▌                                                          | 202/404 [43:28<43:58, 13.06s/it]
+
mmlu_uk:  50%|██████████████████████████████████████████████████████████▊                                                          | 203/404 [43:42<45:29, 13.58s/it]
+
mmlu_uk:  50%|███████████████████████████████████████████████████████████                                                          | 204/404 [43:55<44:08, 13.24s/it]
+
mmlu_uk:  51%|███████████████████████████████████████████████████████████▎                                                         | 205/404 [44:06<42:07, 12.70s/it]
+
mmlu_uk:  51%|███████████████████████████████████████████████████████████▋                                                         | 206/404 [44:19<41:54, 12.70s/it]
+
mmlu_uk:  51%|███████████████████████████████████████████████████████████▉                                                         | 207/404 [44:31<40:40, 12.39s/it]
+
mmlu_uk:  51%|████████████████████████████████████████████████████████████▏                                                        | 208/404 [44:42<39:31, 12.10s/it]
+
mmlu_uk:  52%|████████████████████████████████████████████████████████████▌                                                        | 209/404 [44:53<38:17, 11.78s/it]
+
mmlu_uk:  52%|████████████████████████████████████████████████████████████▊                                                        | 210/404 [45:06<39:28, 12.21s/it]
+
mmlu_uk:  52%|█████████████████████████████████████████████████████████████                                                        | 211/404 [45:19<39:38, 12.32s/it]
+
mmlu_uk:  52%|█████████████████████████████████████████████████████████████▍                                                       | 212/404 [45:30<38:30, 12.04s/it]
+
mmlu_uk:  53%|█████████████████████████████████████████████████████████████▋                                                       | 213/404 [45:42<38:15, 12.02s/it]
+
mmlu_uk:  53%|█████████████████████████████████████████████████████████████▉                                                       | 214/404 [45:55<38:42, 12.22s/it]
+
mmlu_uk:  53%|██████████████████████████████████████████████████████████████▎                                                      | 215/404 [46:06<37:10, 11.80s/it]
+
mmlu_uk:  53%|██████████████████████████████████████████████████████████████▌                                                      | 216/404 [46:18<37:14, 11.88s/it]
+
mmlu_uk:  54%|██████████████████████████████████████████████████████████████▊                                                      | 217/404 [46:30<37:08, 11.92s/it]
+
mmlu_uk:  54%|███████████████████████████████████████████████████████████████▏                                                     | 218/404 [46:42<37:08, 11.98s/it]
+
mmlu_uk:  54%|███████████████████████████████████████████████████████████████▍                                                     | 219/404 [46:55<37:31, 12.17s/it]
+
mmlu_uk:  54%|███████████████████████████████████████████████████████████████▋                                                     | 220/404 [47:07<37:18, 12.16s/it]
+
mmlu_uk:  55%|████████████████████████████████████████████████████████████████                                                     | 221/404 [47:20<38:02, 12.47s/it]
+
mmlu_uk:  55%|████████████████████████████████████████████████████████████████▎                                                    | 222/404 [47:34<38:52, 12.81s/it]
+
mmlu_uk:  55%|████████████████████████████████████████████████████████████████▌                                                    | 223/404 [47:47<38:51, 12.88s/it]
+
mmlu_uk:  55%|████████████████████████████████████████████████████████████████▊                                                    | 224/404 [48:01<40:01, 13.34s/it]
+
mmlu_uk:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 225/404 [48:14<39:10, 13.13s/it]
+
mmlu_uk:  56%|█████████████████████████████████████████████████████████████████▍                                                   | 226/404 [48:26<38:22, 12.93s/it]
+
mmlu_uk:  56%|█████████████████████████████████████████████████████████████████▋                                                   | 227/404 [48:39<38:03, 12.90s/it]
+
mmlu_uk:  56%|██████████████████████████████████████████████████████████████████                                                   | 228/404 [48:51<37:12, 12.68s/it]
+
mmlu_uk:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 229/404 [49:04<37:01, 12.69s/it]
+
mmlu_uk:  57%|██████████████████████████████████████████████████████████████████▌                                                  | 230/404 [49:16<36:16, 12.51s/it]
+
mmlu_uk:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 231/404 [49:28<35:42, 12.39s/it]
+
mmlu_uk:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 232/404 [49:41<36:08, 12.61s/it]
+
mmlu_uk:  58%|███████████████████████████████████████████████████████████████████▍                                                 | 233/404 [49:52<34:30, 12.11s/it]
+
mmlu_uk:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 234/404 [50:07<36:46, 12.98s/it]
+
mmlu_uk:  58%|████████████████████████████████████████████████████████████████████                                                 | 235/404 [50:22<38:15, 13.58s/it]
+
mmlu_uk:  58%|████████████████████████████████████████████████████████████████████▎                                                | 236/404 [50:34<36:46, 13.14s/it]
+
mmlu_uk:  59%|████████████████████████████████████████████████████████████████████▋                                                | 237/404 [50:47<36:17, 13.04s/it]
+
mmlu_uk:  59%|████████████████████████████████████████████████████████████████████▉                                                | 238/404 [51:00<36:06, 13.05s/it]
+
mmlu_uk:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 239/404 [51:13<35:44, 12.99s/it]
+
mmlu_uk:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 240/404 [51:26<35:16, 12.91s/it]
+
mmlu_uk:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 241/404 [51:37<33:27, 12.31s/it]
+
mmlu_uk:  60%|██████████████████████████████████████████████████████████████████████                                               | 242/404 [51:48<32:47, 12.14s/it]
+
mmlu_uk:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 243/404 [52:01<32:37, 12.16s/it]
+
mmlu_uk:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 244/404 [52:12<32:05, 12.04s/it]
+
mmlu_uk:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 245/404 [52:25<32:29, 12.26s/it]
+
mmlu_uk:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 246/404 [52:40<34:08, 12.97s/it]
+
mmlu_uk:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 247/404 [52:50<32:08, 12.28s/it]
+
mmlu_uk:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 248/404 [53:06<34:30, 13.27s/it]
+
mmlu_uk:  62%|████████████████████████████████████████████████████████████████████████                                             | 249/404 [53:18<33:11, 12.85s/it]
+
mmlu_uk:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 250/404 [53:30<32:25, 12.63s/it]
+
mmlu_uk:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 251/404 [53:42<31:27, 12.34s/it]
+
mmlu_uk:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 252/404 [53:54<31:31, 12.44s/it]
+
mmlu_uk:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 253/404 [54:06<31:08, 12.37s/it]
+
mmlu_uk:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 254/404 [54:19<31:07, 12.45s/it]
+
mmlu_uk:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 255/404 [54:32<31:24, 12.65s/it]
+
mmlu_uk:  63%|██████████████████████████████████████████████████████████████████████████▏                                          | 256/404 [54:45<31:34, 12.80s/it]
+
mmlu_uk:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 257/404 [55:01<33:12, 13.56s/it]
+
mmlu_uk:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 258/404 [55:13<32:24, 13.32s/it]
+
mmlu_uk:  64%|███████████████████████████████████████████████████████████████████████████                                          | 259/404 [55:26<31:52, 13.19s/it]
+
mmlu_uk:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 260/404 [55:41<32:53, 13.70s/it]
+
mmlu_uk:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 261/404 [55:54<31:41, 13.30s/it]
+
mmlu_uk:  65%|███████████████████████████████████████████████████████████████████████████▉                                         | 262/404 [56:04<29:37, 12.52s/it]
+
mmlu_uk:  65%|████████████████████████████████████████████████████████████████████████████▏                                        | 263/404 [56:17<29:16, 12.45s/it]
+
mmlu_uk:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 264/404 [56:29<29:07, 12.49s/it]
+
mmlu_uk:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 265/404 [56:41<28:47, 12.43s/it]
+
mmlu_uk:  66%|█████████████████████████████████████████████████████████████████████████████                                        | 266/404 [56:54<28:25, 12.36s/it]
+
mmlu_uk:  66%|█████████████████████████████████████████████████████████████████████████████▎                                       | 267/404 [57:05<27:21, 11.98s/it]
+
mmlu_uk:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 268/404 [57:20<29:32, 13.03s/it]
+
mmlu_uk:  67%|█████████████████████████████████████████████████████████████████████████████▉                                       | 269/404 [57:32<28:40, 12.74s/it]
+
mmlu_uk:  67%|██████████████████████████████████████████████████████████████████████████████▏                                      | 270/404 [57:46<28:57, 12.97s/it]
+
mmlu_uk:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 271/404 [58:00<29:27, 13.29s/it]
+
mmlu_uk:  67%|██████████████████████████████████████████████████████████████████████████████▊                                      | 272/404 [58:11<27:54, 12.69s/it]
+
mmlu_uk:  68%|███████████████████████████████████████████████████████████████████████████████                                      | 273/404 [58:21<26:04, 11.94s/it]
+
mmlu_uk:  68%|███████████████████████████████████████████████████████████████████████████████▎                                     | 274/404 [58:33<25:54, 11.96s/it]
+
mmlu_uk:  68%|███████████████████████████████████████████████████████████████████████████████▋                                     | 275/404 [58:44<25:11, 11.72s/it]
+
mmlu_uk:  68%|███████████████████████████████████████████████████████████████████████████████▉                                     | 276/404 [58:56<25:04, 11.76s/it]
+
mmlu_uk:  69%|████████████████████████████████████████████████████████████████████████████████▏                                    | 277/404 [59:09<25:39, 12.12s/it]
+
mmlu_uk:  69%|████████████████████████████████████████████████████████████████████████████████▌                                    | 278/404 [59:22<26:03, 12.41s/it]
+
mmlu_uk:  69%|████████████████████████████████████████████████████████████████████████████████▊                                    | 279/404 [59:36<26:18, 12.63s/it]
+
mmlu_uk:  69%|█████████████████████████████████████████████████████████████████████████████████                                    | 280/404 [59:50<27:31, 13.32s/it]
+
mmlu_uk:  70%|███████████████████████████████████████████████████████████████████████████████▉                                   | 281/404 [1:00:02<26:11, 12.77s/it]
+
mmlu_uk:  70%|████████████████████████████████████████████████████████████████████████████████▎                                  | 282/404 [1:00:17<27:12, 13.38s/it]
+
mmlu_uk:  70%|████████████████████████████████████████████████████████████████████████████████▌                                  | 283/404 [1:00:29<26:13, 13.01s/it]
+
mmlu_uk:  70%|████████████████████████████████████████████████████████████████████████████████▊                                  | 284/404 [1:00:41<25:31, 12.76s/it]
+
mmlu_uk:  71%|█████████████████████████████████████████████████████████████████████████████████▏                                 | 285/404 [1:00:54<25:19, 12.77s/it]
+
mmlu_uk:  71%|█████████████████████████████████████████████████████████████████████████████████▍                                 | 286/404 [1:01:06<24:52, 12.65s/it]
+
mmlu_uk:  71%|█████████████████████████████████████████████████████████████████████████████████▋                                 | 287/404 [1:01:19<24:36, 12.62s/it]
+
mmlu_uk:  71%|█████████████████████████████████████████████████████████████████████████████████▉                                 | 288/404 [1:01:32<24:30, 12.68s/it]
+
mmlu_uk:  72%|██████████████████████████████████████████████████████████████████████████████████▎                                | 289/404 [1:01:43<23:50, 12.44s/it]
+
mmlu_uk:  72%|██████████████████████████████████████████████████████████████████████████████████▌                                | 290/404 [1:01:57<24:29, 12.89s/it]
+
mmlu_uk:  72%|██████████████████████████████████████████████████████████████████████████████████▊                                | 291/404 [1:02:12<25:08, 13.35s/it]
+
mmlu_uk:  72%|███████████████████████████████████████████████████████████████████████████████████                                | 292/404 [1:02:28<26:19, 14.10s/it]
+
mmlu_uk:  73%|███████████████████████████████████████████████████████████████████████████████████▍                               | 293/404 [1:02:37<23:39, 12.78s/it]
+
mmlu_uk:  73%|███████████████████████████████████████████████████████████████████████████████████▋                               | 294/404 [1:02:51<23:45, 12.95s/it]
+
mmlu_uk:  73%|███████████████████████████████████████████████████████████████████████████████████▉                               | 295/404 [1:03:04<23:40, 13.03s/it]
+
mmlu_uk:  73%|████████████████████████████████████████████████████████████████████████████████████▎                              | 296/404 [1:03:19<24:26, 13.58s/it]
+
mmlu_uk:  74%|████████████████████████████████████████████████████████████████████████████████████▌                              | 297/404 [1:03:33<24:23, 13.67s/it]
+
mmlu_uk:  74%|████████████████████████████████████████████████████████████████████████████████████▊                              | 298/404 [1:03:46<23:56, 13.56s/it]
+
mmlu_uk:  74%|█████████████████████████████████████████████████████████████████████████████████████                              | 299/404 [1:03:59<23:30, 13.43s/it]
+
mmlu_uk:  74%|█████████████████████████████████████████████████████████████████████████████████████▍                             | 300/404 [1:04:12<23:04, 13.31s/it]
+
mmlu_uk:  75%|█████████████████████████████████████████████████████████████████████████████████████▋                             | 301/404 [1:04:24<22:04, 12.86s/it]
+
mmlu_uk:  75%|█████████████████████████████████████████████████████████████████████████████████████▉                             | 302/404 [1:04:36<21:21, 12.57s/it]
+
mmlu_uk:  75%|██████████████████████████████████████████████████████████████████████████████████████▎                            | 303/404 [1:04:46<20:09, 11.98s/it]
+
mmlu_uk:  75%|██████████████████████████████████████████████████████████████████████████████████████▌                            | 304/404 [1:05:00<20:31, 12.31s/it]
+
mmlu_uk:  75%|██████████████████████████████████████████████████████████████████████████████████████▊                            | 305/404 [1:05:11<19:40, 11.92s/it]
+
mmlu_uk:  76%|███████████████████████████████████████████████████████████████████████████████████████                            | 306/404 [1:05:25<20:46, 12.72s/it]
+
mmlu_uk:  76%|███████████████████████████████████████████████████████████████████████████████████████▍                           | 307/404 [1:05:36<19:50, 12.27s/it]
+
mmlu_uk:  76%|███████████████████████████████████████████████████████████████████████████████████████▋                           | 308/404 [1:05:49<19:46, 12.36s/it]
+
mmlu_uk:  76%|███████████████████████████████████████████████████████████████████████████████████████▉                           | 309/404 [1:06:01<19:34, 12.36s/it]
+
mmlu_uk:  77%|████████████████████████████████████████████████████████████████████████████████████████▏                          | 310/404 [1:06:16<20:31, 13.10s/it]
+
mmlu_uk:  77%|████████████████████████████████████████████████████████████████████████████████████████▌                          | 311/404 [1:06:28<19:51, 12.81s/it]
+
mmlu_uk:  77%|████████████████████████████████████████████████████████████████████████████████████████▊                          | 312/404 [1:06:41<19:45, 12.89s/it]
+
mmlu_uk:  77%|█████████████████████████████████████████████████████████████████████████████████████████                          | 313/404 [1:06:53<18:48, 12.40s/it]
+
mmlu_uk:  78%|█████████████████████████████████████████████████████████████████████████████████████████▍                         | 314/404 [1:07:05<18:45, 12.51s/it]
+
mmlu_uk:  78%|█████████████████████████████████████████████████████████████████████████████████████████▋                         | 315/404 [1:07:17<18:12, 12.28s/it]
+
mmlu_uk:  78%|█████████████████████████████████████████████████████████████████████████████████████████▉                         | 316/404 [1:07:30<18:25, 12.56s/it]
+
mmlu_uk:  78%|██████████████████████████████████████████████████████████████████████████████████████████▏                        | 317/404 [1:07:43<18:21, 12.66s/it]
+
mmlu_uk:  79%|██████████████████████████████████████████████████████████████████████████████████████████▌                        | 318/404 [1:07:56<18:02, 12.59s/it]
+
mmlu_uk:  79%|██████████████████████████████████████████████████████████████████████████████████████████▊                        | 319/404 [1:08:08<17:39, 12.47s/it]
+
mmlu_uk:  79%|███████████████████████████████████████████████████████████████████████████████████████████                        | 320/404 [1:08:24<19:01, 13.59s/it]
+
mmlu_uk:  79%|███████████████████████████████████████████████████████████████████████████████████████████▎                       | 321/404 [1:08:36<18:19, 13.25s/it]
+
mmlu_uk:  80%|███████████████████████████████████████████████████████████████████████████████████████████▋                       | 322/404 [1:08:48<17:31, 12.83s/it]
+
mmlu_uk:  80%|███████████████████████████████████████████████████████████████████████████████████████████▉                       | 323/404 [1:08:59<16:24, 12.15s/it]
+
mmlu_uk:  80%|████████████████████████████████████████████████████████████████████████████████████████████▏                      | 324/404 [1:09:11<16:18, 12.23s/it]
+
mmlu_uk:  80%|████████████████████████████████████████████████████████████████████████████████████████████▌                      | 325/404 [1:09:24<16:20, 12.41s/it]
+
mmlu_uk:  81%|████████████████████████████████████████████████████████████████████████████████████████████▊                      | 326/404 [1:09:35<15:40, 12.05s/it]
+
mmlu_uk:  81%|█████████████████████████████████████████████████████████████████████████████████████████████                      | 327/404 [1:09:48<15:51, 12.36s/it]
+
mmlu_uk:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▎                     | 328/404 [1:09:59<15:08, 11.95s/it]
+
mmlu_uk:  81%|█████████████████████████████████████████████████████████████████████████████████████████████▋                     | 329/404 [1:10:13<15:25, 12.34s/it]
+
mmlu_uk:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▉                     | 330/404 [1:10:24<14:45, 11.97s/it]
+
mmlu_uk:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▏                    | 331/404 [1:10:38<15:15, 12.53s/it]
+
mmlu_uk:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▌                    | 332/404 [1:10:51<15:24, 12.84s/it]
+
mmlu_uk:  82%|██████████████████████████████████████████████████████████████████████████████████████████████▊                    | 333/404 [1:11:04<15:12, 12.85s/it]
+
mmlu_uk:  83%|███████████████████████████████████████████████████████████████████████████████████████████████                    | 334/404 [1:11:16<14:33, 12.48s/it]
+
mmlu_uk:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▎                   | 335/404 [1:11:29<14:36, 12.70s/it]
+
mmlu_uk:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▋                   | 336/404 [1:11:40<13:50, 12.21s/it]
+
mmlu_uk:  83%|███████████████████████████████████████████████████████████████████████████████████████████████▉                   | 337/404 [1:11:53<13:55, 12.48s/it]
+
mmlu_uk:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 338/404 [1:12:04<13:18, 12.09s/it]
+
mmlu_uk:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 339/404 [1:12:19<14:03, 12.98s/it]
+
mmlu_uk:  84%|████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 340/404 [1:12:33<14:02, 13.16s/it]
+
mmlu_uk:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████                  | 341/404 [1:12:44<13:03, 12.44s/it]
+
mmlu_uk:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 342/404 [1:12:57<13:00, 12.58s/it]
+
mmlu_uk:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 343/404 [1:13:09<12:50, 12.64s/it]
+
mmlu_uk:  85%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 344/404 [1:13:22<12:30, 12.51s/it]
+
mmlu_uk:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 345/404 [1:13:33<12:05, 12.30s/it]
+
mmlu_uk:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 346/404 [1:13:46<11:51, 12.26s/it]
+
mmlu_uk:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                | 347/404 [1:13:58<11:38, 12.25s/it]
+
mmlu_uk:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████                | 348/404 [1:14:12<11:58, 12.82s/it]
+
mmlu_uk:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 349/404 [1:14:27<12:18, 13.44s/it]
+
mmlu_uk:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▋               | 350/404 [1:14:41<12:13, 13.59s/it]
+
mmlu_uk:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▉               | 351/404 [1:14:54<11:53, 13.46s/it]
+
mmlu_uk:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 352/404 [1:15:08<11:45, 13.57s/it]
+
mmlu_uk:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 353/404 [1:15:21<11:25, 13.44s/it]
+
mmlu_uk:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 354/404 [1:15:34<11:12, 13.46s/it]
+
mmlu_uk:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████              | 355/404 [1:15:47<10:42, 13.11s/it]
+
mmlu_uk:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 356/404 [1:16:01<10:46, 13.46s/it]
+
mmlu_uk:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 357/404 [1:16:14<10:25, 13.32s/it]
+
mmlu_uk:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 358/404 [1:16:25<09:37, 12.56s/it]
+
mmlu_uk:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 359/404 [1:16:38<09:38, 12.86s/it]
+
mmlu_uk:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 360/404 [1:16:49<09:02, 12.33s/it]
+
mmlu_uk:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 361/404 [1:17:04<09:18, 12.99s/it]
+
mmlu_uk:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████            | 362/404 [1:17:17<09:01, 12.89s/it]
+
mmlu_uk:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 363/404 [1:17:32<09:19, 13.64s/it]
+
mmlu_uk:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 364/404 [1:17:43<08:35, 12.89s/it]
+
mmlu_uk:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 365/404 [1:17:56<08:20, 12.84s/it]
+
mmlu_uk:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 366/404 [1:18:06<07:43, 12.19s/it]
+
mmlu_uk:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 367/404 [1:18:18<07:28, 12.13s/it]
+
mmlu_uk:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 368/404 [1:18:34<07:53, 13.16s/it]
+
mmlu_uk:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████          | 369/404 [1:18:48<07:47, 13.35s/it]
+
mmlu_uk:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 370/404 [1:19:00<07:23, 13.05s/it]
+
mmlu_uk:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 371/404 [1:19:13<07:06, 12.94s/it]
+
mmlu_uk:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 372/404 [1:19:23<06:24, 12.01s/it]
+
mmlu_uk:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 373/404 [1:19:36<06:21, 12.32s/it]
+
mmlu_uk:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 374/404 [1:19:46<05:54, 11.80s/it]
+
mmlu_uk:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 375/404 [1:19:59<05:45, 11.91s/it]
+
mmlu_uk:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████        | 376/404 [1:20:10<05:29, 11.79s/it]
+
mmlu_uk:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 377/404 [1:20:23<05:26, 12.09s/it]
+
mmlu_uk:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 378/404 [1:20:37<05:33, 12.81s/it]
+
mmlu_uk:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 379/404 [1:20:50<05:17, 12.70s/it]
+
mmlu_uk:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 380/404 [1:21:02<04:59, 12.46s/it]
+
mmlu_uk:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 381/404 [1:21:13<04:42, 12.27s/it]
+
mmlu_uk:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 382/404 [1:21:27<04:39, 12.71s/it]
+
mmlu_uk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 383/404 [1:21:39<04:20, 12.39s/it]
+
mmlu_uk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 384/404 [1:21:50<04:02, 12.12s/it]
+
mmlu_uk:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 385/404 [1:22:03<03:51, 12.19s/it]
+
mmlu_uk:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 386/404 [1:22:16<03:44, 12.50s/it]
+
mmlu_uk:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 387/404 [1:22:28<03:28, 12.25s/it]
+
mmlu_uk:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 388/404 [1:22:41<03:23, 12.72s/it]
+
mmlu_uk:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 389/404 [1:22:53<03:04, 12.27s/it]
+
mmlu_uk:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 390/404 [1:23:07<03:00, 12.89s/it]
+
mmlu_uk:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 391/404 [1:23:19<02:43, 12.61s/it]
+
mmlu_uk:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 392/404 [1:23:32<02:32, 12.69s/it]
+
mmlu_uk:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 393/404 [1:23:47<02:27, 13.39s/it]
+
mmlu_uk:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 394/404 [1:24:00<02:12, 13.27s/it]
+
mmlu_uk:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 395/404 [1:24:12<01:56, 12.94s/it]
+
mmlu_uk:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 396/404 [1:24:24<01:40, 12.59s/it]
+
mmlu_uk:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 397/404 [1:24:37<01:29, 12.76s/it]
+
mmlu_uk:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 398/404 [1:24:51<01:18, 13.13s/it]
+
mmlu_uk:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 399/404 [1:25:04<01:05, 13.18s/it]
+
mmlu_uk:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 400/404 [1:25:16<00:51, 12.77s/it]
+
mmlu_uk:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 401/404 [1:25:30<00:39, 13.25s/it]
+
mmlu_uk: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 402/404 [1:25:42<00:25, 12.85s/it]
+
mmlu_uk: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 403/404 [1:25:55<00:12, 12.87s/it]
+
mmlu_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:26:03<00:00, 11.46s/it]
mmlu_uk: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 404/404 [1:26:03<00:00, 12.78s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_uk_acc 0.28824850879231545
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_uk_acc_norm 0.2943682701990859
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 03:10:23,608 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 03:10:23,608 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:23,739 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 03:10:23,739 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:23,869 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 03:10:23,869 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:24,000 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 03:10:24,001 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 03:10:24,001 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 03:10:24,133 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 03:10:24,133 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_uk_acc'}
+2024-06-01 03:10:24,209 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 03:10:24,209 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1259, 'value': 0.28824850879231545}
+2024-06-01 03:10:24,276 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 03:10:24,939 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 03:10:24,939 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:25,070 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 03:10:25,070 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:25,200 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 03:10:25,200 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:25,331 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 03:10:25,332 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 03:10:25,332 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 03:10:25,463 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 03:10:25,463 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_uk_acc_norm'}
+2024-06-01 03:10:25,530 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 03:10:25,530 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1260, 'value': 0.2943682701990859}
+2024-06-01 03:10:25,596 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  73%|███████████████████████████████████████████████████████████████████████████████▎                            | 91/124 [68:22:54<41:23:48, 4516.01s/it]['mmlu_vi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 03:10:26,254 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 03:10:26,254 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:26,383 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 03:10:26,383 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:26,513 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 03:10:26,513 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 03:10:26,642 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 03:10:26,643 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 03:10:26,643 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'mmlu_vi'}
+2024-06-01 03:10:26,774 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_vi task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1 examples [00:00,  7.84 examples/s]
+
Generating test split: 3323 examples [00:00, 17547.62 examples/s]
+
Generating test split: 6801 examples [00:00, 24727.62 examples/s]
+
Generating test split: 10000 examples [00:00, 27419.84 examples/s]
Generating test split: 13062 examples [00:00, 24674.07 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 271 examples [00:00, 25996.17 examples/s]
+Running loglikelihood requests
+
+
mmlu_vi:   0%|                                                                                                                               | 0/409 [00:00<?, ?it/s]
+
mmlu_vi:   0%|▎                                                                                                                    | 1/409 [00:10<1:08:55, 10.14s/it]
+
mmlu_vi:   0%|▌                                                                                                                    | 2/409 [00:20<1:09:11, 10.20s/it]
+
mmlu_vi:   1%|▊                                                                                                                    | 3/409 [00:29<1:06:50,  9.88s/it]
+
mmlu_vi:   1%|█▏                                                                                                                   | 4/409 [00:42<1:12:51, 10.79s/it]
+
mmlu_vi:   1%|█▍                                                                                                                   | 5/409 [00:51<1:08:48, 10.22s/it]
+
mmlu_vi:   1%|█▋                                                                                                                   | 6/409 [01:01<1:07:31, 10.05s/it]
+
mmlu_vi:   2%|██                                                                                                                   | 7/409 [01:12<1:09:53, 10.43s/it]
+
mmlu_vi:   2%|██▎                                                                                                                  | 8/409 [01:22<1:10:12, 10.51s/it]
+
mmlu_vi:   2%|██▌                                                                                                                  | 9/409 [01:33<1:09:24, 10.41s/it]
+
mmlu_vi:   2%|██▊                                                                                                                 | 10/409 [01:43<1:08:37, 10.32s/it]
+
mmlu_vi:   3%|███                                                                                                                 | 11/409 [01:52<1:06:51, 10.08s/it]
+
mmlu_vi:   3%|███▍                                                                                                                | 12/409 [02:03<1:08:04, 10.29s/it]
+
mmlu_vi:   3%|███▋                                                                                                                | 13/409 [02:13<1:06:58, 10.15s/it]
+
mmlu_vi:   3%|███▉                                                                                                                | 14/409 [02:23<1:07:27, 10.25s/it]
+
mmlu_vi:   4%|████▎                                                                                                               | 15/409 [02:33<1:07:06, 10.22s/it]
+
mmlu_vi:   4%|████▌                                                                                                               | 16/409 [02:43<1:06:22, 10.13s/it]
+
mmlu_vi:   4%|████▊                                                                                                               | 17/409 [02:52<1:04:06,  9.81s/it]
+
mmlu_vi:   4%|█████                                                                                                               | 18/409 [03:04<1:08:12, 10.47s/it]
+
mmlu_vi:   5%|█████▍                                                                                                              | 19/409 [03:13<1:05:08, 10.02s/it]
+
mmlu_vi:   5%|█████▋                                                                                                              | 20/409 [03:24<1:06:33, 10.27s/it]
+
mmlu_vi:   5%|█████▉                                                                                                              | 21/409 [03:35<1:07:03, 10.37s/it]
+
mmlu_vi:   5%|██████▏                                                                                                             | 22/409 [03:44<1:05:21, 10.13s/it]
+
mmlu_vi:   6%|██████▌                                                                                                             | 23/409 [03:54<1:04:42, 10.06s/it]
+
mmlu_vi:   6%|██████▊                                                                                                             | 24/409 [04:05<1:05:34, 10.22s/it]
+
mmlu_vi:   6%|███████                                                                                                             | 25/409 [04:15<1:04:44, 10.12s/it]
+
mmlu_vi:   6%|███████▎                                                                                                            | 26/409 [04:25<1:05:27, 10.25s/it]
+
mmlu_vi:   7%|███████▋                                                                                                            | 27/409 [04:34<1:01:51,  9.71s/it]
+
mmlu_vi:   7%|███████▉                                                                                                            | 28/409 [04:43<1:01:22,  9.66s/it]
+
mmlu_vi:   7%|████████▏                                                                                                           | 29/409 [04:53<1:00:58,  9.63s/it]
+
mmlu_vi:   7%|████████▌                                                                                                           | 30/409 [05:04<1:04:09, 10.16s/it]
+
mmlu_vi:   8%|████████▉                                                                                                             | 31/409 [05:12<59:52,  9.50s/it]
+
mmlu_vi:   8%|█████████▏                                                                                                            | 32/409 [05:21<58:40,  9.34s/it]
+
mmlu_vi:   8%|█████████▎                                                                                                          | 33/409 [05:33<1:03:15, 10.10s/it]
+
mmlu_vi:   8%|█████████▋                                                                                                          | 34/409 [05:42<1:00:54,  9.74s/it]
+
mmlu_vi:   9%|█████████▉                                                                                                          | 35/409 [05:54<1:04:22, 10.33s/it]
+
mmlu_vi:   9%|██████████▏                                                                                                         | 36/409 [06:05<1:06:18, 10.67s/it]
+
mmlu_vi:   9%|██████████▍                                                                                                         | 37/409 [06:16<1:05:53, 10.63s/it]
+
mmlu_vi:   9%|██████████▊                                                                                                         | 38/409 [06:26<1:05:14, 10.55s/it]
+
mmlu_vi:  10%|███████████                                                                                                         | 39/409 [06:35<1:01:21,  9.95s/it]
+
mmlu_vi:  10%|███████████▎                                                                                                        | 40/409 [06:45<1:01:52, 10.06s/it]
+
mmlu_vi:  10%|███████████▋                                                                                                        | 41/409 [06:57<1:05:44, 10.72s/it]
+
mmlu_vi:  10%|███████████▉                                                                                                        | 42/409 [07:07<1:04:22, 10.52s/it]
+
mmlu_vi:  11%|████████████▏                                                                                                       | 43/409 [07:18<1:05:10, 10.69s/it]
+
mmlu_vi:  11%|████████████▍                                                                                                       | 44/409 [07:30<1:07:32, 11.10s/it]
+
mmlu_vi:  11%|████████████▊                                                                                                       | 45/409 [07:40<1:03:48, 10.52s/it]
+
mmlu_vi:  11%|█████████████                                                                                                       | 46/409 [07:49<1:01:16, 10.13s/it]
+
mmlu_vi:  11%|█████████████▎                                                                                                      | 47/409 [07:59<1:01:23, 10.17s/it]
+
mmlu_vi:  12%|█████████████▌                                                                                                      | 48/409 [08:09<1:01:11, 10.17s/it]
+
mmlu_vi:  12%|██████████████▏                                                                                                       | 49/409 [08:19<59:44,  9.96s/it]
+
mmlu_vi:  12%|██████████████▏                                                                                                     | 50/409 [08:32<1:04:50, 10.84s/it]
+
mmlu_vi:  12%|██████████████▍                                                                                                     | 51/409 [08:42<1:04:05, 10.74s/it]
+
mmlu_vi:  13%|██████████████▋                                                                                                     | 52/409 [08:54<1:05:20, 10.98s/it]
+
mmlu_vi:  13%|███████████████                                                                                                     | 53/409 [09:03<1:02:29, 10.53s/it]
+
mmlu_vi:  13%|███████████████▎                                                                                                    | 54/409 [09:13<1:01:10, 10.34s/it]
+
mmlu_vi:  13%|███████████████▌                                                                                                    | 55/409 [09:23<1:00:15, 10.21s/it]
+
mmlu_vi:  14%|████████████████▏                                                                                                     | 56/409 [09:33<59:55, 10.19s/it]
+
mmlu_vi:  14%|████████████████▍                                                                                                     | 57/409 [09:43<58:36,  9.99s/it]
+
mmlu_vi:  14%|████████████████▋                                                                                                     | 58/409 [09:53<58:59, 10.08s/it]
+
mmlu_vi:  14%|█████████████████                                                                                                     | 59/409 [10:03<58:32, 10.04s/it]
+
mmlu_vi:  15%|█████████████████                                                                                                   | 60/409 [10:14<1:00:48, 10.45s/it]
+
mmlu_vi:  15%|█████████████████▌                                                                                                    | 61/409 [10:24<59:09, 10.20s/it]
+
mmlu_vi:  15%|█████████████████▉                                                                                                    | 62/409 [10:34<58:49, 10.17s/it]
+
mmlu_vi:  15%|██████████████████▏                                                                                                   | 63/409 [10:44<57:34,  9.98s/it]
+
mmlu_vi:  16%|██████████████████▍                                                                                                   | 64/409 [10:53<56:54,  9.90s/it]
+
mmlu_vi:  16%|██████████████████▊                                                                                                   | 65/409 [11:03<56:52,  9.92s/it]
+
mmlu_vi:  16%|███████████████████                                                                                                   | 66/409 [11:14<58:17, 10.20s/it]
+
mmlu_vi:  16%|███████████████████                                                                                                 | 67/409 [11:26<1:01:01, 10.71s/it]
+
mmlu_vi:  17%|███████████████████▌                                                                                                  | 68/409 [11:35<58:13, 10.25s/it]
+
mmlu_vi:  17%|███████████████████▉                                                                                                  | 69/409 [11:44<55:55,  9.87s/it]
+
mmlu_vi:  17%|████████████████████▏                                                                                                 | 70/409 [11:52<53:04,  9.39s/it]
+
mmlu_vi:  17%|████████████████████▍                                                                                                 | 71/409 [12:03<55:11,  9.80s/it]
+
mmlu_vi:  18%|████████████████████▊                                                                                                 | 72/409 [12:13<54:48,  9.76s/it]
+
mmlu_vi:  18%|█████████████████████                                                                                                 | 73/409 [12:23<55:53,  9.98s/it]
+
mmlu_vi:  18%|█████████████████████▎                                                                                                | 74/409 [12:33<54:59,  9.85s/it]
+
mmlu_vi:  18%|█████████████████████▋                                                                                                | 75/409 [12:43<55:33,  9.98s/it]
+
mmlu_vi:  19%|█████████████████████▉                                                                                                | 76/409 [12:55<58:36, 10.56s/it]
+
mmlu_vi:  19%|██████████████████████▏                                                                                               | 77/409 [13:06<58:43, 10.61s/it]
+
mmlu_vi:  19%|██████████████████████▌                                                                                               | 78/409 [13:14<55:23, 10.04s/it]
+
mmlu_vi:  19%|██████████████████████▊                                                                                               | 79/409 [13:24<54:19,  9.88s/it]
+
mmlu_vi:  20%|███████████████████████                                                                                               | 80/409 [13:33<53:07,  9.69s/it]
+
mmlu_vi:  20%|███████████████████████▎                                                                                              | 81/409 [13:45<55:42, 10.19s/it]
+
mmlu_vi:  20%|███████████████████████▋                                                                                              | 82/409 [13:55<55:21, 10.16s/it]
+
mmlu_vi:  20%|███████████████████████▉                                                                                              | 83/409 [14:05<56:02, 10.31s/it]
+
mmlu_vi:  21%|████████████████████████▏                                                                                             | 84/409 [14:14<53:42,  9.92s/it]
+
mmlu_vi:  21%|████████████████████████▌                                                                                             | 85/409 [14:25<55:00, 10.19s/it]
+
mmlu_vi:  21%|████████████████████████▊                                                                                             | 86/409 [14:35<54:47, 10.18s/it]
+
mmlu_vi:  21%|█████████████████████████                                                                                             | 87/409 [14:46<55:24, 10.32s/it]
+
mmlu_vi:  22%|█████████████████████████▍                                                                                            | 88/409 [14:55<53:35, 10.02s/it]
+
mmlu_vi:  22%|█████████████████████████▋                                                                                            | 89/409 [15:04<50:39,  9.50s/it]
+
mmlu_vi:  22%|█████████████████████████▉                                                                                            | 90/409 [15:13<49:47,  9.36s/it]
+
mmlu_vi:  22%|██████████████████████████▎                                                                                           | 91/409 [15:23<50:58,  9.62s/it]
+
mmlu_vi:  22%|██████████████████████████▌                                                                                           | 92/409 [15:33<52:25,  9.92s/it]
+
mmlu_vi:  23%|██████████████████████████▊                                                                                           | 93/409 [15:44<52:45, 10.02s/it]
+
mmlu_vi:  23%|███████████████████████████                                                                                           | 94/409 [15:53<51:47,  9.87s/it]
+
mmlu_vi:  23%|███████████████████████████▍                                                                                          | 95/409 [16:05<54:49, 10.48s/it]
+
mmlu_vi:  23%|███████████████████████████▋                                                                                          | 96/409 [16:17<57:26, 11.01s/it]
+
mmlu_vi:  24%|███████████████████████████▉                                                                                          | 97/409 [16:28<56:33, 10.88s/it]
+
mmlu_vi:  24%|████████████████████████████▎                                                                                         | 98/409 [16:38<55:14, 10.66s/it]
+
mmlu_vi:  24%|████████████████████████████▌                                                                                         | 99/409 [16:47<53:02, 10.27s/it]
+
mmlu_vi:  24%|████████████████████████████▌                                                                                        | 100/409 [16:56<50:10,  9.74s/it]
+
mmlu_vi:  25%|████████████████████████████▉                                                                                        | 101/409 [17:06<50:14,  9.79s/it]
+
mmlu_vi:  25%|█████████████████████████████▏                                                                                       | 102/409 [17:16<50:47,  9.93s/it]
+
mmlu_vi:  25%|█████████████████████████████▍                                                                                       | 103/409 [17:25<48:46,  9.56s/it]
+
mmlu_vi:  25%|█████████████████████████████▊                                                                                       | 104/409 [17:37<52:09, 10.26s/it]
+
mmlu_vi:  26%|██████████████████████████████                                                                                       | 105/409 [17:49<55:35, 10.97s/it]
+
mmlu_vi:  26%|██████████████████████████████▎                                                                                      | 106/409 [17:59<53:50, 10.66s/it]
+
mmlu_vi:  26%|██████████████████████████████▌                                                                                      | 107/409 [18:08<50:29, 10.03s/it]
+
mmlu_vi:  26%|██████████████████████████████▉                                                                                      | 108/409 [18:20<52:57, 10.56s/it]
+
mmlu_vi:  27%|███████████████████████████████▏                                                                                     | 109/409 [18:32<55:04, 11.02s/it]
+
mmlu_vi:  27%|███████████████████████████████▍                                                                                     | 110/409 [18:41<53:06, 10.66s/it]
+
mmlu_vi:  27%|███████████████████████████████▊                                                                                     | 111/409 [18:51<51:21, 10.34s/it]
+
mmlu_vi:  27%|████████████████████████████████                                                                                     | 112/409 [19:01<50:14, 10.15s/it]
+
mmlu_vi:  28%|████████████████████████████████▎                                                                                    | 113/409 [19:14<55:06, 11.17s/it]
+
mmlu_vi:  28%|████████████████████████████████▌                                                                                    | 114/409 [19:24<53:23, 10.86s/it]
+
mmlu_vi:  28%|████████████████████████████████▉                                                                                    | 115/409 [19:35<53:13, 10.86s/it]
+
mmlu_vi:  28%|█████████████████████████████████▏                                                                                   | 116/409 [19:46<52:27, 10.74s/it]
+
mmlu_vi:  29%|█████████████████████████████████▍                                                                                   | 117/409 [19:55<49:44, 10.22s/it]
+
mmlu_vi:  29%|█████████████████████████████████▊                                                                                   | 118/409 [20:06<50:52, 10.49s/it]
+
mmlu_vi:  29%|██████████████████████████████████                                                                                   | 119/409 [20:16<49:47, 10.30s/it]
+
mmlu_vi:  29%|██████████████████████████████████▎                                                                                  | 120/409 [20:26<48:48, 10.13s/it]
+
mmlu_vi:  30%|██████████████████████████████████▌                                                                                  | 121/409 [20:37<50:48, 10.59s/it]
+
mmlu_vi:  30%|██████████████████████████████████▉                                                                                  | 122/409 [20:46<48:40, 10.18s/it]
+
mmlu_vi:  30%|███████████████████████████████████▏                                                                                 | 123/409 [20:57<48:45, 10.23s/it]
+
mmlu_vi:  30%|███████████████████████████████████▍                                                                                 | 124/409 [21:07<48:03, 10.12s/it]
+
mmlu_vi:  31%|███████████████████████████████████▊                                                                                 | 125/409 [21:18<49:08, 10.38s/it]
+
mmlu_vi:  31%|████████████████████████████████████                                                                                 | 126/409 [21:28<48:37, 10.31s/it]
+
mmlu_vi:  31%|████████████████████████████████████▎                                                                                | 127/409 [21:38<48:22, 10.29s/it]
+
mmlu_vi:  31%|████████████████████████████████████▌                                                                                | 128/409 [21:49<48:55, 10.45s/it]
+
mmlu_vi:  32%|████████████████████████████████████▉                                                                                | 129/409 [21:59<48:01, 10.29s/it]
+
mmlu_vi:  32%|█████████████████████████████████████▏                                                                               | 130/409 [22:09<47:29, 10.21s/it]
+
mmlu_vi:  32%|█████████████████████████████████████▍                                                                               | 131/409 [22:18<45:51,  9.90s/it]
+
mmlu_vi:  32%|█████████████████████████████████████▊                                                                               | 132/409 [22:31<49:37, 10.75s/it]
+
mmlu_vi:  33%|██████████████████████████████████████                                                                               | 133/409 [22:41<48:42, 10.59s/it]
+
mmlu_vi:  33%|██████████████████████████████████████▎                                                                              | 134/409 [22:53<50:14, 10.96s/it]
+
mmlu_vi:  33%|██████████████████████████████████████▌                                                                              | 135/409 [23:08<56:03, 12.27s/it]
+
mmlu_vi:  33%|██████████████████████████████████████▉                                                                              | 136/409 [23:17<50:39, 11.14s/it]
+
mmlu_vi:  33%|███████████████████████████████████████▏                                                                             | 137/409 [23:26<48:47, 10.76s/it]
+
mmlu_vi:  34%|███████████████████████████████████████▍                                                                             | 138/409 [23:36<47:21, 10.48s/it]
+
mmlu_vi:  34%|███████████████████████████████████████▊                                                                             | 139/409 [23:47<47:11, 10.49s/it]
+
mmlu_vi:  34%|████████████████████████████████████████                                                                             | 140/409 [23:57<46:32, 10.38s/it]
+
mmlu_vi:  34%|████████████████████████████████████████▎                                                                            | 141/409 [24:07<46:12, 10.35s/it]
+
mmlu_vi:  35%|████████████████████████████████████████▌                                                                            | 142/409 [24:19<47:31, 10.68s/it]
+
mmlu_vi:  35%|████████████████████████████████████████▉                                                                            | 143/409 [24:29<47:26, 10.70s/it]
+
mmlu_vi:  35%|█████████████████████████████████████████▏                                                                           | 144/409 [24:39<46:23, 10.50s/it]
+
mmlu_vi:  35%|█████████████████████████████████████████▍                                                                           | 145/409 [24:51<47:23, 10.77s/it]
+
mmlu_vi:  36%|█████████████████████████████████████████▊                                                                           | 146/409 [25:01<46:22, 10.58s/it]
+
mmlu_vi:  36%|██████████████████████████████████████████                                                                           | 147/409 [25:11<45:31, 10.42s/it]
+
mmlu_vi:  36%|██████████████████████████████████████████▎                                                                          | 148/409 [25:23<46:48, 10.76s/it]
+
mmlu_vi:  36%|██████████████████████████████████████████▌                                                                          | 149/409 [25:31<43:11,  9.97s/it]
+
mmlu_vi:  37%|██████████████████████████████████████████▉                                                                          | 150/409 [25:41<43:18, 10.03s/it]
+
mmlu_vi:  37%|███████████████████████████████████████████▏                                                                         | 151/409 [25:51<43:58, 10.23s/it]
+
mmlu_vi:  37%|███████████████████████████████████████████▍                                                                         | 152/409 [26:00<41:45,  9.75s/it]
+
mmlu_vi:  37%|███████████████████████████████████████████▊                                                                         | 153/409 [26:10<41:22,  9.70s/it]
+
mmlu_vi:  38%|████████████████████████████████████████████                                                                         | 154/409 [26:21<43:16, 10.18s/it]
+
mmlu_vi:  38%|████████████████████████████████████████████▎                                                                        | 155/409 [26:31<43:12, 10.21s/it]
+
mmlu_vi:  38%|████████████████████████████████████████████▋                                                                        | 156/409 [26:40<41:24,  9.82s/it]
+
mmlu_vi:  38%|████████████████████████████████████████████▉                                                                        | 157/409 [26:51<42:27, 10.11s/it]
+
mmlu_vi:  39%|█████████████████████████████████████████████▏                                                                       | 158/409 [27:02<43:13, 10.33s/it]
+
mmlu_vi:  39%|█████████████████████████████████████████████▍                                                                       | 159/409 [27:13<43:44, 10.50s/it]
+
mmlu_vi:  39%|█████████████████████████████████████████████▊                                                                       | 160/409 [27:25<45:58, 11.08s/it]
+
mmlu_vi:  39%|██████████████████████████████████████████████                                                                       | 161/409 [27:36<45:30, 11.01s/it]
+
mmlu_vi:  40%|██████████████████████████████████████████████▎                                                                      | 162/409 [27:47<45:32, 11.06s/it]
+
mmlu_vi:  40%|██████████████████████████████████████████████▋                                                                      | 163/409 [27:57<43:47, 10.68s/it]
+
mmlu_vi:  40%|██████████████████████████████████████████████▉                                                                      | 164/409 [28:06<42:04, 10.30s/it]
+
mmlu_vi:  40%|███████████████████████████████████████████████▏                                                                     | 165/409 [28:17<42:10, 10.37s/it]
+
mmlu_vi:  41%|███████████████████████████████████████████████▍                                                                     | 166/409 [28:28<42:33, 10.51s/it]
+
mmlu_vi:  41%|███████████████████████████████████████████████▊                                                                     | 167/409 [28:36<40:09,  9.95s/it]
+
mmlu_vi:  41%|████████████████████████████████████████████████                                                                     | 168/409 [28:46<39:52,  9.93s/it]
+
mmlu_vi:  41%|████████████████████████████████████████████████▎                                                                    | 169/409 [28:58<42:07, 10.53s/it]
+
mmlu_vi:  42%|████████████████████████████████████████████████▋                                                                    | 170/409 [29:09<41:53, 10.52s/it]
+
mmlu_vi:  42%|████████████████████████████████████████████████▉                                                                    | 171/409 [29:19<41:53, 10.56s/it]
+
mmlu_vi:  42%|█████████████████████████████████████████████████▏                                                                   | 172/409 [29:29<40:26, 10.24s/it]
+
mmlu_vi:  42%|█████████████████████████████████████████████████▍                                                                   | 173/409 [29:39<39:52, 10.14s/it]
+
mmlu_vi:  43%|█████████████████████████████████████████████████▊                                                                   | 174/409 [29:51<41:41, 10.64s/it]
+
mmlu_vi:  43%|██████████████████████████████████████████████████                                                                   | 175/409 [30:01<41:10, 10.56s/it]
+
mmlu_vi:  43%|██████████████████████████████████████████████████▎                                                                  | 176/409 [30:13<42:11, 10.87s/it]
+
mmlu_vi:  43%|██████████████████████████████████████████████████▋                                                                  | 177/409 [30:23<41:29, 10.73s/it]
+
mmlu_vi:  44%|██████████████████████████████████████████████████▉                                                                  | 178/409 [30:32<39:13, 10.19s/it]
+
mmlu_vi:  44%|███████████████████████████████████████████████████▏                                                                 | 179/409 [30:43<40:08, 10.47s/it]
+
mmlu_vi:  44%|███████████████████████████████████████████████████▍                                                                 | 180/409 [30:55<41:21, 10.84s/it]
+
mmlu_vi:  44%|███████████████████████████████████████████████████▊                                                                 | 181/409 [31:05<40:42, 10.71s/it]
+
mmlu_vi:  44%|████████████████████████████████████████████████████                                                                 | 182/409 [31:14<38:42, 10.23s/it]
+
mmlu_vi:  45%|████████████████████████████████████████████████████▎                                                                | 183/409 [31:25<38:45, 10.29s/it]
+
mmlu_vi:  45%|████████████████████████████████████████████████████▋                                                                | 184/409 [31:34<38:01, 10.14s/it]
+
mmlu_vi:  45%|████████████████████████████████████████████████████▉                                                                | 185/409 [31:44<36:42,  9.83s/it]
+
mmlu_vi:  45%|█████████████████████████████████████████████████████▏                                                               | 186/409 [31:52<35:30,  9.55s/it]
+
mmlu_vi:  46%|█████████████████████████████████████████████████████▍                                                               | 187/409 [32:02<35:32,  9.61s/it]
+
mmlu_vi:  46%|█████████████████████████████████████████████████████▊                                                               | 188/409 [32:11<34:49,  9.45s/it]
+
mmlu_vi:  46%|██████████████████████████████████████████████████████                                                               | 189/409 [32:22<36:04,  9.84s/it]
+
mmlu_vi:  46%|██████████████████████████████████████████████████████▎                                                              | 190/409 [32:33<36:39, 10.04s/it]
+
mmlu_vi:  47%|██████████████████████████████████████████████████████▋                                                              | 191/409 [32:42<35:20,  9.73s/it]
+
mmlu_vi:  47%|██████████████████████████████████████████████████████▉                                                              | 192/409 [32:51<34:29,  9.54s/it]
+
mmlu_vi:  47%|███████████████████████████████████████████████████████▏                                                             | 193/409 [32:59<32:43,  9.09s/it]
+
mmlu_vi:  47%|███████████████████████████████████████████████████████▍                                                             | 194/409 [33:10<34:41,  9.68s/it]
+
mmlu_vi:  48%|███████████████████████████████████████████████████████▊                                                             | 195/409 [33:22<37:23, 10.48s/it]
+
mmlu_vi:  48%|████████████████████████████████████████████████████████                                                             | 196/409 [33:32<36:12, 10.20s/it]
+
mmlu_vi:  48%|████████████████████████████████████████████████████████▎                                                            | 197/409 [33:43<36:51, 10.43s/it]
+
mmlu_vi:  48%|████████████████████████████████████████████████████████▋                                                            | 198/409 [33:55<38:59, 11.09s/it]
+
mmlu_vi:  49%|████████████████████████████████████████████████████████▉                                                            | 199/409 [34:04<36:10, 10.34s/it]
+
mmlu_vi:  49%|█████████████████████████████████████████████████████████▏                                                           | 200/409 [34:15<36:40, 10.53s/it]
+
mmlu_vi:  49%|█████████████████████████████████████████████████████████▍                                                           | 201/409 [34:26<37:38, 10.86s/it]
+
mmlu_vi:  49%|█████████████████████████████████████████████████████████▊                                                           | 202/409 [34:37<37:29, 10.87s/it]
+
mmlu_vi:  50%|██████████████████████████████████████████████████████████                                                           | 203/409 [34:47<35:40, 10.39s/it]
+
mmlu_vi:  50%|██████████████████████████████████████████████████████████▎                                                          | 204/409 [34:56<34:13, 10.02s/it]
+
mmlu_vi:  50%|██████████████████████████████████████████████████████████▋                                                          | 205/409 [35:05<33:10,  9.76s/it]
+
mmlu_vi:  50%|██████████████████████████████████████████████████████████▉                                                          | 206/409 [35:15<33:38,  9.94s/it]
+
mmlu_vi:  51%|███████████████████████████████████████████████████████████▏                                                         | 207/409 [35:25<33:17,  9.89s/it]
+
mmlu_vi:  51%|███████████████████████████████████████████████████████████▌                                                         | 208/409 [35:37<34:47, 10.38s/it]
+
mmlu_vi:  51%|███████████████████████████████████████████████████████████▊                                                         | 209/409 [35:47<34:53, 10.47s/it]
+
mmlu_vi:  51%|████████████████████████████████████████████████████████████                                                         | 210/409 [35:59<35:38, 10.74s/it]
+
mmlu_vi:  52%|████████████████████████████████████████████████████████████▎                                                        | 211/409 [36:09<35:29, 10.75s/it]
+
mmlu_vi:  52%|████████████████████████████████████████████████████████████▋                                                        | 212/409 [36:19<34:17, 10.44s/it]
+
mmlu_vi:  52%|████████████████████████████████████████████████████████████▉                                                        | 213/409 [36:29<33:13, 10.17s/it]
+
mmlu_vi:  52%|█████████████████████████████████████████████████████████████▏                                                       | 214/409 [36:38<32:02,  9.86s/it]
+
mmlu_vi:  53%|█████████████████████████████████████████████████████████████▌                                                       | 215/409 [36:47<31:35,  9.77s/it]
+
mmlu_vi:  53%|█████████████████████████████████████████████████████████████▊                                                       | 216/409 [36:57<31:27,  9.78s/it]
+
mmlu_vi:  53%|██████████████████████████████████████████████████████████████                                                       | 217/409 [37:08<32:16, 10.09s/it]
+
mmlu_vi:  53%|██████████████████████████████████████████████████████████████▎                                                      | 218/409 [37:18<32:14, 10.13s/it]
+
mmlu_vi:  54%|██████████████████████████████████████████████████████████████▋                                                      | 219/409 [37:29<32:58, 10.41s/it]
+
mmlu_vi:  54%|██████████████████████████████████████████████████████████████▉                                                      | 220/409 [37:41<33:54, 10.77s/it]
+
mmlu_vi:  54%|███████████████████████████████████████████████████████████████▏                                                     | 221/409 [37:51<33:11, 10.59s/it]
+
mmlu_vi:  54%|███████████████████████████████████████████████████████████████▌                                                     | 222/409 [38:01<32:16, 10.36s/it]
+
mmlu_vi:  55%|███████████████████████████████████████████████████████████████▊                                                     | 223/409 [38:13<33:22, 10.77s/it]
+
mmlu_vi:  55%|████████████████████████████████████████████████████████████████                                                     | 224/409 [38:22<32:25, 10.52s/it]
+
mmlu_vi:  55%|████████████████████████████████████████████████████████████████▎                                                    | 225/409 [38:34<33:08, 10.81s/it]
+
mmlu_vi:  55%|████████████████████████████████████████████████████████████████▋                                                    | 226/409 [38:44<32:35, 10.69s/it]
+
mmlu_vi:  56%|████████████████████████████████████████████████████████████████▉                                                    | 227/409 [38:53<30:09,  9.94s/it]
+
mmlu_vi:  56%|█████████████████████████████████████████████████████████████████▏                                                   | 228/409 [39:03<30:43, 10.18s/it]
+
mmlu_vi:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 229/409 [39:12<29:31,  9.84s/it]
+
mmlu_vi:  56%|█████████████████████████████████████████████████████████████████▊                                                   | 230/409 [39:21<28:03,  9.41s/it]
+
mmlu_vi:  56%|██████████████████████████████████████████████████████████████████                                                   | 231/409 [39:31<28:34,  9.63s/it]
+
mmlu_vi:  57%|██████████████████████████████████████████████████████████████████▎                                                  | 232/409 [39:41<28:46,  9.75s/it]
+
mmlu_vi:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 233/409 [39:51<29:02,  9.90s/it]
+
mmlu_vi:  57%|██████████████████████████████████████████████████████████████████▉                                                  | 234/409 [40:01<29:11, 10.01s/it]
+
mmlu_vi:  57%|███████████████████████████████████████████████████████████████████▏                                                 | 235/409 [40:13<30:34, 10.54s/it]
+
mmlu_vi:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 236/409 [40:26<32:09, 11.15s/it]
+
mmlu_vi:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 237/409 [40:35<30:05, 10.50s/it]
+
mmlu_vi:  58%|████████████████████████████████████████████████████████████████████                                                 | 238/409 [40:45<29:44, 10.43s/it]
+
mmlu_vi:  58%|████████████████████████████████████████████████████████████████████▎                                                | 239/409 [40:57<30:37, 10.81s/it]
+
mmlu_vi:  59%|████████████████████████████████████████████████████████████████████▋                                                | 240/409 [41:07<29:34, 10.50s/it]
+
mmlu_vi:  59%|████████████████████████████████████████████████████████████████████▉                                                | 241/409 [41:18<30:02, 10.73s/it]
+
mmlu_vi:  59%|█████████████████████████████████████████████████████████████████████▏                                               | 242/409 [41:28<29:39, 10.66s/it]
+
mmlu_vi:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 243/409 [41:40<30:03, 10.87s/it]
+
mmlu_vi:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 244/409 [41:51<30:36, 11.13s/it]
+
mmlu_vi:  60%|██████████████████████████████████████████████████████████████████████                                               | 245/409 [42:04<31:20, 11.47s/it]
+
mmlu_vi:  60%|██████████████████████████████████████████████████████████████████████▎                                              | 246/409 [42:15<30:48, 11.34s/it]
+
mmlu_vi:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 247/409 [42:25<29:50, 11.05s/it]
+
mmlu_vi:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 248/409 [42:33<27:05, 10.09s/it]
+
mmlu_vi:  61%|███████████████████████████████████████████████████████████████████████▏                                             | 249/409 [42:43<26:57, 10.11s/it]
+
mmlu_vi:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 250/409 [42:55<27:56, 10.55s/it]
+
mmlu_vi:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 251/409 [43:06<28:07, 10.68s/it]
+
mmlu_vi:  62%|████████████████████████████████████████████████████████████████████████                                             | 252/409 [43:17<28:15, 10.80s/it]
+
mmlu_vi:  62%|████████████████████████████████████████████████████████████████████████▎                                            | 253/409 [43:27<27:54, 10.73s/it]
+
mmlu_vi:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 254/409 [43:37<26:49, 10.38s/it]
+
mmlu_vi:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 255/409 [43:47<26:21, 10.27s/it]
+
mmlu_vi:  63%|█████████████████████████████████████████████████████████████████████████▏                                           | 256/409 [43:58<26:40, 10.46s/it]
+
mmlu_vi:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 257/409 [44:06<25:02,  9.88s/it]
+
mmlu_vi:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 258/409 [44:16<24:50,  9.87s/it]
+
mmlu_vi:  63%|██████████████████████████████████████████████████████████████████████████                                           | 259/409 [44:29<26:59, 10.80s/it]
+
mmlu_vi:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 260/409 [44:39<25:48, 10.39s/it]
+
mmlu_vi:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 261/409 [44:48<25:10, 10.20s/it]
+
mmlu_vi:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 262/409 [45:00<25:57, 10.59s/it]
+
mmlu_vi:  64%|███████████████████████████████████████████████████████████████████████████▏                                         | 263/409 [45:10<25:26, 10.46s/it]
+
mmlu_vi:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 264/409 [45:20<24:45, 10.25s/it]
+
mmlu_vi:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 265/409 [45:29<24:11, 10.08s/it]
+
mmlu_vi:  65%|████████████████████████████████████████████████████████████████████████████                                         | 266/409 [45:40<24:42, 10.37s/it]
+
mmlu_vi:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 267/409 [45:51<24:28, 10.34s/it]
+
mmlu_vi:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 268/409 [46:00<23:18,  9.92s/it]
+
mmlu_vi:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 269/409 [46:10<23:26, 10.05s/it]
+
mmlu_vi:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 270/409 [46:21<24:17, 10.49s/it]
+
mmlu_vi:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 271/409 [46:32<24:05, 10.48s/it]
+
mmlu_vi:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 272/409 [46:42<23:55, 10.48s/it]
+
mmlu_vi:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 273/409 [46:53<23:42, 10.46s/it]
+
mmlu_vi:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 274/409 [47:03<23:31, 10.46s/it]
+
mmlu_vi:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 275/409 [47:13<22:44, 10.18s/it]
+
mmlu_vi:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 276/409 [47:24<23:04, 10.41s/it]
+
mmlu_vi:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 277/409 [47:33<22:12, 10.09s/it]
+
mmlu_vi:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 278/409 [47:44<22:16, 10.20s/it]
+
mmlu_vi:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 279/409 [47:53<21:46, 10.05s/it]
+
mmlu_vi:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 280/409 [48:03<21:40, 10.08s/it]
+
mmlu_vi:  69%|████████████████████████████████████████████████████████████████████████████████▍                                    | 281/409 [48:15<22:10, 10.40s/it]
+
mmlu_vi:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 282/409 [48:25<22:15, 10.51s/it]
+
mmlu_vi:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 283/409 [48:35<21:46, 10.37s/it]
+
mmlu_vi:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 284/409 [48:45<21:21, 10.25s/it]
+
mmlu_vi:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 285/409 [48:56<21:18, 10.31s/it]
+
mmlu_vi:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 286/409 [49:07<21:31, 10.50s/it]
+
mmlu_vi:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 287/409 [49:17<21:00, 10.33s/it]
+
mmlu_vi:  70%|██████████████████████████████████████████████████████████████████████████████████▍                                  | 288/409 [49:26<20:30, 10.17s/it]
+
mmlu_vi:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 289/409 [49:37<20:40, 10.33s/it]
+
mmlu_vi:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 290/409 [49:48<20:56, 10.56s/it]
+
mmlu_vi:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 291/409 [50:00<21:09, 10.76s/it]
+
mmlu_vi:  71%|███████████████████████████████████████████████████████████████████████████████████▌                                 | 292/409 [50:10<20:52, 10.70s/it]
+
mmlu_vi:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 293/409 [50:19<19:28, 10.08s/it]
+
mmlu_vi:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 294/409 [50:28<18:49,  9.82s/it]
+
mmlu_vi:  72%|████████████████████████████████████████████████████████████████████████████████████▍                                | 295/409 [50:38<18:43,  9.85s/it]
+
mmlu_vi:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 296/409 [50:47<18:22,  9.76s/it]
+
mmlu_vi:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 297/409 [51:02<20:40, 11.08s/it]
+
mmlu_vi:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 298/409 [51:13<20:49, 11.26s/it]
+
mmlu_vi:  73%|█████████████████████████████████████████████████████████████████████████████████████▌                               | 299/409 [51:25<21:09, 11.54s/it]
+
mmlu_vi:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 300/409 [51:35<20:08, 11.09s/it]
+
mmlu_vi:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 301/409 [51:46<19:55, 11.07s/it]
+
mmlu_vi:  74%|██████████████████████████████████████████████████████████████████████████████████████▍                              | 302/409 [51:56<18:52, 10.59s/it]
+
mmlu_vi:  74%|██████████████████████████████████████████████████████████████████████████████████████▋                              | 303/409 [52:07<18:53, 10.69s/it]
+
mmlu_vi:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 304/409 [52:15<17:26,  9.96s/it]
+
mmlu_vi:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 305/409 [52:28<19:00, 10.97s/it]
+
mmlu_vi:  75%|███████████████████████████████████████████████████████████████████████████████████████▌                             | 306/409 [52:37<17:50, 10.39s/it]
+
mmlu_vi:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 307/409 [52:49<18:07, 10.66s/it]
+
mmlu_vi:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 308/409 [53:00<18:05, 10.75s/it]
+
mmlu_vi:  76%|████████████████████████████████████████████████████████████████████████████████████████▍                            | 309/409 [53:09<17:17, 10.38s/it]
+
mmlu_vi:  76%|████████████████████████████████████████████████████████████████████████████████████████▋                            | 310/409 [53:21<17:48, 10.80s/it]
+
mmlu_vi:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 311/409 [53:29<16:27, 10.08s/it]
+
mmlu_vi:  76%|█████████████████████████████████████████████████████████████████████████████████████████▎                           | 312/409 [53:44<18:13, 11.28s/it]
+
mmlu_vi:  77%|█████████████████████████████████████████████████████████████████████████████████████████▌                           | 313/409 [53:53<17:24, 10.88s/it]
+
mmlu_vi:  77%|█████████████████████████████████████████████████████████████████████████████████████████▊                           | 314/409 [54:04<17:02, 10.76s/it]
+
mmlu_vi:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 315/409 [54:13<16:10, 10.32s/it]
+
mmlu_vi:  77%|██████████████████████████████████████████████████████████████████████████████████████████▍                          | 316/409 [54:22<15:27,  9.98s/it]
+
mmlu_vi:  78%|██████████████████████████████████████████████████████████████████████████████████████████▋                          | 317/409 [54:32<15:09,  9.89s/it]
+
mmlu_vi:  78%|██████████████████████████████████████████████████████████████████████████████████████████▉                          | 318/409 [54:41<14:32,  9.58s/it]
+
mmlu_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████████▎                         | 319/409 [54:52<15:13, 10.15s/it]
+
mmlu_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████████▌                         | 320/409 [55:03<15:16, 10.30s/it]
+
mmlu_vi:  78%|███████████████████████████████████████████████████████████████████████████████████████████▊                         | 321/409 [55:12<14:29,  9.88s/it]
+
mmlu_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 322/409 [55:21<14:03,  9.69s/it]
+
mmlu_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████████▍                        | 323/409 [55:32<14:25, 10.06s/it]
+
mmlu_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████████▋                        | 324/409 [55:42<14:15, 10.06s/it]
+
mmlu_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████████▉                        | 325/409 [55:53<14:31, 10.38s/it]
+
mmlu_vi:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▎                       | 326/409 [56:03<14:07, 10.21s/it]
+
mmlu_vi:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▌                       | 327/409 [56:17<15:25, 11.28s/it]
+
mmlu_vi:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▊                       | 328/409 [56:28<15:12, 11.26s/it]
+
mmlu_vi:  80%|██████████████████████████████████████████████████████████████████████████████████████████████                       | 329/409 [56:38<14:16, 10.70s/it]
+
mmlu_vi:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▍                      | 330/409 [56:50<14:41, 11.16s/it]
+
mmlu_vi:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▋                      | 331/409 [57:00<14:18, 11.01s/it]
+
mmlu_vi:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▉                      | 332/409 [57:10<13:37, 10.61s/it]
+
mmlu_vi:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▎                     | 333/409 [57:20<13:09, 10.39s/it]
+
mmlu_vi:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▌                     | 334/409 [57:31<13:14, 10.59s/it]
+
mmlu_vi:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▊                     | 335/409 [57:42<13:04, 10.61s/it]
+
mmlu_vi:  82%|████████████████████████████████████████████████████████████████████████████████████████████████                     | 336/409 [57:51<12:29, 10.27s/it]
+
mmlu_vi:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 337/409 [58:03<12:56, 10.79s/it]
+
mmlu_vi:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 338/409 [58:16<13:25, 11.35s/it]
+
mmlu_vi:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 339/409 [58:25<12:23, 10.62s/it]
+
mmlu_vi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 340/409 [58:36<12:30, 10.88s/it]
+
mmlu_vi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 341/409 [58:47<12:10, 10.74s/it]
+
mmlu_vi:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 342/409 [58:55<11:19, 10.15s/it]
+
mmlu_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████                   | 343/409 [59:05<10:51,  9.86s/it]
+
mmlu_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 344/409 [59:15<10:46,  9.95s/it]
+
mmlu_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 345/409 [59:24<10:27,  9.81s/it]
+
mmlu_vi:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 346/409 [59:35<10:31, 10.03s/it]
+
mmlu_vi:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 347/409 [59:45<10:30, 10.16s/it]
+
mmlu_vi:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 348/409 [59:55<10:06,  9.94s/it]
+
mmlu_vi:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                | 349/409 [1:00:03<09:28,  9.48s/it]
+
mmlu_vi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                | 350/409 [1:00:14<09:43,  9.90s/it]
+
mmlu_vi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                | 351/409 [1:00:29<10:54, 11.29s/it]
+
mmlu_vi:  86%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                | 352/409 [1:00:37<10:00, 10.53s/it]
+
mmlu_vi:  86%|███████████████████████████████████████████████████████████████████████████████████████████████████▎               | 353/409 [1:00:47<09:41, 10.38s/it]
+
mmlu_vi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▌               | 354/409 [1:00:57<09:16, 10.11s/it]
+
mmlu_vi:  87%|███████████████████████████████████████████████████████████████████████████████████████████████████▊               | 355/409 [1:01:07<09:15, 10.29s/it]
+
mmlu_vi:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████               | 356/409 [1:01:19<09:32, 10.79s/it]
+
mmlu_vi:  87%|████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 357/409 [1:01:30<09:18, 10.74s/it]
+
mmlu_vi:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 358/409 [1:01:40<08:57, 10.54s/it]
+
mmlu_vi:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 359/409 [1:01:50<08:43, 10.48s/it]
+
mmlu_vi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 360/409 [1:02:01<08:36, 10.54s/it]
+
mmlu_vi:  88%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 361/409 [1:02:10<08:03, 10.08s/it]
+
mmlu_vi:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 362/409 [1:02:21<08:10, 10.43s/it]
+
mmlu_vi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████             | 363/409 [1:02:34<08:25, 11.00s/it]
+
mmlu_vi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 364/409 [1:02:44<08:06, 10.81s/it]
+
mmlu_vi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 365/409 [1:02:53<07:35, 10.35s/it]
+
mmlu_vi:  89%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 366/409 [1:03:02<07:00,  9.78s/it]
+
mmlu_vi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 367/409 [1:03:12<06:55,  9.89s/it]
+
mmlu_vi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 368/409 [1:03:23<06:53, 10.08s/it]
+
mmlu_vi:  90%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 369/409 [1:03:33<06:50, 10.27s/it]
+
mmlu_vi:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████           | 370/409 [1:03:43<06:40, 10.26s/it]
+
mmlu_vi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 371/409 [1:03:54<06:28, 10.23s/it]
+
mmlu_vi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 372/409 [1:04:03<06:10, 10.02s/it]
+
mmlu_vi:  91%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 373/409 [1:04:13<06:01, 10.04s/it]
+
mmlu_vi:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 374/409 [1:04:23<05:43,  9.81s/it]
+
mmlu_vi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 375/409 [1:04:32<05:29,  9.69s/it]
+
mmlu_vi:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 376/409 [1:04:42<05:25,  9.86s/it]
+
mmlu_vi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████         | 377/409 [1:04:53<05:25, 10.19s/it]
+
mmlu_vi:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 378/409 [1:05:02<05:05,  9.84s/it]
+
mmlu_vi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 379/409 [1:05:14<05:09, 10.32s/it]
+
mmlu_vi:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 380/409 [1:05:24<04:57, 10.26s/it]
+
mmlu_vi:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 381/409 [1:05:35<04:59, 10.68s/it]
+
mmlu_vi:  93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 382/409 [1:05:47<04:52, 10.82s/it]
+
mmlu_vi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 383/409 [1:05:56<04:33, 10.54s/it]
+
mmlu_vi:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 384/409 [1:06:08<04:28, 10.72s/it]
+
mmlu_vi:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 385/409 [1:06:18<04:14, 10.59s/it]
+
mmlu_vi:  94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 386/409 [1:06:26<03:47,  9.90s/it]
+
mmlu_vi:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 387/409 [1:06:37<03:46, 10.31s/it]
+
mmlu_vi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 388/409 [1:06:47<03:29,  9.98s/it]
+
mmlu_vi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 389/409 [1:06:56<03:16,  9.81s/it]
+
mmlu_vi:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 390/409 [1:07:06<03:08,  9.90s/it]
+
mmlu_vi:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 391/409 [1:07:18<03:11, 10.64s/it]
+
mmlu_vi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 392/409 [1:07:27<02:52, 10.13s/it]
+
mmlu_vi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 393/409 [1:07:36<02:36,  9.77s/it]
+
mmlu_vi:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 394/409 [1:07:48<02:35, 10.35s/it]
+
mmlu_vi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 395/409 [1:07:59<02:28, 10.64s/it]
+
mmlu_vi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 396/409 [1:08:10<02:17, 10.60s/it]
+
mmlu_vi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 397/409 [1:08:21<02:07, 10.67s/it]
+
mmlu_vi:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 398/409 [1:08:35<02:08, 11.70s/it]
+
mmlu_vi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 399/409 [1:08:45<01:53, 11.37s/it]
+
mmlu_vi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 400/409 [1:08:54<01:35, 10.61s/it]
+
mmlu_vi:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 401/409 [1:09:07<01:31, 11.38s/it]
+
mmlu_vi:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 402/409 [1:09:19<01:20, 11.44s/it]
+
mmlu_vi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 403/409 [1:09:29<01:05, 10.99s/it]
+
mmlu_vi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 404/409 [1:09:40<00:54, 10.99s/it]
+
mmlu_vi:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 405/409 [1:09:54<00:47, 11.86s/it]
+
mmlu_vi:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 406/409 [1:10:04<00:34, 11.34s/it]
+
mmlu_vi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 407/409 [1:10:13<00:21, 10.69s/it]
+
mmlu_vi: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 408/409 [1:10:25<00:10, 10.91s/it]
+
mmlu_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [1:10:29<00:00,  8.95s/it]
mmlu_vi: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 409/409 [1:10:29<00:00, 10.34s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_vi_acc 0.29252794365334556
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_vi_acc_norm 0.29934160159240547
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 04:20:58,679 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 04:20:58,680 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:20:58,810 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 04:20:58,810 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:20:58,939 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 04:20:58,939 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:20:59,069 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 04:20:59,070 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 04:20:59,070 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 04:20:59,201 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 04:20:59,201 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'mmlu_vi_acc'}
+2024-06-01 04:20:59,267 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 04:20:59,267 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1261, 'value': 0.29252794365334556}
+2024-06-01 04:20:59,333 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 04:20:59,991 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 04:20:59,991 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:00,121 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 04:21:00,122 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:00,251 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 04:21:00,251 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 04:21:00,381 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 04:21:00,512 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 04:21:00,512 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_vi_acc_norm'}
+2024-06-01 04:21:00,578 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 04:21:00,578 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1262, 'value': 0.29934160159240547}
+2024-06-01 04:21:00,643 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  74%|████████████████████████████████████████████████████████████████████████████████▏                           | 92/124 [69:33:29<39:23:34, 4431.72s/it]['mmlu_zh']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 04:21:01,288 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 04:21:01,288 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:01,415 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 04:21:01,415 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:01,541 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 04:21:01,541 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 04:21:01,668 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 04:21:01,669 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 04:21:01,669 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'mmlu_zh'}
+2024-06-01 04:21:01,796 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=mmlu_zh task_provider=lm_eval)]
+
+
Generating test split: 0 examples [00:00, ? examples/s]
+
Generating test split: 1780 examples [00:00, 15970.82 examples/s]
+
Generating test split: 5209 examples [00:00, 26256.69 examples/s]
+
Generating test split: 8866 examples [00:00, 30580.98 examples/s]
+
Generating test split: 12309 examples [00:00, 32067.85 examples/s]
Generating test split: 13165 examples [00:00, 29614.93 examples/s]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 271 examples [00:00, 27700.36 examples/s]
+Running loglikelihood requests
+
+
mmlu_zh:   0%|                                                                                                                               | 0/412 [00:00<?, ?it/s]
+
mmlu_zh:   0%|▎                                                                                                                    | 1/412 [00:08<1:00:44,  8.87s/it]
+
mmlu_zh:   0%|▌                                                                                                                      | 2/412 [00:16<54:26,  7.97s/it]
+
mmlu_zh:   1%|▊                                                                                                                      | 3/412 [00:23<52:42,  7.73s/it]
+
mmlu_zh:   1%|█▏                                                                                                                     | 4/412 [00:31<52:36,  7.74s/it]
+
mmlu_zh:   1%|█▍                                                                                                                     | 5/412 [00:40<55:06,  8.12s/it]
+
mmlu_zh:   1%|█▋                                                                                                                     | 6/412 [00:49<56:48,  8.40s/it]
+
mmlu_zh:   2%|██                                                                                                                     | 7/412 [00:56<53:48,  7.97s/it]
+
mmlu_zh:   2%|██▎                                                                                                                    | 8/412 [01:03<52:06,  7.74s/it]
+
mmlu_zh:   2%|██▌                                                                                                                    | 9/412 [01:11<52:15,  7.78s/it]
+
mmlu_zh:   2%|██▊                                                                                                                   | 10/412 [01:19<52:07,  7.78s/it]
+
mmlu_zh:   3%|███▏                                                                                                                  | 11/412 [01:26<51:20,  7.68s/it]
+
mmlu_zh:   3%|███▍                                                                                                                  | 12/412 [01:34<52:32,  7.88s/it]
+
mmlu_zh:   3%|███▋                                                                                                                  | 13/412 [01:42<50:49,  7.64s/it]
+
mmlu_zh:   3%|████                                                                                                                  | 14/412 [01:49<51:12,  7.72s/it]
+
mmlu_zh:   4%|████▎                                                                                                                 | 15/412 [01:57<50:19,  7.61s/it]
+
mmlu_zh:   4%|████▌                                                                                                                 | 16/412 [02:04<49:19,  7.47s/it]
+
mmlu_zh:   4%|████▊                                                                                                                 | 17/412 [02:12<49:34,  7.53s/it]
+
mmlu_zh:   4%|█████▏                                                                                                                | 18/412 [02:19<49:58,  7.61s/it]
+
mmlu_zh:   5%|█████▍                                                                                                                | 19/412 [02:27<50:19,  7.68s/it]
+
mmlu_zh:   5%|█████▋                                                                                                                | 20/412 [02:36<52:02,  7.97s/it]
+
mmlu_zh:   5%|██████                                                                                                                | 21/412 [02:44<51:50,  7.96s/it]
+
mmlu_zh:   5%|██████▎                                                                                                               | 22/412 [02:51<50:07,  7.71s/it]
+
mmlu_zh:   6%|██████▌                                                                                                               | 23/412 [02:58<49:07,  7.58s/it]
+
mmlu_zh:   6%|██████▊                                                                                                               | 24/412 [03:05<47:14,  7.31s/it]
+
mmlu_zh:   6%|███████▏                                                                                                              | 25/412 [03:13<48:47,  7.57s/it]
+
mmlu_zh:   6%|███████▍                                                                                                              | 26/412 [03:20<47:43,  7.42s/it]
+
mmlu_zh:   7%|███████▋                                                                                                              | 27/412 [03:27<47:30,  7.40s/it]
+
mmlu_zh:   7%|████████                                                                                                              | 28/412 [03:37<50:37,  7.91s/it]
+
mmlu_zh:   7%|████████▎                                                                                                             | 29/412 [03:44<48:40,  7.62s/it]
+
mmlu_zh:   7%|████████▌                                                                                                             | 30/412 [03:52<50:35,  7.95s/it]
+
mmlu_zh:   8%|████████▉                                                                                                             | 31/412 [04:00<50:19,  7.92s/it]
+
mmlu_zh:   8%|█████████▏                                                                                                            | 32/412 [04:07<48:42,  7.69s/it]
+
mmlu_zh:   8%|█████████▍                                                                                                            | 33/412 [04:15<48:48,  7.73s/it]
+
mmlu_zh:   8%|█████████▋                                                                                                            | 34/412 [04:23<48:37,  7.72s/it]
+
mmlu_zh:   8%|██████████                                                                                                            | 35/412 [04:30<47:22,  7.54s/it]
+
mmlu_zh:   9%|██████████▎                                                                                                           | 36/412 [04:37<46:47,  7.47s/it]
+
mmlu_zh:   9%|██████████▌                                                                                                           | 37/412 [04:45<46:56,  7.51s/it]
+
mmlu_zh:   9%|██████████▉                                                                                                           | 38/412 [04:52<45:27,  7.29s/it]
+
mmlu_zh:   9%|███████████▏                                                                                                          | 39/412 [05:00<47:01,  7.57s/it]
+
mmlu_zh:  10%|███████████▍                                                                                                          | 40/412 [05:07<45:48,  7.39s/it]
+
mmlu_zh:  10%|███████████▋                                                                                                          | 41/412 [05:14<46:17,  7.49s/it]
+
mmlu_zh:  10%|████████████                                                                                                          | 42/412 [05:21<45:15,  7.34s/it]
+
mmlu_zh:  10%|████████████▎                                                                                                         | 43/412 [05:29<45:23,  7.38s/it]
+
mmlu_zh:  11%|████████████▌                                                                                                         | 44/412 [05:36<44:31,  7.26s/it]
+
mmlu_zh:  11%|████████████▉                                                                                                         | 45/412 [05:43<43:53,  7.18s/it]
+
mmlu_zh:  11%|█████████████▏                                                                                                        | 46/412 [05:50<43:35,  7.15s/it]
+
mmlu_zh:  11%|█████████████▍                                                                                                        | 47/412 [05:57<43:39,  7.18s/it]
+
mmlu_zh:  12%|█████████████▋                                                                                                        | 48/412 [06:05<44:15,  7.30s/it]
+
mmlu_zh:  12%|██████████████                                                                                                        | 49/412 [06:12<44:50,  7.41s/it]
+
mmlu_zh:  12%|██████████████▎                                                                                                       | 50/412 [06:20<44:17,  7.34s/it]
+
mmlu_zh:  12%|██████████████▌                                                                                                       | 51/412 [06:27<44:45,  7.44s/it]
+
mmlu_zh:  13%|██████████████▉                                                                                                       | 52/412 [06:35<44:40,  7.45s/it]
+
mmlu_zh:  13%|███████████████▏                                                                                                      | 53/412 [06:42<44:20,  7.41s/it]
+
mmlu_zh:  13%|███████████████▍                                                                                                      | 54/412 [06:50<44:22,  7.44s/it]
+
mmlu_zh:  13%|███████████████▊                                                                                                      | 55/412 [06:57<43:24,  7.30s/it]
+
mmlu_zh:  14%|████████████████                                                                                                      | 56/412 [07:05<45:12,  7.62s/it]
+
mmlu_zh:  14%|████████████████▎                                                                                                     | 57/412 [07:13<46:41,  7.89s/it]
+
mmlu_zh:  14%|████████████████▌                                                                                                     | 58/412 [07:21<46:19,  7.85s/it]
+
mmlu_zh:  14%|████████████████▉                                                                                                     | 59/412 [07:29<46:34,  7.92s/it]
+
mmlu_zh:  15%|█████████████████▏                                                                                                    | 60/412 [07:36<44:35,  7.60s/it]
+
mmlu_zh:  15%|█████████████████▍                                                                                                    | 61/412 [07:43<43:36,  7.45s/it]
+
mmlu_zh:  15%|█████████████████▊                                                                                                    | 62/412 [07:51<44:24,  7.61s/it]
+
mmlu_zh:  15%|██████████████████                                                                                                    | 63/412 [07:59<45:20,  7.80s/it]
+
mmlu_zh:  16%|██████████████████▎                                                                                                   | 64/412 [08:08<45:35,  7.86s/it]
+
mmlu_zh:  16%|██████████████████▌                                                                                                   | 65/412 [08:15<44:38,  7.72s/it]
+
mmlu_zh:  16%|██████████████████▉                                                                                                   | 66/412 [08:23<44:22,  7.69s/it]
+
mmlu_zh:  16%|███████████████████▏                                                                                                  | 67/412 [08:29<42:27,  7.39s/it]
+
mmlu_zh:  17%|███████████████████▍                                                                                                  | 68/412 [08:36<41:46,  7.29s/it]
+
mmlu_zh:  17%|███████████████████▊                                                                                                  | 69/412 [08:44<42:26,  7.42s/it]
+
mmlu_zh:  17%|████████████████████                                                                                                  | 70/412 [08:53<44:50,  7.87s/it]
+
mmlu_zh:  17%|████████████████████▎                                                                                                 | 71/412 [09:01<45:22,  7.98s/it]
+
mmlu_zh:  17%|████████████████████▌                                                                                                 | 72/412 [09:08<43:28,  7.67s/it]
+
mmlu_zh:  18%|████████████████████▉                                                                                                 | 73/412 [09:15<41:54,  7.42s/it]
+
mmlu_zh:  18%|█████████████████████▏                                                                                                | 74/412 [09:23<42:25,  7.53s/it]
+
mmlu_zh:  18%|█████████████████████▍                                                                                                | 75/412 [09:30<41:47,  7.44s/it]
+
mmlu_zh:  18%|█████████████████████▊                                                                                                | 76/412 [09:38<42:22,  7.57s/it]
+
mmlu_zh:  19%|██████████████████████                                                                                                | 77/412 [09:45<42:19,  7.58s/it]
+
mmlu_zh:  19%|██████████████████████▎                                                                                               | 78/412 [09:53<42:39,  7.66s/it]
+
mmlu_zh:  19%|██████████████████████▋                                                                                               | 79/412 [10:01<42:27,  7.65s/it]
+
mmlu_zh:  19%|██████████████████████▉                                                                                               | 80/412 [10:09<43:41,  7.90s/it]
+
mmlu_zh:  20%|███████████████████████▏                                                                                              | 81/412 [10:17<42:56,  7.79s/it]
+
mmlu_zh:  20%|███████████████████████▍                                                                                              | 82/412 [10:24<41:04,  7.47s/it]
+
mmlu_zh:  20%|███████████████████████▊                                                                                              | 83/412 [10:32<42:17,  7.71s/it]
+
mmlu_zh:  20%|████████████████████████                                                                                              | 84/412 [10:40<42:27,  7.77s/it]
+
mmlu_zh:  21%|████████████████████████▎                                                                                             | 85/412 [10:47<42:07,  7.73s/it]
+
mmlu_zh:  21%|████████████████████████▋                                                                                             | 86/412 [10:55<41:50,  7.70s/it]
+
mmlu_zh:  21%|████████████████████████▉                                                                                             | 87/412 [11:03<42:52,  7.91s/it]
+
mmlu_zh:  21%|█████████████████████████▏                                                                                            | 88/412 [11:12<43:49,  8.12s/it]
+
mmlu_zh:  22%|█████████████████████████▍                                                                                            | 89/412 [11:19<42:26,  7.89s/it]
+
mmlu_zh:  22%|█████████████████████████▊                                                                                            | 90/412 [11:27<42:07,  7.85s/it]
+
mmlu_zh:  22%|██████████████████████████                                                                                            | 91/412 [11:34<40:26,  7.56s/it]
+
mmlu_zh:  22%|██████████████████████████▎                                                                                           | 92/412 [11:42<40:38,  7.62s/it]
+
mmlu_zh:  23%|██████████████████████████▋                                                                                           | 93/412 [11:51<42:36,  8.01s/it]
+
mmlu_zh:  23%|██████████████████████████▉                                                                                           | 94/412 [11:58<40:30,  7.64s/it]
+
mmlu_zh:  23%|███████████████████████████▏                                                                                          | 95/412 [12:05<39:41,  7.51s/it]
+
mmlu_zh:  23%|███████████████████████████▍                                                                                          | 96/412 [12:12<39:08,  7.43s/it]
+
mmlu_zh:  24%|███████████████████████████▊                                                                                          | 97/412 [12:20<40:24,  7.70s/it]
+
mmlu_zh:  24%|████████████████████████████                                                                                          | 98/412 [12:28<40:50,  7.80s/it]
+
mmlu_zh:  24%|████████████████████████████▎                                                                                         | 99/412 [12:36<40:21,  7.74s/it]
+
mmlu_zh:  24%|████████████████████████████▍                                                                                        | 100/412 [12:43<39:46,  7.65s/it]
+
mmlu_zh:  25%|████████████████████████████▋                                                                                        | 101/412 [12:52<40:37,  7.84s/it]
+
mmlu_zh:  25%|████████████████████████████▉                                                                                        | 102/412 [13:00<41:02,  7.94s/it]
+
mmlu_zh:  25%|█████████████████████████████▎                                                                                       | 103/412 [13:08<41:05,  7.98s/it]
+
mmlu_zh:  25%|█████████████████████████████▌                                                                                       | 104/412 [13:16<40:35,  7.91s/it]
+
mmlu_zh:  25%|█████████████████████████████▊                                                                                       | 105/412 [13:24<40:35,  7.93s/it]
+
mmlu_zh:  26%|██████████████████████████████                                                                                       | 106/412 [13:31<38:53,  7.62s/it]
+
mmlu_zh:  26%|██████████████████████████████▍                                                                                      | 107/412 [13:38<38:45,  7.62s/it]
+
mmlu_zh:  26%|██████████████████████████████▋                                                                                      | 108/412 [13:46<39:11,  7.74s/it]
+
mmlu_zh:  26%|██████████████████████████████▉                                                                                      | 109/412 [13:54<38:34,  7.64s/it]
+
mmlu_zh:  27%|███████████████████████████████▏                                                                                     | 110/412 [14:02<39:05,  7.77s/it]
+
mmlu_zh:  27%|███████████████████████████████▌                                                                                     | 111/412 [14:11<41:11,  8.21s/it]
+
mmlu_zh:  27%|███████████████████████████████▊                                                                                     | 112/412 [14:19<40:20,  8.07s/it]
+
mmlu_zh:  27%|████████████████████████████████                                                                                     | 113/412 [14:27<40:30,  8.13s/it]
+
mmlu_zh:  28%|████████████████████████████████▎                                                                                    | 114/412 [14:35<40:25,  8.14s/it]
+
mmlu_zh:  28%|████████████████████████████████▋                                                                                    | 115/412 [14:42<38:53,  7.86s/it]
+
mmlu_zh:  28%|████████████████████████████████▉                                                                                    | 116/412 [14:50<39:07,  7.93s/it]
+
mmlu_zh:  28%|█████████████████████████████████▏                                                                                   | 117/412 [14:58<38:23,  7.81s/it]
+
mmlu_zh:  29%|█████████████████████████████████▌                                                                                   | 118/412 [15:05<36:46,  7.50s/it]
+
mmlu_zh:  29%|█████████████████████████████████▊                                                                                   | 119/412 [15:14<38:43,  7.93s/it]
+
mmlu_zh:  29%|██████████████████████████████████                                                                                   | 120/412 [15:21<37:35,  7.73s/it]
+
mmlu_zh:  29%|██████████████████████████████████▎                                                                                  | 121/412 [15:29<37:29,  7.73s/it]
+
mmlu_zh:  30%|██████████████████████████████████▋                                                                                  | 122/412 [15:36<37:22,  7.73s/it]
+
mmlu_zh:  30%|██████████████████████████████████▉                                                                                  | 123/412 [15:44<36:35,  7.60s/it]
+
mmlu_zh:  30%|███████████████████████████████████▏                                                                                 | 124/412 [15:51<36:29,  7.60s/it]
+
mmlu_zh:  30%|███████████████████████████████████▍                                                                                 | 125/412 [15:59<37:00,  7.74s/it]
+
mmlu_zh:  31%|███████████████████████████████████▊                                                                                 | 126/412 [16:07<36:22,  7.63s/it]
+
mmlu_zh:  31%|████████████████████████████████████                                                                                 | 127/412 [16:14<35:30,  7.48s/it]
+
mmlu_zh:  31%|████████████████████████████████████▎                                                                                | 128/412 [16:22<35:55,  7.59s/it]
+
mmlu_zh:  31%|████████████████████████████████████▋                                                                                | 129/412 [16:29<34:57,  7.41s/it]
+
mmlu_zh:  32%|████████████████████████████████████▉                                                                                | 130/412 [16:37<35:41,  7.59s/it]
+
mmlu_zh:  32%|█████████████████████████████████████▏                                                                               | 131/412 [16:44<35:39,  7.61s/it]
+
mmlu_zh:  32%|█████████████████████████████████████▍                                                                               | 132/412 [16:53<37:05,  7.95s/it]
+
mmlu_zh:  32%|█████████████████████████████████████▊                                                                               | 133/412 [17:02<38:14,  8.23s/it]
+
mmlu_zh:  33%|██████████████████████████████████████                                                                               | 134/412 [17:09<36:46,  7.94s/it]
+
mmlu_zh:  33%|██████████████████████████████████████▎                                                                              | 135/412 [17:17<36:06,  7.82s/it]
+
mmlu_zh:  33%|██████████████████████████████████████▌                                                                              | 136/412 [17:24<35:17,  7.67s/it]
+
mmlu_zh:  33%|██████████████████████████████████████▉                                                                              | 137/412 [17:31<34:19,  7.49s/it]
+
mmlu_zh:  33%|███████████████████████████████████████▏                                                                             | 138/412 [17:40<36:07,  7.91s/it]
+
mmlu_zh:  34%|███████████████████████████████████████▍                                                                             | 139/412 [17:47<34:54,  7.67s/it]
+
mmlu_zh:  34%|███████████████████████████████████████▊                                                                             | 140/412 [17:55<35:29,  7.83s/it]
+
mmlu_zh:  34%|████████████████████████████████████████                                                                             | 141/412 [18:03<35:43,  7.91s/it]
+
mmlu_zh:  34%|████████████████████████████████████████▎                                                                            | 142/412 [18:11<35:23,  7.86s/it]
+
mmlu_zh:  35%|████████████████████████████████████████▌                                                                            | 143/412 [18:19<34:39,  7.73s/it]
+
mmlu_zh:  35%|████████████████████████████████████████▉                                                                            | 144/412 [18:27<35:33,  7.96s/it]
+
mmlu_zh:  35%|█████████████████████████████████████████▏                                                                           | 145/412 [18:35<35:12,  7.91s/it]
+
mmlu_zh:  35%|█████████████████████████████████████████▍                                                                           | 146/412 [18:43<35:01,  7.90s/it]
+
mmlu_zh:  36%|█████████████████████████████████████████▋                                                                           | 147/412 [18:52<36:16,  8.21s/it]
+
mmlu_zh:  36%|██████████████████████████████████████████                                                                           | 148/412 [18:59<34:42,  7.89s/it]
+
mmlu_zh:  36%|██████████████████████████████████████████▎                                                                          | 149/412 [19:07<34:37,  7.90s/it]
+
mmlu_zh:  36%|██████████████████████████████████████████▌                                                                          | 150/412 [19:14<33:10,  7.60s/it]
+
mmlu_zh:  37%|██████████████████████████████████████████▉                                                                          | 151/412 [19:21<33:05,  7.61s/it]
+
mmlu_zh:  37%|███████████████████████████████████████████▏                                                                         | 152/412 [19:29<32:48,  7.57s/it]
+
mmlu_zh:  37%|███████████████████████████████████████████▍                                                                         | 153/412 [19:36<31:38,  7.33s/it]
+
mmlu_zh:  37%|███████████████████████████████████████████▋                                                                         | 154/412 [19:43<32:05,  7.46s/it]
+
mmlu_zh:  38%|████████████████████████████████████████████                                                                         | 155/412 [19:51<31:43,  7.41s/it]
+
mmlu_zh:  38%|████████████████████████████████████████████▎                                                                        | 156/412 [19:59<32:32,  7.63s/it]
+
mmlu_zh:  38%|████████████████████████████████████████████▌                                                                        | 157/412 [20:05<30:51,  7.26s/it]
+
mmlu_zh:  38%|████████████████████████████████████████████▊                                                                        | 158/412 [20:12<30:26,  7.19s/it]
+
mmlu_zh:  39%|█████████████████████████████████████████████▏                                                                       | 159/412 [20:20<31:17,  7.42s/it]
+
mmlu_zh:  39%|█████████████████████████████████████████████▍                                                                       | 160/412 [20:28<32:03,  7.63s/it]
+
mmlu_zh:  39%|█████████████████████████████████████████████▋                                                                       | 161/412 [20:35<31:24,  7.51s/it]
+
mmlu_zh:  39%|██████████████████████████████████████████████                                                                       | 162/412 [20:43<31:08,  7.47s/it]
+
mmlu_zh:  40%|██████████████████████████████████████████████▎                                                                      | 163/412 [20:51<31:45,  7.65s/it]
+
mmlu_zh:  40%|██████████████████████████████████████████████▌                                                                      | 164/412 [20:59<31:32,  7.63s/it]
+
mmlu_zh:  40%|██████████████████████████████████████████████▊                                                                      | 165/412 [21:06<31:05,  7.55s/it]
+
mmlu_zh:  40%|███████████████████████████████████████████████▏                                                                     | 166/412 [21:14<31:52,  7.77s/it]
+
mmlu_zh:  41%|███████████████████████████████████████████████▍                                                                     | 167/412 [21:22<31:20,  7.67s/it]
+
mmlu_zh:  41%|███████████████████████████████████████████████▋                                                                     | 168/412 [21:30<32:20,  7.95s/it]
+
mmlu_zh:  41%|███████████████████████████████████████████████▉                                                                     | 169/412 [21:37<30:59,  7.65s/it]
+
mmlu_zh:  41%|████████████████████████████████████████████████▎                                                                    | 170/412 [21:45<30:37,  7.59s/it]
+
mmlu_zh:  42%|████████████████████████████████████████████████▌                                                                    | 171/412 [21:52<29:55,  7.45s/it]
+
mmlu_zh:  42%|████████████████████████████████████████████████▊                                                                    | 172/412 [21:59<30:03,  7.51s/it]
+
mmlu_zh:  42%|█████████████████████████████████████████████████▏                                                                   | 173/412 [22:07<29:53,  7.50s/it]
+
mmlu_zh:  42%|█████████████████████████████████████████████████▍                                                                   | 174/412 [22:14<29:09,  7.35s/it]
+
mmlu_zh:  42%|█████████████████████████████████████████████████▋                                                                   | 175/412 [22:21<29:10,  7.39s/it]
+
mmlu_zh:  43%|█████████████████████████████████████████████████▉                                                                   | 176/412 [22:29<29:39,  7.54s/it]
+
mmlu_zh:  43%|██████████████████████████████████████████████████▎                                                                  | 177/412 [22:36<28:56,  7.39s/it]
+
mmlu_zh:  43%|██████████████████████████████████████████████████▌                                                                  | 178/412 [22:43<28:18,  7.26s/it]
+
mmlu_zh:  43%|██████████████████████████████████████████████████▊                                                                  | 179/412 [22:51<28:35,  7.36s/it]
+
mmlu_zh:  44%|███████████████████████████████████████████████████                                                                  | 180/412 [22:59<28:50,  7.46s/it]
+
mmlu_zh:  44%|███████████████████████████████████████████████████▍                                                                 | 181/412 [23:06<28:44,  7.47s/it]
+
mmlu_zh:  44%|███████████████████████████████████████████████████▋                                                                 | 182/412 [23:13<28:24,  7.41s/it]
+
mmlu_zh:  44%|███████████████████████████████████████████████████▉                                                                 | 183/412 [23:22<30:10,  7.91s/it]
+
mmlu_zh:  45%|████████████████████████████████████████████████████▎                                                                | 184/412 [23:30<29:26,  7.75s/it]
+
mmlu_zh:  45%|████████████████████████████████████████████████████▌                                                                | 185/412 [23:38<29:32,  7.81s/it]
+
mmlu_zh:  45%|████████████████████████████████████████████████████▊                                                                | 186/412 [23:46<30:02,  7.98s/it]
+
mmlu_zh:  45%|█████████████████████████████████████████████████████                                                                | 187/412 [23:53<28:56,  7.72s/it]
+
mmlu_zh:  46%|█████████████████████████████████████████████████████▍                                                               | 188/412 [24:00<28:08,  7.54s/it]
+
mmlu_zh:  46%|█████████████████████████████████████████████████████▋                                                               | 189/412 [24:08<28:12,  7.59s/it]
+
mmlu_zh:  46%|█████████████████████████████████████████████████████▉                                                               | 190/412 [24:16<28:11,  7.62s/it]
+
mmlu_zh:  46%|██████████████████████████████████████████████████████▏                                                              | 191/412 [24:24<28:29,  7.73s/it]
+
mmlu_zh:  47%|██████████████████████████████████████████████████████▌                                                              | 192/412 [24:32<29:21,  8.01s/it]
+
mmlu_zh:  47%|██████████████████████████████████████████████████████▊                                                              | 193/412 [24:40<29:03,  7.96s/it]
+
mmlu_zh:  47%|███████████████████████████████████████████████████████                                                              | 194/412 [24:48<28:36,  7.87s/it]
+
mmlu_zh:  47%|███████████████████████████████████████████████████████▍                                                             | 195/412 [24:56<28:29,  7.88s/it]
+
mmlu_zh:  48%|███████████████████████████████████████████████████████▋                                                             | 196/412 [25:03<27:39,  7.68s/it]
+
mmlu_zh:  48%|███████████████████████████████████████████████████████▉                                                             | 197/412 [25:10<27:15,  7.60s/it]
+
mmlu_zh:  48%|████████████████████████████████████████████████████████▏                                                            | 198/412 [25:18<27:12,  7.63s/it]
+
mmlu_zh:  48%|████████████████████████████████████████████████████████▌                                                            | 199/412 [25:25<26:40,  7.52s/it]
+
mmlu_zh:  49%|████████████████████████████████████████████████████████▊                                                            | 200/412 [25:33<26:34,  7.52s/it]
+
mmlu_zh:  49%|█████████████████████████████████████████████████████████                                                            | 201/412 [25:40<26:12,  7.45s/it]
+
mmlu_zh:  49%|█████████████████████████████████████████████████████████▎                                                           | 202/412 [25:47<25:49,  7.38s/it]
+
mmlu_zh:  49%|█████████████████████████████████████████████████████████▋                                                           | 203/412 [25:56<27:03,  7.77s/it]
+
mmlu_zh:  50%|█████████████████████████████████████████████████████████▉                                                           | 204/412 [26:04<26:41,  7.70s/it]
+
mmlu_zh:  50%|██████████████████████████████████████████████████████████▏                                                          | 205/412 [26:10<25:40,  7.44s/it]
+
mmlu_zh:  50%|██████████████████████████████████████████████████████████▌                                                          | 206/412 [26:17<25:06,  7.31s/it]
+
mmlu_zh:  50%|██████████████████████████████████████████████████████████▊                                                          | 207/412 [26:25<24:53,  7.29s/it]
+
mmlu_zh:  50%|███████████████████████████████████████████████████████████                                                          | 208/412 [26:32<25:14,  7.43s/it]
+
mmlu_zh:  51%|███████████████████████████████████████████████████████████▎                                                         | 209/412 [26:40<25:07,  7.43s/it]
+
mmlu_zh:  51%|███████████████████████████████████████████████████████████▋                                                         | 210/412 [26:47<24:40,  7.33s/it]
+
mmlu_zh:  51%|███████████████████████████████████████████████████████████▉                                                         | 211/412 [26:54<24:21,  7.27s/it]
+
mmlu_zh:  51%|████████████████████████████████████████████████████████████▏                                                        | 212/412 [27:01<24:03,  7.22s/it]
+
mmlu_zh:  52%|████████████████████████████████████████████████████████████▍                                                        | 213/412 [27:09<24:19,  7.33s/it]
+
mmlu_zh:  52%|████████████████████████████████████████████████████████████▊                                                        | 214/412 [27:16<24:12,  7.34s/it]
+
mmlu_zh:  52%|█████████████████████████████████████████████████████████████                                                        | 215/412 [27:23<23:55,  7.29s/it]
+
mmlu_zh:  52%|█████████████████████████████████████████████████████████████▎                                                       | 216/412 [27:30<23:18,  7.14s/it]
+
mmlu_zh:  53%|█████████████████████████████████████████████████████████████▌                                                       | 217/412 [27:37<23:19,  7.18s/it]
+
mmlu_zh:  53%|█████████████████████████████████████████████████████████████▉                                                       | 218/412 [27:44<22:45,  7.04s/it]
+
mmlu_zh:  53%|██████████████████████████████████████████████████████████████▏                                                      | 219/412 [27:51<23:01,  7.16s/it]
+
mmlu_zh:  53%|██████████████████████████████████████████████████████████████▍                                                      | 220/412 [27:59<23:24,  7.32s/it]
+
mmlu_zh:  54%|██████████████████████████████████████████████████████████████▊                                                      | 221/412 [28:06<22:46,  7.16s/it]
+
mmlu_zh:  54%|███████████████████████████████████████████████████████████████                                                      | 222/412 [28:14<23:44,  7.50s/it]
+
mmlu_zh:  54%|███████████████████████████████████████████████████████████████▎                                                     | 223/412 [28:22<23:52,  7.58s/it]
+
mmlu_zh:  54%|███████████████████████████████████████████████████████████████▌                                                     | 224/412 [28:29<23:28,  7.49s/it]
+
mmlu_zh:  55%|███████████████████████████████████████████████████████████████▉                                                     | 225/412 [28:37<23:31,  7.55s/it]
+
mmlu_zh:  55%|████████████████████████████████████████████████████████████████▏                                                    | 226/412 [28:45<23:25,  7.56s/it]
+
mmlu_zh:  55%|████████████████████████████████████████████████████████████████▍                                                    | 227/412 [28:52<22:46,  7.39s/it]
+
mmlu_zh:  55%|████████████████████████████████████████████████████████████████▋                                                    | 228/412 [28:59<22:48,  7.44s/it]
+
mmlu_zh:  56%|█████████████████████████████████████████████████████████████████                                                    | 229/412 [29:07<22:40,  7.44s/it]
+
mmlu_zh:  56%|█████████████████████████████████████████████████████████████████▎                                                   | 230/412 [29:14<22:34,  7.44s/it]
+
mmlu_zh:  56%|█████████████████████████████████████████████████████████████████▌                                                   | 231/412 [29:21<22:25,  7.43s/it]
+
mmlu_zh:  56%|█████████████████████████████████████████████████████████████████▉                                                   | 232/412 [29:30<23:35,  7.87s/it]
+
mmlu_zh:  57%|██████████████████████████████████████████████████████████████████▏                                                  | 233/412 [29:38<23:23,  7.84s/it]
+
mmlu_zh:  57%|██████████████████████████████████████████████████████████████████▍                                                  | 234/412 [29:45<22:48,  7.69s/it]
+
mmlu_zh:  57%|██████████████████████████████████████████████████████████████████▋                                                  | 235/412 [29:54<23:26,  7.95s/it]
+
mmlu_zh:  57%|███████████████████████████████████████████████████████████████████                                                  | 236/412 [30:01<22:27,  7.66s/it]
+
mmlu_zh:  58%|███████████████████████████████████████████████████████████████████▎                                                 | 237/412 [30:08<21:57,  7.53s/it]
+
mmlu_zh:  58%|███████████████████████████████████████████████████████████████████▌                                                 | 238/412 [30:17<23:15,  8.02s/it]
+
mmlu_zh:  58%|███████████████████████████████████████████████████████████████████▊                                                 | 239/412 [30:25<22:41,  7.87s/it]
+
mmlu_zh:  58%|████████████████████████████████████████████████████████████████████▏                                                | 240/412 [30:33<22:33,  7.87s/it]
+
mmlu_zh:  58%|████████████████████████████████████████████████████████████████████▍                                                | 241/412 [30:40<21:47,  7.65s/it]
+
mmlu_zh:  59%|████████████████████████████████████████████████████████████████████▋                                                | 242/412 [30:48<21:56,  7.74s/it]
+
mmlu_zh:  59%|█████████████████████████████████████████████████████████████████████                                                | 243/412 [30:55<21:08,  7.51s/it]
+
mmlu_zh:  59%|█████████████████████████████████████████████████████████████████████▎                                               | 244/412 [31:02<20:45,  7.41s/it]
+
mmlu_zh:  59%|█████████████████████████████████████████████████████████████████████▌                                               | 245/412 [31:09<20:32,  7.38s/it]
+
mmlu_zh:  60%|█████████████████████████████████████████████████████████████████████▊                                               | 246/412 [31:17<20:40,  7.47s/it]
+
mmlu_zh:  60%|██████████████████████████████████████████████████████████████████████▏                                              | 247/412 [31:24<20:06,  7.31s/it]
+
mmlu_zh:  60%|██████████████████████████████████████████████████████████████████████▍                                              | 248/412 [31:32<20:15,  7.41s/it]
+
mmlu_zh:  60%|██████████████████████████████████████████████████████████████████████▋                                              | 249/412 [31:38<19:32,  7.19s/it]
+
mmlu_zh:  61%|██████████████████████████████████████████████████████████████████████▉                                              | 250/412 [31:45<19:16,  7.14s/it]
+
mmlu_zh:  61%|███████████████████████████████████████████████████████████████████████▎                                             | 251/412 [31:53<19:37,  7.31s/it]
+
mmlu_zh:  61%|███████████████████████████████████████████████████████████████████████▌                                             | 252/412 [32:00<19:31,  7.32s/it]
+
mmlu_zh:  61%|███████████████████████████████████████████████████████████████████████▊                                             | 253/412 [32:09<20:10,  7.61s/it]
+
mmlu_zh:  62%|████████████████████████████████████████████████████████████████████████▏                                            | 254/412 [32:16<19:57,  7.58s/it]
+
mmlu_zh:  62%|████████████████████████████████████████████████████████████████████████▍                                            | 255/412 [32:25<20:45,  7.93s/it]
+
mmlu_zh:  62%|████████████████████████████████████████████████████████████████████████▋                                            | 256/412 [32:33<20:53,  8.03s/it]
+
mmlu_zh:  62%|████████████████████████████████████████████████████████████████████████▉                                            | 257/412 [32:40<20:07,  7.79s/it]
+
mmlu_zh:  63%|█████████████████████████████████████████████████████████████████████████▎                                           | 258/412 [32:48<20:08,  7.85s/it]
+
mmlu_zh:  63%|█████████████████████████████████████████████████████████████████████████▌                                           | 259/412 [32:56<20:04,  7.87s/it]
+
mmlu_zh:  63%|█████████████████████████████████████████████████████████████████████████▊                                           | 260/412 [33:04<20:07,  7.95s/it]
+
mmlu_zh:  63%|██████████████████████████████████████████████████████████████████████████                                           | 261/412 [33:13<20:41,  8.22s/it]
+
mmlu_zh:  64%|██████████████████████████████████████████████████████████████████████████▍                                          | 262/412 [33:21<20:30,  8.20s/it]
+
mmlu_zh:  64%|██████████████████████████████████████████████████████████████████████████▋                                          | 263/412 [33:31<21:06,  8.50s/it]
+
mmlu_zh:  64%|██████████████████████████████████████████████████████████████████████████▉                                          | 264/412 [33:38<20:04,  8.14s/it]
+
mmlu_zh:  64%|███████████████████████████████████████████████████████████████████████████▎                                         | 265/412 [33:45<19:21,  7.90s/it]
+
mmlu_zh:  65%|███████████████████████████████████████████████████████████████████████████▌                                         | 266/412 [33:53<18:49,  7.73s/it]
+
mmlu_zh:  65%|███████████████████████████████████████████████████████████████████████████▊                                         | 267/412 [34:00<18:07,  7.50s/it]
+
mmlu_zh:  65%|████████████████████████████████████████████████████████████████████████████                                         | 268/412 [34:08<18:48,  7.83s/it]
+
mmlu_zh:  65%|████████████████████████████████████████████████████████████████████████████▍                                        | 269/412 [34:16<18:35,  7.80s/it]
+
mmlu_zh:  66%|████████████████████████████████████████████████████████████████████████████▋                                        | 270/412 [34:23<18:04,  7.64s/it]
+
mmlu_zh:  66%|████████████████████████████████████████████████████████████████████████████▉                                        | 271/412 [34:30<17:43,  7.54s/it]
+
mmlu_zh:  66%|█████████████████████████████████████████████████████████████████████████████▏                                       | 272/412 [34:39<18:31,  7.94s/it]
+
mmlu_zh:  66%|█████████████████████████████████████████████████████████████████████████████▌                                       | 273/412 [34:47<18:18,  7.90s/it]
+
mmlu_zh:  67%|█████████████████████████████████████████████████████████████████████████████▊                                       | 274/412 [34:54<17:44,  7.71s/it]
+
mmlu_zh:  67%|██████████████████████████████████████████████████████████████████████████████                                       | 275/412 [35:01<17:00,  7.45s/it]
+
mmlu_zh:  67%|██████████████████████████████████████████████████████████████████████████████▍                                      | 276/412 [35:09<17:03,  7.52s/it]
+
mmlu_zh:  67%|██████████████████████████████████████████████████████████████████████████████▋                                      | 277/412 [35:17<17:19,  7.70s/it]
+
mmlu_zh:  67%|██████████████████████████████████████████████████████████████████████████████▉                                      | 278/412 [35:24<16:27,  7.37s/it]
+
mmlu_zh:  68%|███████████████████████████████████████████████████████████████████████████████▏                                     | 279/412 [35:33<17:44,  8.00s/it]
+
mmlu_zh:  68%|███████████████████████████████████████████████████████████████████████████████▌                                     | 280/412 [35:41<17:35,  7.99s/it]
+
mmlu_zh:  68%|███████████████████████████████████████████████████████████████████████████████▊                                     | 281/412 [35:48<16:48,  7.69s/it]
+
mmlu_zh:  68%|████████████████████████████████████████████████████████████████████████████████                                     | 282/412 [35:56<16:52,  7.79s/it]
+
mmlu_zh:  69%|████████████████████████████████████████████████████████████████████████████████▎                                    | 283/412 [36:04<16:46,  7.81s/it]
+
mmlu_zh:  69%|████████████████████████████████████████████████████████████████████████████████▋                                    | 284/412 [36:12<16:56,  7.94s/it]
+
mmlu_zh:  69%|████████████████████████████████████████████████████████████████████████████████▉                                    | 285/412 [36:20<16:38,  7.86s/it]
+
mmlu_zh:  69%|█████████████████████████████████████████████████████████████████████████████████▏                                   | 286/412 [36:27<16:15,  7.74s/it]
+
mmlu_zh:  70%|█████████████████████████████████████████████████████████████████████████████████▌                                   | 287/412 [36:36<16:24,  7.88s/it]
+
mmlu_zh:  70%|█████████████████████████████████████████████████████████████████████████████████▊                                   | 288/412 [36:43<15:45,  7.62s/it]
+
mmlu_zh:  70%|██████████████████████████████████████████████████████████████████████████████████                                   | 289/412 [36:51<15:50,  7.73s/it]
+
mmlu_zh:  70%|██████████████████████████████████████████████████████████████████████████████████▎                                  | 290/412 [36:58<15:17,  7.52s/it]
+
mmlu_zh:  71%|██████████████████████████████████████████████████████████████████████████████████▋                                  | 291/412 [37:05<15:09,  7.52s/it]
+
mmlu_zh:  71%|██████████████████████████████████████████████████████████████████████████████████▉                                  | 292/412 [37:12<14:37,  7.31s/it]
+
mmlu_zh:  71%|███████████████████████████████████████████████████████████████████████████████████▏                                 | 293/412 [37:19<14:26,  7.28s/it]
+
mmlu_zh:  71%|███████████████████████████████████████████████████████████████████████████████████▍                                 | 294/412 [37:26<14:15,  7.25s/it]
+
mmlu_zh:  72%|███████████████████████████████████████████████████████████████████████████████████▊                                 | 295/412 [37:34<14:40,  7.53s/it]
+
mmlu_zh:  72%|████████████████████████████████████████████████████████████████████████████████████                                 | 296/412 [37:41<14:15,  7.37s/it]
+
mmlu_zh:  72%|████████████████████████████████████████████████████████████████████████████████████▎                                | 297/412 [37:49<14:20,  7.48s/it]
+
mmlu_zh:  72%|████████████████████████████████████████████████████████████████████████████████████▋                                | 298/412 [37:57<14:09,  7.45s/it]
+
mmlu_zh:  73%|████████████████████████████████████████████████████████████████████████████████████▉                                | 299/412 [38:05<14:20,  7.61s/it]
+
mmlu_zh:  73%|█████████████████████████████████████████████████████████████████████████████████████▏                               | 300/412 [38:12<14:08,  7.58s/it]
+
mmlu_zh:  73%|█████████████████████████████████████████████████████████████████████████████████████▍                               | 301/412 [38:21<14:37,  7.90s/it]
+
mmlu_zh:  73%|█████████████████████████████████████████████████████████████████████████████████████▊                               | 302/412 [38:28<14:15,  7.78s/it]
+
mmlu_zh:  74%|██████████████████████████████████████████████████████████████████████████████████████                               | 303/412 [38:37<14:48,  8.15s/it]
+
mmlu_zh:  74%|██████████████████████████████████████████████████████████████████████████████████████▎                              | 304/412 [38:45<14:32,  8.08s/it]
+
mmlu_zh:  74%|██████████████████████████████████████████████████████████████████████████████████████▌                              | 305/412 [38:53<14:23,  8.07s/it]
+
mmlu_zh:  74%|██████████████████████████████████████████████████████████████████████████████████████▉                              | 306/412 [39:00<13:31,  7.66s/it]
+
mmlu_zh:  75%|███████████████████████████████████████████████████████████████████████████████████████▏                             | 307/412 [39:07<13:09,  7.51s/it]
+
mmlu_zh:  75%|███████████████████████████████████████████████████████████████████████████████████████▍                             | 308/412 [39:15<13:19,  7.68s/it]
+
mmlu_zh:  75%|███████████████████████████████████████████████████████████████████████████████████████▊                             | 309/412 [39:22<12:50,  7.48s/it]
+
mmlu_zh:  75%|████████████████████████████████████████████████████████████████████████████████████████                             | 310/412 [39:30<12:58,  7.63s/it]
+
mmlu_zh:  75%|████████████████████████████████████████████████████████████████████████████████████████▎                            | 311/412 [39:39<13:16,  7.88s/it]
+
mmlu_zh:  76%|████████████████████████████████████████████████████████████████████████████████████████▌                            | 312/412 [39:47<13:30,  8.10s/it]
+
mmlu_zh:  76%|████████████████████████████████████████████████████████████████████████████████████████▉                            | 313/412 [39:55<13:20,  8.09s/it]
+
mmlu_zh:  76%|█████████████████████████████████████████████████████████████████████████████████████████▏                           | 314/412 [40:03<13:13,  8.10s/it]
+
mmlu_zh:  76%|█████████████████████████████████████████████████████████████████████████████████████████▍                           | 315/412 [40:11<12:39,  7.83s/it]
+
mmlu_zh:  77%|█████████████████████████████████████████████████████████████████████████████████████████▋                           | 316/412 [40:18<12:04,  7.55s/it]
+
mmlu_zh:  77%|██████████████████████████████████████████████████████████████████████████████████████████                           | 317/412 [40:25<11:56,  7.54s/it]
+
mmlu_zh:  77%|██████████████████████████████████████████████████████████████████████████████████████████▎                          | 318/412 [40:34<12:37,  8.06s/it]
+
mmlu_zh:  77%|██████████████████████████████████████████████████████████████████████████████████████████▌                          | 319/412 [40:42<12:05,  7.80s/it]
+
mmlu_zh:  78%|██████████████████████████████████████████████████████████████████████████████████████████▊                          | 320/412 [40:50<12:09,  7.93s/it]
+
mmlu_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████████▏                         | 321/412 [40:58<12:03,  7.95s/it]
+
mmlu_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████████▍                         | 322/412 [41:07<12:29,  8.33s/it]
+
mmlu_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████████▋                         | 323/412 [41:15<12:22,  8.35s/it]
+
mmlu_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████████                         | 324/412 [41:23<12:00,  8.19s/it]
+
mmlu_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████████▎                        | 325/412 [41:32<12:02,  8.30s/it]
+
mmlu_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████████▌                        | 326/412 [41:39<11:33,  8.06s/it]
+
mmlu_zh:  79%|████████████████████████████████████████████████████████████████████████████████████████████▊                        | 327/412 [41:46<11:02,  7.79s/it]
+
mmlu_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▏                       | 328/412 [41:54<10:46,  7.70s/it]
+
mmlu_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▍                       | 329/412 [42:01<10:34,  7.64s/it]
+
mmlu_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▋                       | 330/412 [42:09<10:23,  7.60s/it]
+
mmlu_zh:  80%|█████████████████████████████████████████████████████████████████████████████████████████████▉                       | 331/412 [42:16<10:10,  7.53s/it]
+
mmlu_zh:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▎                      | 332/412 [42:24<10:18,  7.73s/it]
+
mmlu_zh:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▌                      | 333/412 [42:33<10:21,  7.86s/it]
+
mmlu_zh:  81%|██████████████████████████████████████████████████████████████████████████████████████████████▊                      | 334/412 [42:40<09:53,  7.61s/it]
+
mmlu_zh:  81%|███████████████████████████████████████████████████████████████████████████████████████████████▏                     | 335/412 [42:48<10:00,  7.80s/it]
+
mmlu_zh:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 336/412 [42:55<09:45,  7.71s/it]
+
mmlu_zh:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▋                     | 337/412 [43:03<09:36,  7.68s/it]
+
mmlu_zh:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▉                     | 338/412 [43:10<09:06,  7.39s/it]
+
mmlu_zh:  82%|████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 339/412 [43:17<08:59,  7.40s/it]
+
mmlu_zh:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 340/412 [43:24<08:43,  7.26s/it]
+
mmlu_zh:  83%|████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 341/412 [43:32<08:42,  7.36s/it]
+
mmlu_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████                    | 342/412 [43:40<08:57,  7.68s/it]
+
mmlu_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 343/412 [43:48<08:56,  7.77s/it]
+
mmlu_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 344/412 [43:57<09:10,  8.09s/it]
+
mmlu_zh:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 345/412 [44:05<08:55,  8.00s/it]
+
mmlu_zh:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 346/412 [44:12<08:32,  7.77s/it]
+
mmlu_zh:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 347/412 [44:20<08:38,  7.98s/it]
+
mmlu_zh:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 348/412 [44:29<08:37,  8.09s/it]
+
mmlu_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████                  | 349/412 [44:36<08:13,  7.83s/it]
+
mmlu_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 350/412 [44:44<08:11,  7.93s/it]
+
mmlu_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 351/412 [44:51<07:50,  7.71s/it]
+
mmlu_zh:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 352/412 [44:58<07:30,  7.51s/it]
+
mmlu_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 353/412 [45:05<07:15,  7.38s/it]
+
mmlu_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 354/412 [45:13<07:03,  7.30s/it]
+
mmlu_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 355/412 [45:20<06:55,  7.29s/it]
+
mmlu_zh:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████████                | 356/412 [45:27<06:45,  7.24s/it]
+
mmlu_zh:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 357/412 [45:35<06:46,  7.40s/it]
+
mmlu_zh:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 358/412 [45:43<06:54,  7.68s/it]
+
mmlu_zh:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 359/412 [45:51<06:50,  7.75s/it]
+
mmlu_zh:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 360/412 [45:58<06:27,  7.44s/it]
+
mmlu_zh:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 361/412 [46:05<06:20,  7.47s/it]
+
mmlu_zh:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 362/412 [46:13<06:22,  7.64s/it]
+
mmlu_zh:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████              | 363/412 [46:21<06:18,  7.73s/it]
+
mmlu_zh:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 364/412 [46:30<06:25,  8.02s/it]
+
mmlu_zh:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 365/412 [46:37<06:01,  7.68s/it]
+
mmlu_zh:  89%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 366/412 [46:45<05:59,  7.82s/it]
+
mmlu_zh:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 367/412 [46:52<05:43,  7.63s/it]
+
mmlu_zh:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 368/412 [47:00<05:39,  7.71s/it]
+
mmlu_zh:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 369/412 [47:07<05:18,  7.40s/it]
+
mmlu_zh:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████            | 370/412 [47:14<05:09,  7.36s/it]
+
mmlu_zh:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 371/412 [47:21<05:00,  7.32s/it]
+
mmlu_zh:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 372/412 [47:30<05:05,  7.63s/it]
+
mmlu_zh:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 373/412 [47:37<04:52,  7.49s/it]
+
mmlu_zh:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 374/412 [47:45<04:56,  7.81s/it]
+
mmlu_zh:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 375/412 [47:52<04:41,  7.61s/it]
+
mmlu_zh:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 376/412 [48:00<04:36,  7.68s/it]
+
mmlu_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████          | 377/412 [48:08<04:27,  7.64s/it]
+
mmlu_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 378/412 [48:16<04:22,  7.71s/it]
+
mmlu_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 379/412 [48:25<04:29,  8.17s/it]
+
mmlu_zh:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 380/412 [48:32<04:11,  7.87s/it]
+
mmlu_zh:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 381/412 [48:40<04:08,  8.00s/it]
+
mmlu_zh:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 382/412 [48:48<03:57,  7.91s/it]
+
mmlu_zh:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 383/412 [48:56<03:46,  7.80s/it]
+
mmlu_zh:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 384/412 [49:04<03:41,  7.89s/it]
+
mmlu_zh:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 385/412 [49:11<03:31,  7.85s/it]
+
mmlu_zh:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 386/412 [49:19<03:24,  7.88s/it]
+
mmlu_zh:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 387/412 [49:29<03:29,  8.37s/it]
+
mmlu_zh:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 388/412 [49:37<03:19,  8.33s/it]
+
mmlu_zh:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 389/412 [49:45<03:09,  8.23s/it]
+
mmlu_zh:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 390/412 [49:53<03:00,  8.20s/it]
+
mmlu_zh:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 391/412 [50:02<02:52,  8.24s/it]
+
mmlu_zh:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 392/412 [50:09<02:38,  7.92s/it]
+
mmlu_zh:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 393/412 [50:16<02:28,  7.82s/it]
+
mmlu_zh:  96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 394/412 [50:24<02:17,  7.65s/it]
+
mmlu_zh:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 395/412 [50:32<02:12,  7.78s/it]
+
mmlu_zh:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 396/412 [50:40<02:05,  7.85s/it]
+
mmlu_zh:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 397/412 [50:48<01:59,  8.00s/it]
+
mmlu_zh:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 398/412 [50:56<01:50,  7.89s/it]
+
mmlu_zh:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 399/412 [51:04<01:42,  7.92s/it]
+
mmlu_zh:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 400/412 [51:12<01:34,  7.90s/it]
+
mmlu_zh:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 401/412 [51:19<01:25,  7.81s/it]
+
mmlu_zh:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 402/412 [51:26<01:15,  7.52s/it]
+
mmlu_zh:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 403/412 [51:34<01:09,  7.72s/it]
+
mmlu_zh:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 404/412 [51:41<01:00,  7.56s/it]
+
mmlu_zh:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 405/412 [51:49<00:52,  7.56s/it]
+
mmlu_zh:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 406/412 [51:56<00:45,  7.54s/it]
+
mmlu_zh:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 407/412 [52:03<00:36,  7.39s/it]
+
mmlu_zh:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 408/412 [52:13<00:31,  7.90s/it]
+
mmlu_zh:  99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 409/412 [52:19<00:22,  7.60s/it]
+
mmlu_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 410/412 [52:27<00:15,  7.69s/it]
+
mmlu_zh: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 411/412 [52:36<00:08,  8.03s/it]
+
mmlu_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:42<00:00,  7.50s/it]
mmlu_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 412/412 [52:42<00:00,  7.68s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_zh_acc 0.3541207747816179
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ mmlu_zh_acc_norm 0.32821876186859095
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:13:47,005 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:13:47,005 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:47,129 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:13:47,129 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:47,253 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:13:47,253 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:13:47,377 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:13:47,503 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:13:47,503 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'mmlu_zh_acc'}
+2024-06-01 05:13:47,566 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:13:47,566 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1263, 'value': 0.3541207747816179}
+2024-06-01 05:13:47,629 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:13:48,272 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:13:48,272 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:48,398 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:13:48,399 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:48,525 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:13:48,525 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:48,652 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:13:48,653 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:13:48,653 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:13:48,781 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:13:48,781 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'mmlu_zh_acc_norm'}
+2024-06-01 05:13:48,845 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:13:48,845 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1264, 'value': 0.32821876186859095}
+2024-06-01 05:13:48,909 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  75%|█████████████████████████████████████████████████████████████████████████████████                           | 93/124 [70:26:18<34:53:53, 4052.68s/it]['truthfulqa_ar']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:13:49,564 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:13:49,564 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:49,693 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:13:49,693 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:49,822 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:13:49,822 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 05:13:49,951 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ar'}
+2024-06-01 05:13:50,082 INFO sqlalchemy.engine.Engine ROLLBACK
+/home/ec2-user/anaconda3/lib/python3.10/site-packages/datasets/load.py:929: FutureWarning: The repository for m_truthfulqa contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at datasets/m_truthfulqa/m_truthfulqa.py
+You can avoid this message in future by passing the argument `trust_remote_code=True`.
+Passing `trust_remote_code=True` will be mandatory to load this dataset from the next major release of `datasets`.
+  warnings.warn(
+[Task(name=truthfulqa_ar task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 773 examples [00:00, 10489.49 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ar:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_ar:   1%|█▌                                                                                                                | 1/74 [00:10<12:50, 10.56s/it]
+
truthfulqa_ar:   3%|███                                                                                                               | 2/74 [00:20<12:09, 10.13s/it]
+
truthfulqa_ar:   4%|████▌                                                                                                             | 3/74 [00:30<11:43,  9.91s/it]
+
truthfulqa_ar:   5%|██████▏                                                                                                           | 4/74 [00:40<11:47, 10.10s/it]
+
truthfulqa_ar:   7%|███████▋                                                                                                          | 5/74 [00:50<11:31, 10.02s/it]
+
truthfulqa_ar:   8%|█████████▏                                                                                                        | 6/74 [01:00<11:33, 10.21s/it]
+
truthfulqa_ar:   9%|██████████▊                                                                                                       | 7/74 [01:11<11:40, 10.46s/it]
+
truthfulqa_ar:  11%|████████████▎                                                                                                     | 8/74 [01:22<11:31, 10.48s/it]
+
truthfulqa_ar:  12%|█████████████▊                                                                                                    | 9/74 [01:32<11:09, 10.29s/it]
+
truthfulqa_ar:  14%|███████████████▎                                                                                                 | 10/74 [01:41<10:46, 10.10s/it]
+
truthfulqa_ar:  15%|████████████████▊                                                                                                | 11/74 [01:51<10:33, 10.05s/it]
+
truthfulqa_ar:  16%|██████████████████▎                                                                                              | 12/74 [02:01<10:10,  9.85s/it]
+
truthfulqa_ar:  18%|███████████████████▊                                                                                             | 13/74 [02:11<10:00,  9.85s/it]
+
truthfulqa_ar:  19%|█████████████████████▍                                                                                           | 14/74 [02:21<09:54,  9.91s/it]
+
truthfulqa_ar:  20%|██████████████████████▉                                                                                          | 15/74 [02:31<09:53, 10.06s/it]
+
truthfulqa_ar:  22%|████████████████████████▍                                                                                        | 16/74 [02:41<09:34,  9.90s/it]
+
truthfulqa_ar:  23%|█████████████████████████▉                                                                                       | 17/74 [02:50<09:11,  9.68s/it]
+
truthfulqa_ar:  24%|███████████████████████████▍                                                                                     | 18/74 [02:59<08:59,  9.64s/it]
+
truthfulqa_ar:  26%|█████████████████████████████                                                                                    | 19/74 [03:09<08:52,  9.68s/it]
+
truthfulqa_ar:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:18<08:37,  9.58s/it]
+
truthfulqa_ar:  28%|████████████████████████████████                                                                                 | 21/74 [03:29<08:37,  9.76s/it]
+
truthfulqa_ar:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:38<08:28,  9.79s/it]
+
truthfulqa_ar:  31%|███████████████████████████████████                                                                              | 23/74 [03:48<08:20,  9.81s/it]
+
truthfulqa_ar:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:58<08:14,  9.88s/it]
+
truthfulqa_ar:  34%|██████████████████████████████████████▏                                                                          | 25/74 [04:09<08:10, 10.01s/it]
+
truthfulqa_ar:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:19<08:08, 10.17s/it]
+
truthfulqa_ar:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:29<07:52, 10.06s/it]
+
truthfulqa_ar:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:39<07:46, 10.15s/it]
+
truthfulqa_ar:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:49<07:31, 10.03s/it]
+
truthfulqa_ar:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [05:00<07:27, 10.16s/it]
+
truthfulqa_ar:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [05:09<07:06,  9.91s/it]
+
truthfulqa_ar:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:19<07:00, 10.00s/it]
+
truthfulqa_ar:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:29<06:45,  9.89s/it]
+
truthfulqa_ar:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:39<06:36,  9.91s/it]
+
truthfulqa_ar:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:49<06:29,  9.98s/it]
+
truthfulqa_ar:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:59<06:20, 10.00s/it]
+
truthfulqa_ar:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [06:08<06:00,  9.73s/it]
+
truthfulqa_ar:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [06:17<05:41,  9.49s/it]
+
truthfulqa_ar:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [06:27<05:40,  9.74s/it]
+
truthfulqa_ar:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:37<05:27,  9.63s/it]
+
truthfulqa_ar:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:47<05:26,  9.91s/it]
+
truthfulqa_ar:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:57<05:13,  9.81s/it]
+
truthfulqa_ar:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [07:07<05:04,  9.84s/it]
+
truthfulqa_ar:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [07:17<04:57,  9.92s/it]
+
truthfulqa_ar:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [07:27<04:50, 10.00s/it]
+
truthfulqa_ar:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:37<04:37,  9.90s/it]
+
truthfulqa_ar:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:46<04:22,  9.73s/it]
+
truthfulqa_ar:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:55<04:09,  9.60s/it]
+
truthfulqa_ar:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [08:05<03:58,  9.54s/it]
+
truthfulqa_ar:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [08:14<03:50,  9.59s/it]
+
truthfulqa_ar:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [08:24<03:41,  9.62s/it]
+
truthfulqa_ar:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [08:34<03:34,  9.76s/it]
+
truthfulqa_ar:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:43<03:20,  9.54s/it]
+
truthfulqa_ar:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:53<03:13,  9.67s/it]
+
truthfulqa_ar:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [09:02<03:00,  9.52s/it]
+
truthfulqa_ar:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [09:12<02:54,  9.68s/it]
+
truthfulqa_ar:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [09:22<02:44,  9.66s/it]
+
truthfulqa_ar:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [09:32<02:36,  9.78s/it]
+
truthfulqa_ar:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [09:41<02:23,  9.57s/it]
+
truthfulqa_ar:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:51<02:14,  9.64s/it]
+
truthfulqa_ar:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [10:02<02:09,  9.97s/it]
+
truthfulqa_ar:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [10:11<01:57,  9.77s/it]
+
truthfulqa_ar:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [10:21<01:48,  9.86s/it]
+
truthfulqa_ar:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [10:31<01:38,  9.88s/it]
+
truthfulqa_ar:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [10:41<01:28,  9.80s/it]
+
truthfulqa_ar:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:51<01:19,  9.88s/it]
+
truthfulqa_ar:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [11:01<01:09,  9.88s/it]
+
truthfulqa_ar:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [11:10<00:59,  9.87s/it]
+
truthfulqa_ar:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [11:20<00:49,  9.87s/it]
+
truthfulqa_ar:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [11:30<00:39,  9.89s/it]
+
truthfulqa_ar:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [11:40<00:29,  9.97s/it]
+
truthfulqa_ar:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [11:50<00:19,  9.93s/it]
+
truthfulqa_ar:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [12:01<00:10, 10.04s/it]
+
truthfulqa_ar: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:08<00:00,  9.25s/it]
truthfulqa_ar: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:08<00:00,  9.84s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ar_mc1 0.2949547218628719
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ar_mc2 0.4966574923818397
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:25:59,328 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:25:59,328 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:25:59,453 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:25:59,454 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:25:59,579 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:25:59,579 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:25:59,704 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:25:59,705 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:25:59,705 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:25:59,832 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:25:59,832 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'truthfulqa_ar_mc1'}
+2024-06-01 05:25:59,896 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:25:59,896 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1265, 'value': 0.2949547218628719}
+2024-06-01 05:25:59,960 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:26:00,611 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:26:00,611 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:00,739 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:26:00,740 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:00,868 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:26:00,868 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:00,996 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:26:00,997 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:26:00,997 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:26:01,127 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:26:01,127 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ar_mc2'}
+2024-06-01 05:26:01,192 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:26:01,192 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1266, 'value': 0.4966574923818397}
+2024-06-01 05:26:01,257 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  76%|█████████████████████████████████████████████████████████████████████████████████▊                          | 94/124 [70:38:30<25:28:17, 3056.58s/it]['truthfulqa_bn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:26:01,906 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:26:01,906 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:02,038 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:26:02,038 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:02,165 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:26:02,165 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:26:02,293 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:26:02,293 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 05:26:02,294 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_bn'}
+2024-06-01 05:26:02,422 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_bn task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 781 examples [00:00, 9858.64 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_bn:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_bn:   1%|█▌                                                                                                                | 1/75 [00:11<13:44, 11.14s/it]
+
truthfulqa_bn:   3%|███                                                                                                               | 2/75 [00:22<13:55, 11.45s/it]
+
truthfulqa_bn:   4%|████▌                                                                                                             | 3/75 [00:35<14:18, 11.93s/it]
+
truthfulqa_bn:   5%|██████                                                                                                            | 4/75 [00:47<14:23, 12.17s/it]
+
truthfulqa_bn:   7%|███████▌                                                                                                          | 5/75 [00:58<13:39, 11.70s/it]
+
truthfulqa_bn:   8%|█████████                                                                                                         | 6/75 [01:09<13:03, 11.35s/it]
+
truthfulqa_bn:   9%|██████████▋                                                                                                       | 7/75 [01:20<12:41, 11.20s/it]
+
truthfulqa_bn:  11%|████████████▏                                                                                                     | 8/75 [01:31<12:40, 11.36s/it]
+
truthfulqa_bn:  12%|█████████████▋                                                                                                    | 9/75 [01:43<12:35, 11.44s/it]
+
truthfulqa_bn:  13%|███████████████                                                                                                  | 10/75 [01:54<12:16, 11.33s/it]
+
truthfulqa_bn:  15%|████████████████▌                                                                                                | 11/75 [02:05<12:00, 11.26s/it]
+
truthfulqa_bn:  16%|██████████████████                                                                                               | 12/75 [02:16<11:37, 11.07s/it]
+
truthfulqa_bn:  17%|███████████████████▌                                                                                             | 13/75 [02:26<11:08, 10.79s/it]
+
truthfulqa_bn:  19%|█████████████████████                                                                                            | 14/75 [02:39<11:43, 11.54s/it]
+
truthfulqa_bn:  20%|██████████████████████▌                                                                                          | 15/75 [02:50<11:21, 11.36s/it]
+
truthfulqa_bn:  21%|████████████████████████                                                                                         | 16/75 [03:02<11:20, 11.53s/it]
+
truthfulqa_bn:  23%|█████████████████████████▌                                                                                       | 17/75 [03:13<11:02, 11.42s/it]
+
truthfulqa_bn:  24%|███████████████████████████                                                                                      | 18/75 [03:26<11:13, 11.82s/it]
+
truthfulqa_bn:  25%|████████████████████████████▋                                                                                    | 19/75 [03:37<10:44, 11.50s/it]
+
truthfulqa_bn:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:49<10:34, 11.54s/it]
+
truthfulqa_bn:  28%|███████████████████████████████▋                                                                                 | 21/75 [04:00<10:18, 11.44s/it]
+
truthfulqa_bn:  29%|█████████████████████████████████▏                                                                               | 22/75 [04:11<09:59, 11.31s/it]
+
truthfulqa_bn:  31%|██████████████████████████████████▋                                                                              | 23/75 [04:22<09:48, 11.32s/it]
+
truthfulqa_bn:  32%|████████████████████████████████████▏                                                                            | 24/75 [04:34<09:43, 11.45s/it]
+
truthfulqa_bn:  33%|█████████████████████████████████████▋                                                                           | 25/75 [04:45<09:27, 11.34s/it]
+
truthfulqa_bn:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:56<09:17, 11.37s/it]
+
truthfulqa_bn:  36%|████████████████████████████████████████▋                                                                        | 27/75 [05:08<09:16, 11.60s/it]
+
truthfulqa_bn:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [05:19<08:47, 11.22s/it]
+
truthfulqa_bn:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [05:29<08:24, 10.96s/it]
+
truthfulqa_bn:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [05:40<08:08, 10.85s/it]
+
truthfulqa_bn:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [05:51<08:00, 10.91s/it]
+
truthfulqa_bn:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [06:02<07:47, 10.87s/it]
+
truthfulqa_bn:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [06:12<07:28, 10.68s/it]
+
truthfulqa_bn:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [06:23<07:29, 10.96s/it]
+
truthfulqa_bn:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [06:34<07:14, 10.87s/it]
+
truthfulqa_bn:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [06:45<07:01, 10.81s/it]
+
truthfulqa_bn:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [06:56<06:55, 10.93s/it]
+
truthfulqa_bn:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [07:07<06:40, 10.82s/it]
+
truthfulqa_bn:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [07:18<06:35, 10.99s/it]
+
truthfulqa_bn:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [07:29<06:20, 10.87s/it]
+
truthfulqa_bn:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [07:41<06:27, 11.40s/it]
+
truthfulqa_bn:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [07:53<06:18, 11.48s/it]
+
truthfulqa_bn:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [08:03<05:58, 11.22s/it]
+
truthfulqa_bn:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [08:16<06:02, 11.69s/it]
+
truthfulqa_bn:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [08:29<06:00, 12.02s/it]
+
truthfulqa_bn:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [08:41<05:50, 12.09s/it]
+
truthfulqa_bn:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [08:54<05:41, 12.20s/it]
+
truthfulqa_bn:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [09:04<05:15, 11.68s/it]
+
truthfulqa_bn:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [09:16<05:03, 11.69s/it]
+
truthfulqa_bn:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [09:28<04:55, 11.81s/it]
+
truthfulqa_bn:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [09:38<04:34, 11.42s/it]
+
truthfulqa_bn:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [09:49<04:18, 11.25s/it]
+
truthfulqa_bn:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [10:01<04:11, 11.42s/it]
+
truthfulqa_bn:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [10:14<04:07, 11.77s/it]
+
truthfulqa_bn:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [10:26<03:56, 11.84s/it]
+
truthfulqa_bn:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [10:37<03:39, 11.57s/it]
+
truthfulqa_bn:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [10:49<03:30, 11.72s/it]
+
truthfulqa_bn:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [11:02<03:25, 12.07s/it]
+
truthfulqa_bn:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [11:13<03:08, 11.76s/it]
+
truthfulqa_bn:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [11:23<02:50, 11.37s/it]
+
truthfulqa_bn:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [11:35<02:41, 11.54s/it]
+
truthfulqa_bn:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [11:47<02:29, 11.52s/it]
+
truthfulqa_bn:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [11:57<02:15, 11.29s/it]
+
truthfulqa_bn:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [12:08<02:03, 11.19s/it]
+
truthfulqa_bn:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [12:19<01:51, 11.11s/it]
+
truthfulqa_bn:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [12:29<01:37, 10.86s/it]
+
truthfulqa_bn:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [12:41<01:28, 11.10s/it]
+
truthfulqa_bn:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [12:51<01:15, 10.80s/it]
+
truthfulqa_bn:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [13:04<01:07, 11.26s/it]
+
truthfulqa_bn:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [13:15<00:56, 11.32s/it]
+
truthfulqa_bn:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [13:25<00:43, 10.95s/it]
+
truthfulqa_bn:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [13:37<00:33, 11.25s/it]
+
truthfulqa_bn:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [13:48<00:22, 11.08s/it]
+
truthfulqa_bn:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [13:59<00:11, 11.17s/it]
+
truthfulqa_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [14:07<00:00, 10.12s/it]
truthfulqa_bn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [14:07<00:00, 11.30s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_bn_mc1 0.26248399487836105
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_bn_mc2 0.5165298053992592
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:40:10,539 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:40:10,539 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:10,665 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:40:10,665 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:10,790 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:40:10,791 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:10,916 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:40:10,917 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:40:10,917 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:40:11,044 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:40:11,044 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_bn_mc1'}
+2024-06-01 05:40:11,108 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:40:11,108 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1267, 'value': 0.26248399487836105}
+2024-06-01 05:40:11,172 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:40:11,797 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:40:11,797 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:11,920 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:40:11,920 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:12,041 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:40:12,041 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:12,163 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:40:12,164 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:40:12,164 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:40:12,286 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:40:12,287 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_bn_mc2'}
+2024-06-01 05:40:12,348 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:40:12,348 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1268, 'value': 0.5165298053992592}
+2024-06-01 05:40:12,410 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  77%|██████████████████████████████████████████████████████████████████████████████████▋                         | 95/124 [70:52:41<19:17:33, 2394.95s/it]['truthfulqa_ca']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:40:13,011 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:40:13,011 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:13,129 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:40:13,129 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:13,246 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:40:13,246 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:40:13,364 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:40:13,365 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 05:40:13,365 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_ca'}
+2024-06-01 05:40:13,483 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ca task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 777 examples [00:00, 10470.33 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ca:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_ca:   1%|█▌                                                                                                                | 1/74 [00:08<10:46,  8.86s/it]
+
truthfulqa_ca:   3%|███                                                                                                               | 2/74 [00:18<10:52,  9.06s/it]
+
truthfulqa_ca:   4%|████▌                                                                                                             | 3/74 [00:27<10:48,  9.14s/it]
+
truthfulqa_ca:   5%|██████▏                                                                                                           | 4/74 [00:37<11:01,  9.45s/it]
+
truthfulqa_ca:   7%|███████▋                                                                                                          | 5/74 [00:46<10:45,  9.36s/it]
+
truthfulqa_ca:   8%|█████████▏                                                                                                        | 6/74 [00:55<10:36,  9.36s/it]
+
truthfulqa_ca:   9%|██████████▊                                                                                                       | 7/74 [01:05<10:23,  9.31s/it]
+
truthfulqa_ca:  11%|████████████▎                                                                                                     | 8/74 [01:14<10:25,  9.48s/it]
+
truthfulqa_ca:  12%|█████████████▊                                                                                                    | 9/74 [01:23<09:55,  9.16s/it]
+
truthfulqa_ca:  14%|███████████████▎                                                                                                 | 10/74 [01:32<09:43,  9.11s/it]
+
truthfulqa_ca:  15%|████████████████▊                                                                                                | 11/74 [01:41<09:42,  9.25s/it]
+
truthfulqa_ca:  16%|██████████████████▎                                                                                              | 12/74 [01:51<09:32,  9.24s/it]
+
truthfulqa_ca:  18%|███████████████████▊                                                                                             | 13/74 [02:00<09:17,  9.15s/it]
+
truthfulqa_ca:  19%|█████████████████████▍                                                                                           | 14/74 [02:09<09:07,  9.13s/it]
+
truthfulqa_ca:  20%|██████████████████████▉                                                                                          | 15/74 [02:18<09:00,  9.17s/it]
+
truthfulqa_ca:  22%|████████████████████████▍                                                                                        | 16/74 [02:27<08:55,  9.23s/it]
+
truthfulqa_ca:  23%|█████████████████████████▉                                                                                       | 17/74 [02:36<08:42,  9.17s/it]
+
truthfulqa_ca:  24%|███████████████████████████▍                                                                                     | 18/74 [02:46<08:36,  9.22s/it]
+
truthfulqa_ca:  26%|█████████████████████████████                                                                                    | 19/74 [02:54<08:16,  9.03s/it]
+
truthfulqa_ca:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:03<08:00,  8.89s/it]
+
truthfulqa_ca:  28%|████████████████████████████████                                                                                 | 21/74 [03:12<07:52,  8.92s/it]
+
truthfulqa_ca:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:21<07:45,  8.95s/it]
+
truthfulqa_ca:  31%|███████████████████████████████████                                                                              | 23/74 [03:30<07:36,  8.96s/it]
+
truthfulqa_ca:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:39<07:31,  9.03s/it]
+
truthfulqa_ca:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:48<07:16,  8.91s/it]
+
truthfulqa_ca:  35%|███████████████████████████████████████▋                                                                         | 26/74 [03:57<07:11,  8.99s/it]
+
truthfulqa_ca:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:06<07:03,  9.01s/it]
+
truthfulqa_ca:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:15<06:55,  9.03s/it]
+
truthfulqa_ca:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:24<06:45,  9.02s/it]
+
truthfulqa_ca:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:33<06:37,  9.04s/it]
+
truthfulqa_ca:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:43<06:36,  9.21s/it]
+
truthfulqa_ca:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [04:52<06:27,  9.23s/it]
+
truthfulqa_ca:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:01<06:15,  9.15s/it]
+
truthfulqa_ca:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:10<06:06,  9.15s/it]
+
truthfulqa_ca:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:19<05:56,  9.13s/it]
+
truthfulqa_ca:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:27<05:38,  8.91s/it]
+
truthfulqa_ca:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:37<05:36,  9.10s/it]
+
truthfulqa_ca:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:46<05:31,  9.20s/it]
+
truthfulqa_ca:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [05:56<05:22,  9.20s/it]
+
truthfulqa_ca:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:05<05:10,  9.13s/it]
+
truthfulqa_ca:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:14<05:00,  9.10s/it]
+
truthfulqa_ca:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:22<04:47,  8.97s/it]
+
truthfulqa_ca:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:31<04:33,  8.81s/it]
+
truthfulqa_ca:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:40<04:29,  8.99s/it]
+
truthfulqa_ca:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [06:49<04:21,  9.03s/it]
+
truthfulqa_ca:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [06:59<04:15,  9.12s/it]
+
truthfulqa_ca:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:08<04:08,  9.21s/it]
+
truthfulqa_ca:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:17<03:57,  9.13s/it]
+
truthfulqa_ca:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:25<03:42,  8.89s/it]
+
truthfulqa_ca:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:34<03:33,  8.89s/it]
+
truthfulqa_ca:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [07:43<03:27,  9.02s/it]
+
truthfulqa_ca:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [07:52<03:18,  9.01s/it]
+
truthfulqa_ca:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:02<03:10,  9.08s/it]
+
truthfulqa_ca:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:11<03:02,  9.13s/it]
+
truthfulqa_ca:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:20<02:50,  8.97s/it]
+
truthfulqa_ca:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:28<02:38,  8.83s/it]
+
truthfulqa_ca:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:38<02:33,  9.02s/it]
+
truthfulqa_ca:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [08:47<02:24,  9.03s/it]
+
truthfulqa_ca:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [08:56<02:16,  9.09s/it]
+
truthfulqa_ca:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:05<02:09,  9.27s/it]
+
truthfulqa_ca:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:15<01:59,  9.22s/it]
+
truthfulqa_ca:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:24<01:49,  9.15s/it]
+
truthfulqa_ca:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:33<01:40,  9.13s/it]
+
truthfulqa_ca:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [09:42<01:31,  9.13s/it]
+
truthfulqa_ca:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [09:51<01:22,  9.11s/it]
+
truthfulqa_ca:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:01<01:14,  9.35s/it]
+
truthfulqa_ca:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:10<01:06,  9.44s/it]
+
truthfulqa_ca:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:19<00:55,  9.33s/it]
+
truthfulqa_ca:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:29<00:46,  9.24s/it]
+
truthfulqa_ca:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [10:38<00:36,  9.21s/it]
+
truthfulqa_ca:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [10:47<00:28,  9.34s/it]
+
truthfulqa_ca:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [10:57<00:18,  9.31s/it]
+
truthfulqa_ca:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:06<00:09,  9.23s/it]
+
truthfulqa_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:14<00:00,  9.14s/it]
truthfulqa_ca: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:14<00:00,  9.12s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ca_mc1 0.305019305019305
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ca_mc2 0.473386858970418
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:51:29,576 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:51:29,576 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:29,701 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:51:29,701 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:29,826 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:51:29,826 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:29,951 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:51:29,952 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:51:29,952 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:51:30,081 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:51:30,081 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ca_mc1'}
+2024-06-01 05:51:30,145 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:51:30,145 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1269, 'value': 0.305019305019305}
+2024-06-01 05:51:30,209 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:51:30,868 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:51:30,868 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:30,999 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:51:30,999 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:31,129 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:51:31,129 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:31,259 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:51:31,260 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 05:51:31,260 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 05:51:31,392 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 05:51:31,392 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ca_mc2'}
+2024-06-01 05:51:31,458 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 05:51:31,458 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1270, 'value': 0.473386858970418}
+2024-06-01 05:51:31,524 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  77%|███████████████████████████████████████████████████████████████████████████████████▌                        | 96/124 [71:04:00<14:37:25, 1880.20s/it]['truthfulqa_da']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 05:51:32,169 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 05:51:32,169 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:32,296 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 05:51:32,296 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:32,421 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 05:51:32,422 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 05:51:32,547 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 05:51:32,548 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 05:51:32,548 INFO sqlalchemy.engine.Engine [generated in 0.00021s] {'name_1_1': 'truthfulqa_da'}
+2024-06-01 05:51:32,675 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_da task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
+
Generating validation split: 699 examples [00:00, 2045.92 examples/s]
Generating validation split: 781 examples [00:00, 2179.39 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_da:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_da:   1%|█▌                                                                                                                | 1/75 [00:09<11:25,  9.26s/it]
+
truthfulqa_da:   3%|███                                                                                                               | 2/75 [00:18<11:15,  9.25s/it]
+
truthfulqa_da:   4%|████▌                                                                                                             | 3/75 [00:27<10:59,  9.16s/it]
+
truthfulqa_da:   5%|██████                                                                                                            | 4/75 [00:37<11:01,  9.32s/it]
+
truthfulqa_da:   7%|███████▌                                                                                                          | 5/75 [00:47<11:08,  9.54s/it]
+
truthfulqa_da:   8%|█████████                                                                                                         | 6/75 [00:56<10:54,  9.49s/it]
+
truthfulqa_da:   9%|██████████▋                                                                                                       | 7/75 [01:05<10:32,  9.30s/it]
+
truthfulqa_da:  11%|████████████▏                                                                                                     | 8/75 [01:14<10:21,  9.28s/it]
+
truthfulqa_da:  12%|█████████████▋                                                                                                    | 9/75 [01:23<10:08,  9.22s/it]
+
truthfulqa_da:  13%|███████████████                                                                                                  | 10/75 [01:33<10:04,  9.30s/it]
+
truthfulqa_da:  15%|████████████████▌                                                                                                | 11/75 [01:42<10:01,  9.40s/it]
+
truthfulqa_da:  16%|██████████████████                                                                                               | 12/75 [01:51<09:41,  9.23s/it]
+
truthfulqa_da:  17%|███████████████████▌                                                                                             | 13/75 [02:00<09:27,  9.16s/it]
+
truthfulqa_da:  19%|█████████████████████                                                                                            | 14/75 [02:10<09:32,  9.39s/it]
+
truthfulqa_da:  20%|██████████████████████▌                                                                                          | 15/75 [02:19<09:17,  9.30s/it]
+
truthfulqa_da:  21%|████████████████████████                                                                                         | 16/75 [02:28<09:00,  9.16s/it]
+
truthfulqa_da:  23%|█████████████████████████▌                                                                                       | 17/75 [02:37<08:51,  9.17s/it]
+
truthfulqa_da:  24%|███████████████████████████                                                                                      | 18/75 [02:47<08:51,  9.33s/it]
+
truthfulqa_da:  25%|████████████████████████████▋                                                                                    | 19/75 [02:56<08:39,  9.28s/it]
+
truthfulqa_da:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:05<08:27,  9.22s/it]
+
truthfulqa_da:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:14<08:14,  9.16s/it]
+
truthfulqa_da:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:23<08:06,  9.18s/it]
+
truthfulqa_da:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:32<07:56,  9.16s/it]
+
truthfulqa_da:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:42<07:45,  9.12s/it]
+
truthfulqa_da:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:51<07:48,  9.37s/it]
+
truthfulqa_da:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:00<07:33,  9.26s/it]
+
truthfulqa_da:  36%|████████████████████████████████████████▋                                                                        | 27/75 [04:10<07:30,  9.38s/it]
+
truthfulqa_da:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:19<07:19,  9.35s/it]
+
truthfulqa_da:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:29<07:10,  9.35s/it]
+
truthfulqa_da:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:38<06:57,  9.27s/it]
+
truthfulqa_da:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:47<06:41,  9.12s/it]
+
truthfulqa_da:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [04:56<06:32,  9.13s/it]
+
truthfulqa_da:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [05:05<06:22,  9.10s/it]
+
truthfulqa_da:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [05:14<06:12,  9.08s/it]
+
truthfulqa_da:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:23<06:02,  9.06s/it]
+
truthfulqa_da:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:31<05:46,  8.89s/it]
+
truthfulqa_da:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:41<05:47,  9.15s/it]
+
truthfulqa_da:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [05:50<05:36,  9.09s/it]
+
truthfulqa_da:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [05:59<05:30,  9.19s/it]
+
truthfulqa_da:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [06:09<05:29,  9.41s/it]
+
truthfulqa_da:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [06:19<05:20,  9.44s/it]
+
truthfulqa_da:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:28<05:07,  9.33s/it]
+
truthfulqa_da:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:37<04:57,  9.31s/it]
+
truthfulqa_da:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [06:46<04:44,  9.18s/it]
+
truthfulqa_da:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [06:56<04:38,  9.28s/it]
+
truthfulqa_da:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [07:05<04:29,  9.28s/it]
+
truthfulqa_da:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [07:14<04:17,  9.18s/it]
+
truthfulqa_da:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [07:23<04:06,  9.11s/it]
+
truthfulqa_da:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:32<03:56,  9.11s/it]
+
truthfulqa_da:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [07:42<03:51,  9.26s/it]
+
truthfulqa_da:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [07:51<03:46,  9.45s/it]
+
truthfulqa_da:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [08:01<03:37,  9.45s/it]
+
truthfulqa_da:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [08:10<03:28,  9.48s/it]
+
truthfulqa_da:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [08:20<03:17,  9.42s/it]
+
truthfulqa_da:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [08:30<03:11,  9.57s/it]
+
truthfulqa_da:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:39<03:01,  9.53s/it]
+
truthfulqa_da:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [08:48<02:48,  9.35s/it]
+
truthfulqa_da:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [08:58<02:39,  9.40s/it]
+
truthfulqa_da:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [09:06<02:27,  9.21s/it]
+
truthfulqa_da:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [09:15<02:18,  9.21s/it]
+
truthfulqa_da:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [09:25<02:08,  9.18s/it]
+
truthfulqa_da:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [09:34<01:58,  9.13s/it]
+
truthfulqa_da:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [09:43<01:50,  9.24s/it]
+
truthfulqa_da:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [09:53<01:43,  9.37s/it]
+
truthfulqa_da:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [10:02<01:33,  9.31s/it]
+
truthfulqa_da:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [10:11<01:22,  9.15s/it]
+
truthfulqa_da:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [10:20<01:14,  9.25s/it]
+
truthfulqa_da:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [10:30<01:04,  9.28s/it]
+
truthfulqa_da:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [10:39<00:55,  9.19s/it]
+
truthfulqa_da:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [10:48<00:46,  9.30s/it]
+
truthfulqa_da:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [10:57<00:36,  9.18s/it]
+
truthfulqa_da:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [11:06<00:27,  9.20s/it]
+
truthfulqa_da:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [11:16<00:18,  9.22s/it]
+
truthfulqa_da:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:25<00:09,  9.30s/it]
+
truthfulqa_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:32<00:00,  8.60s/it]
truthfulqa_da: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:32<00:00,  9.23s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_da_mc1 0.3290653008962868
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_da_mc2 0.4931356709594265
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:03:06,256 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:03:06,256 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:06,382 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:03:06,382 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:06,507 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:03:06,507 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:06,633 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:03:06,634 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:03:06,634 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:03:06,761 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:03:06,761 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_da_mc1'}
+2024-06-01 06:03:06,824 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:03:06,824 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1271, 'value': 0.3290653008962868}
+2024-06-01 06:03:06,889 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:03:07,543 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:03:07,543 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:07,672 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:03:07,672 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:07,802 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:03:07,802 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:07,931 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:03:07,932 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:03:07,932 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:03:08,062 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:03:08,062 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_da_mc2'}
+2024-06-01 06:03:08,128 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:03:08,128 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1272, 'value': 0.4931356709594265}
+2024-06-01 06:03:08,193 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  78%|████████████████████████████████████████████████████████████████████████████████████▍                       | 97/124 [71:15:37<11:26:18, 1525.14s/it]['truthfulqa_de']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:03:08,846 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:03:08,846 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:08,974 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:03:08,974 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:09,103 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:03:09,103 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:03:09,231 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:03:09,232 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 06:03:09,232 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_de'}
+2024-06-01 06:03:09,361 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_de task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 788 examples [00:00, 10663.82 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_de:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_de:   1%|█▌                                                                                                                | 1/76 [00:09<11:16,  9.02s/it]
+
truthfulqa_de:   3%|███                                                                                                               | 2/76 [00:17<11:03,  8.97s/it]
+
truthfulqa_de:   4%|████▌                                                                                                             | 3/76 [00:26<10:39,  8.77s/it]
+
truthfulqa_de:   5%|██████                                                                                                            | 4/76 [00:35<10:45,  8.97s/it]
+
truthfulqa_de:   7%|███████▌                                                                                                          | 5/76 [00:45<10:49,  9.15s/it]
+
truthfulqa_de:   8%|█████████                                                                                                         | 6/76 [00:54<10:38,  9.12s/it]
+
truthfulqa_de:   9%|██████████▌                                                                                                       | 7/76 [01:03<10:24,  9.05s/it]
+
truthfulqa_de:  11%|████████████                                                                                                      | 8/76 [01:12<10:18,  9.10s/it]
+
truthfulqa_de:  12%|█████████████▌                                                                                                    | 9/76 [01:21<10:09,  9.09s/it]
+
truthfulqa_de:  13%|██████████████▊                                                                                                  | 10/76 [01:30<09:56,  9.03s/it]
+
truthfulqa_de:  14%|████████████████▎                                                                                                | 11/76 [01:39<09:49,  9.07s/it]
+
truthfulqa_de:  16%|█████████████████▊                                                                                               | 12/76 [01:49<09:50,  9.22s/it]
+
truthfulqa_de:  17%|███████████████████▎                                                                                             | 13/76 [01:57<09:23,  8.95s/it]
+
truthfulqa_de:  18%|████████████████████▊                                                                                            | 14/76 [02:06<09:20,  9.03s/it]
+
truthfulqa_de:  20%|██████████████████████▎                                                                                          | 15/76 [02:15<09:14,  9.09s/it]
+
truthfulqa_de:  21%|███████████████████████▊                                                                                         | 16/76 [02:25<09:14,  9.24s/it]
+
truthfulqa_de:  22%|█████████████████████████▎                                                                                       | 17/76 [02:34<09:09,  9.32s/it]
+
truthfulqa_de:  24%|██████████████████████████▊                                                                                      | 18/76 [02:43<08:55,  9.23s/it]
+
truthfulqa_de:  25%|████████████████████████████▎                                                                                    | 19/76 [02:53<08:44,  9.20s/it]
+
truthfulqa_de:  26%|█████████████████████████████▋                                                                                   | 20/76 [03:02<08:31,  9.13s/it]
+
truthfulqa_de:  28%|███████████████████████████████▏                                                                                 | 21/76 [03:11<08:22,  9.14s/it]
+
truthfulqa_de:  29%|████████████████████████████████▋                                                                                | 22/76 [03:20<08:13,  9.14s/it]
+
truthfulqa_de:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:29<08:05,  9.15s/it]
+
truthfulqa_de:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:38<07:52,  9.09s/it]
+
truthfulqa_de:  33%|█████████████████████████████████████▏                                                                           | 25/76 [03:48<07:56,  9.34s/it]
+
truthfulqa_de:  34%|██████████████████████████████████████▋                                                                          | 26/76 [03:58<07:53,  9.47s/it]
+
truthfulqa_de:  36%|████████████████████████████████████████▏                                                                        | 27/76 [04:07<07:43,  9.45s/it]
+
truthfulqa_de:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [04:16<07:28,  9.35s/it]
+
truthfulqa_de:  38%|███████████████████████████████████████████                                                                      | 29/76 [04:25<07:06,  9.07s/it]
+
truthfulqa_de:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [04:34<06:56,  9.05s/it]
+
truthfulqa_de:  41%|██████████████████████████████████████████████                                                                   | 31/76 [04:43<06:48,  9.07s/it]
+
truthfulqa_de:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [04:52<06:43,  9.16s/it]
+
truthfulqa_de:  43%|█████████████████████████████████████████████████                                                                | 33/76 [05:01<06:35,  9.19s/it]
+
truthfulqa_de:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [05:11<06:26,  9.21s/it]
+
truthfulqa_de:  46%|████████████████████████████████████████████████████                                                             | 35/76 [05:19<06:12,  9.07s/it]
+
truthfulqa_de:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [05:29<06:08,  9.22s/it]
+
truthfulqa_de:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [05:38<06:00,  9.25s/it]
+
truthfulqa_de:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [05:48<05:54,  9.33s/it]
+
truthfulqa_de:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [05:57<05:46,  9.37s/it]
+
truthfulqa_de:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [06:06<05:33,  9.27s/it]
+
truthfulqa_de:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [06:15<05:22,  9.22s/it]
+
truthfulqa_de:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [06:25<05:21,  9.46s/it]
+
truthfulqa_de:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [06:35<05:11,  9.45s/it]
+
truthfulqa_de:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [06:44<04:55,  9.23s/it]
+
truthfulqa_de:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [06:53<04:44,  9.18s/it]
+
truthfulqa_de:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [07:02<04:38,  9.29s/it]
+
truthfulqa_de:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [07:12<04:30,  9.32s/it]
+
truthfulqa_de:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [07:21<04:23,  9.41s/it]
+
truthfulqa_de:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [07:30<04:11,  9.30s/it]
+
truthfulqa_de:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [07:39<03:59,  9.20s/it]
+
truthfulqa_de:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [07:48<03:49,  9.19s/it]
+
truthfulqa_de:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [07:58<03:41,  9.22s/it]
+
truthfulqa_de:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [08:07<03:31,  9.17s/it]
+
truthfulqa_de:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [08:16<03:22,  9.19s/it]
+
truthfulqa_de:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [08:25<03:11,  9.11s/it]
+
truthfulqa_de:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [08:34<03:01,  9.08s/it]
+
truthfulqa_de:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [08:43<02:51,  9.05s/it]
+
truthfulqa_de:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [08:52<02:45,  9.20s/it]
+
truthfulqa_de:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [09:02<02:35,  9.18s/it]
+
truthfulqa_de:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [09:10<02:25,  9.07s/it]
+
truthfulqa_de:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [09:19<02:15,  9.06s/it]
+
truthfulqa_de:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [09:29<02:07,  9.09s/it]
+
truthfulqa_de:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [09:38<02:00,  9.23s/it]
+
truthfulqa_de:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [09:48<01:51,  9.28s/it]
+
truthfulqa_de:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [09:57<01:42,  9.28s/it]
+
truthfulqa_de:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [10:05<01:30,  9.01s/it]
+
truthfulqa_de:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [10:14<01:21,  9.03s/it]
+
truthfulqa_de:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [10:24<01:12,  9.11s/it]
+
truthfulqa_de:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [10:33<01:04,  9.25s/it]
+
truthfulqa_de:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [10:43<00:55,  9.28s/it]
+
truthfulqa_de:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [10:52<00:46,  9.24s/it]
+
truthfulqa_de:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [11:00<00:35,  8.95s/it]
+
truthfulqa_de:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [11:09<00:26,  8.99s/it]
+
truthfulqa_de:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [11:19<00:18,  9.19s/it]
+
truthfulqa_de:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:28<00:09,  9.38s/it]
+
truthfulqa_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:33<00:00,  8.03s/it]
truthfulqa_de: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:33<00:00,  9.13s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_de_mc1 0.33121827411167515
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_de_mc2 0.47534435225283683
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:14:44,053 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:14:44,053 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:44,179 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:14:44,179 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:44,303 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:14:44,304 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:44,428 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:14:44,429 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:14:44,429 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:14:44,556 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:14:44,556 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_de_mc1'}
+2024-06-01 06:14:44,619 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:14:44,619 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1273, 'value': 0.33121827411167515}
+2024-06-01 06:14:44,683 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:14:45,308 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:14:45,309 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:45,431 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:14:45,431 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:45,554 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:14:45,554 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:45,677 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:14:45,677 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:14:45,678 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:14:45,801 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:14:45,801 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_de_mc2'}
+2024-06-01 06:14:45,864 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:14:45,864 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1274, 'value': 0.47534435225283683}
+2024-06-01 06:14:45,926 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  79%|██████████████████████████████████████████████████████████████████████████████████████▏                      | 98/124 [71:27:15<9:13:19, 1276.92s/it]['truthfulqa_es']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:14:46,594 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:14:46,594 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:46,726 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:14:46,727 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:46,859 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:14:46,859 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:14:46,991 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:14:46,992 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 06:14:46,992 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'truthfulqa_es'}
+2024-06-01 06:14:47,125 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_es task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 789 examples [00:00, 10406.43 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_es:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_es:   1%|█▌                                                                                                                | 1/76 [00:09<11:31,  9.22s/it]
+
truthfulqa_es:   3%|███                                                                                                               | 2/76 [00:18<11:22,  9.22s/it]
+
truthfulqa_es:   4%|████▌                                                                                                             | 3/76 [00:27<11:15,  9.25s/it]
+
truthfulqa_es:   5%|██████                                                                                                            | 4/76 [00:36<10:59,  9.17s/it]
+
truthfulqa_es:   7%|███████▌                                                                                                          | 5/76 [00:45<10:43,  9.07s/it]
+
truthfulqa_es:   8%|█████████                                                                                                         | 6/76 [00:54<10:25,  8.94s/it]
+
truthfulqa_es:   9%|██████████▌                                                                                                       | 7/76 [01:03<10:18,  8.96s/it]
+
truthfulqa_es:  11%|████████████                                                                                                      | 8/76 [01:12<10:17,  9.08s/it]
+
truthfulqa_es:  12%|█████████████▌                                                                                                    | 9/76 [01:22<10:14,  9.18s/it]
+
truthfulqa_es:  13%|██████████████▊                                                                                                  | 10/76 [01:31<10:02,  9.14s/it]
+
truthfulqa_es:  14%|████████████████▎                                                                                                | 11/76 [01:40<09:53,  9.13s/it]
+
truthfulqa_es:  16%|█████████████████▊                                                                                               | 12/76 [01:49<09:47,  9.18s/it]
+
truthfulqa_es:  17%|███████████████████▎                                                                                             | 13/76 [01:58<09:31,  9.07s/it]
+
truthfulqa_es:  18%|████████████████████▊                                                                                            | 14/76 [02:07<09:30,  9.21s/it]
+
truthfulqa_es:  20%|██████████████████████▎                                                                                          | 15/76 [02:17<09:33,  9.40s/it]
+
truthfulqa_es:  21%|███████████████████████▊                                                                                         | 16/76 [02:26<09:17,  9.30s/it]
+
truthfulqa_es:  22%|█████████████████████████▎                                                                                       | 17/76 [02:36<09:21,  9.52s/it]
+
truthfulqa_es:  24%|██████████████████████████▊                                                                                      | 18/76 [02:45<09:05,  9.40s/it]
+
truthfulqa_es:  25%|████████████████████████████▎                                                                                    | 19/76 [02:55<08:52,  9.33s/it]
+
truthfulqa_es:  26%|█████████████████████████████▋                                                                                   | 20/76 [03:04<08:38,  9.25s/it]
+
truthfulqa_es:  28%|███████████████████████████████▏                                                                                 | 21/76 [03:13<08:35,  9.36s/it]
+
truthfulqa_es:  29%|████████████████████████████████▋                                                                                | 22/76 [03:22<08:21,  9.29s/it]
+
truthfulqa_es:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:32<08:10,  9.25s/it]
+
truthfulqa_es:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:40<07:49,  9.02s/it]
+
truthfulqa_es:  33%|█████████████████████████████████████▏                                                                           | 25/76 [03:49<07:41,  9.04s/it]
+
truthfulqa_es:  34%|██████████████████████████████████████▋                                                                          | 26/76 [03:58<07:31,  9.03s/it]
+
truthfulqa_es:  36%|████████████████████████████████████████▏                                                                        | 27/76 [04:07<07:23,  9.05s/it]
+
truthfulqa_es:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [04:17<07:24,  9.26s/it]
+
truthfulqa_es:  38%|███████████████████████████████████████████                                                                      | 29/76 [04:26<07:13,  9.23s/it]
+
truthfulqa_es:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [04:35<07:04,  9.22s/it]
+
truthfulqa_es:  41%|██████████████████████████████████████████████                                                                   | 31/76 [04:44<06:51,  9.14s/it]
+
truthfulqa_es:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [04:54<06:52,  9.37s/it]
+
truthfulqa_es:  43%|█████████████████████████████████████████████████                                                                | 33/76 [05:04<06:48,  9.50s/it]
+
truthfulqa_es:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [05:13<06:30,  9.29s/it]
+
truthfulqa_es:  46%|████████████████████████████████████████████████████                                                             | 35/76 [05:22<06:24,  9.37s/it]
+
truthfulqa_es:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [05:32<06:15,  9.40s/it]
+
truthfulqa_es:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [05:41<06:06,  9.39s/it]
+
truthfulqa_es:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [05:50<05:51,  9.25s/it]
+
truthfulqa_es:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [06:00<05:49,  9.45s/it]
+
truthfulqa_es:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [06:09<05:34,  9.31s/it]
+
truthfulqa_es:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [06:18<05:26,  9.34s/it]
+
truthfulqa_es:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [06:28<05:22,  9.50s/it]
+
truthfulqa_es:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [06:37<05:07,  9.33s/it]
+
truthfulqa_es:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [06:46<04:54,  9.22s/it]
+
truthfulqa_es:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [06:56<04:47,  9.27s/it]
+
truthfulqa_es:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [07:05<04:36,  9.21s/it]
+
truthfulqa_es:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [07:14<04:25,  9.17s/it]
+
truthfulqa_es:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [07:23<04:15,  9.13s/it]
+
truthfulqa_es:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [07:32<04:07,  9.15s/it]
+
truthfulqa_es:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [07:42<04:03,  9.38s/it]
+
truthfulqa_es:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [07:51<03:55,  9.43s/it]
+
truthfulqa_es:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [08:01<03:45,  9.39s/it]
+
truthfulqa_es:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [08:10<03:34,  9.32s/it]
+
truthfulqa_es:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [08:19<03:25,  9.34s/it]
+
truthfulqa_es:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [08:29<03:15,  9.31s/it]
+
truthfulqa_es:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [08:38<03:05,  9.27s/it]
+
truthfulqa_es:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [08:47<02:56,  9.27s/it]
+
truthfulqa_es:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [08:56<02:44,  9.16s/it]
+
truthfulqa_es:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [09:05<02:34,  9.07s/it]
+
truthfulqa_es:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [09:14<02:26,  9.15s/it]
+
truthfulqa_es:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [09:23<02:16,  9.12s/it]
+
truthfulqa_es:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [09:33<02:10,  9.29s/it]
+
truthfulqa_es:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [09:42<02:00,  9.26s/it]
+
truthfulqa_es:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [09:52<01:52,  9.38s/it]
+
truthfulqa_es:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [10:01<01:42,  9.35s/it]
+
truthfulqa_es:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [10:10<01:33,  9.35s/it]
+
truthfulqa_es:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [10:20<01:24,  9.37s/it]
+
truthfulqa_es:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [10:29<01:14,  9.34s/it]
+
truthfulqa_es:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [10:38<01:05,  9.36s/it]
+
truthfulqa_es:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [10:48<00:55,  9.32s/it]
+
truthfulqa_es:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [10:57<00:46,  9.30s/it]
+
truthfulqa_es:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [11:06<00:36,  9.23s/it]
+
truthfulqa_es:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [11:15<00:27,  9.18s/it]
+
truthfulqa_es:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [11:25<00:18,  9.29s/it]
+
truthfulqa_es:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:35<00:09,  9.52s/it]
+
truthfulqa_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:40<00:00,  8.40s/it]
truthfulqa_es: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:40<00:00,  9.22s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_es_mc1 0.3105196451204056
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_es_mc2 0.4645401843930264
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:26:28,838 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:26:28,838 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:28,965 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:26:28,965 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:29,091 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:26:29,091 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:29,218 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:26:29,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:26:29,219 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:26:29,346 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:26:29,346 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_es_mc1'}
+2024-06-01 06:26:29,411 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:26:29,411 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1275, 'value': 0.3105196451204056}
+2024-06-01 06:26:29,475 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:26:30,097 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:26:30,097 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:30,218 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:26:30,218 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:30,340 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:26:30,340 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:30,461 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:26:30,462 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:26:30,462 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:26:30,584 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:26:30,585 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_es_mc2'}
+2024-06-01 06:26:30,646 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:26:30,646 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1276, 'value': 0.4645401843930264}
+2024-06-01 06:26:30,708 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  80%|███████████████████████████████████████████████████████████████████████████████████████                      | 99/124 [71:39:00<7:40:31, 1105.28s/it]['truthfulqa_eu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:26:31,326 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:26:31,326 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:31,447 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:26:31,447 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:31,568 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:26:31,569 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:26:31,690 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:26:31,691 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 06:26:31,691 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_eu'}
+2024-06-01 06:26:31,813 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_eu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 774 examples [00:00, 10770.22 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_eu:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_eu:   1%|█▌                                                                                                                | 1/74 [00:07<09:08,  7.52s/it]
+
truthfulqa_eu:   3%|███                                                                                                               | 2/74 [00:15<09:07,  7.61s/it]
+
truthfulqa_eu:   4%|████▌                                                                                                             | 3/74 [00:23<09:13,  7.80s/it]
+
truthfulqa_eu:   5%|██████▏                                                                                                           | 4/74 [00:30<08:59,  7.70s/it]
+
truthfulqa_eu:   7%|███████▋                                                                                                          | 5/74 [00:39<09:09,  7.96s/it]
+
truthfulqa_eu:   8%|█████████▏                                                                                                        | 6/74 [00:47<09:04,  8.01s/it]
+
truthfulqa_eu:   9%|██████████▊                                                                                                       | 7/74 [00:55<08:54,  7.98s/it]
+
truthfulqa_eu:  11%|████████████▎                                                                                                     | 8/74 [01:02<08:38,  7.86s/it]
+
truthfulqa_eu:  12%|█████████████▊                                                                                                    | 9/74 [01:10<08:32,  7.88s/it]
+
truthfulqa_eu:  14%|███████████████▎                                                                                                 | 10/74 [01:18<08:28,  7.94s/it]
+
truthfulqa_eu:  15%|████████████████▊                                                                                                | 11/74 [01:26<08:18,  7.91s/it]
+
truthfulqa_eu:  16%|██████████████████▎                                                                                              | 12/74 [01:34<08:11,  7.93s/it]
+
truthfulqa_eu:  18%|███████████████████▊                                                                                             | 13/74 [01:42<08:05,  7.96s/it]
+
truthfulqa_eu:  19%|█████████████████████▍                                                                                           | 14/74 [01:50<07:55,  7.92s/it]
+
truthfulqa_eu:  20%|██████████████████████▉                                                                                          | 15/74 [01:58<07:54,  8.05s/it]
+
truthfulqa_eu:  22%|████████████████████████▍                                                                                        | 16/74 [02:06<07:37,  7.88s/it]
+
truthfulqa_eu:  23%|█████████████████████████▉                                                                                       | 17/74 [02:14<07:33,  7.95s/it]
+
truthfulqa_eu:  24%|███████████████████████████▍                                                                                     | 18/74 [02:22<07:23,  7.92s/it]
+
truthfulqa_eu:  26%|█████████████████████████████                                                                                    | 19/74 [02:30<07:17,  7.95s/it]
+
truthfulqa_eu:  27%|██████████████████████████████▌                                                                                  | 20/74 [02:38<07:05,  7.87s/it]
+
truthfulqa_eu:  28%|████████████████████████████████                                                                                 | 21/74 [02:46<07:01,  7.95s/it]
+
truthfulqa_eu:  30%|█████████████████████████████████▌                                                                               | 22/74 [02:53<06:50,  7.89s/it]
+
truthfulqa_eu:  31%|███████████████████████████████████                                                                              | 23/74 [03:01<06:43,  7.90s/it]
+
truthfulqa_eu:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:09<06:29,  7.80s/it]
+
truthfulqa_eu:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:17<06:27,  7.91s/it]
+
truthfulqa_eu:  35%|███████████████████████████████████████▋                                                                         | 26/74 [03:25<06:22,  7.98s/it]
+
truthfulqa_eu:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [03:34<06:20,  8.09s/it]
+
truthfulqa_eu:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [03:41<06:04,  7.93s/it]
+
truthfulqa_eu:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [03:49<05:51,  7.81s/it]
+
truthfulqa_eu:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [03:57<05:48,  7.92s/it]
+
truthfulqa_eu:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:05<05:41,  7.95s/it]
+
truthfulqa_eu:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [04:13<05:31,  7.90s/it]
+
truthfulqa_eu:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [04:20<05:22,  7.87s/it]
+
truthfulqa_eu:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [04:28<05:12,  7.81s/it]
+
truthfulqa_eu:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [04:36<05:03,  7.78s/it]
+
truthfulqa_eu:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [04:43<04:54,  7.76s/it]
+
truthfulqa_eu:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [04:52<04:50,  7.85s/it]
+
truthfulqa_eu:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:00<04:44,  7.90s/it]
+
truthfulqa_eu:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [05:07<04:36,  7.89s/it]
+
truthfulqa_eu:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [05:15<04:26,  7.85s/it]
+
truthfulqa_eu:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [05:23<04:15,  7.75s/it]
+
truthfulqa_eu:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [05:30<04:06,  7.69s/it]
+
truthfulqa_eu:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [05:38<03:59,  7.74s/it]
+
truthfulqa_eu:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [05:46<03:52,  7.76s/it]
+
truthfulqa_eu:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [05:54<03:43,  7.72s/it]
+
truthfulqa_eu:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [06:02<03:39,  7.83s/it]
+
truthfulqa_eu:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [06:09<03:30,  7.78s/it]
+
truthfulqa_eu:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [06:18<03:26,  7.94s/it]
+
truthfulqa_eu:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [06:25<03:17,  7.90s/it]
+
truthfulqa_eu:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [06:33<03:09,  7.88s/it]
+
truthfulqa_eu:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [06:41<02:57,  7.74s/it]
+
truthfulqa_eu:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [06:48<02:49,  7.71s/it]
+
truthfulqa_eu:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [06:57<02:45,  7.90s/it]
+
truthfulqa_eu:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [07:05<02:38,  7.92s/it]
+
truthfulqa_eu:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [07:13<02:33,  8.10s/it]
+
truthfulqa_eu:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [07:21<02:26,  8.11s/it]
+
truthfulqa_eu:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [07:29<02:16,  8.00s/it]
+
truthfulqa_eu:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [07:38<02:11,  8.19s/it]
+
truthfulqa_eu:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [07:46<02:01,  8.09s/it]
+
truthfulqa_eu:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [07:54<01:55,  8.24s/it]
+
truthfulqa_eu:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [08:02<01:45,  8.12s/it]
+
truthfulqa_eu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [08:09<01:35,  7.92s/it]
+
truthfulqa_eu:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [08:17<01:27,  7.95s/it]
+
truthfulqa_eu:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [08:25<01:19,  7.98s/it]
+
truthfulqa_eu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [08:33<01:11,  7.89s/it]
+
truthfulqa_eu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [08:41<01:03,  7.90s/it]
+
truthfulqa_eu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [08:49<00:54,  7.80s/it]
+
truthfulqa_eu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [08:57<00:46,  7.82s/it]
+
truthfulqa_eu:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [09:05<00:39,  7.88s/it]
+
truthfulqa_eu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [09:12<00:31,  7.86s/it]
+
truthfulqa_eu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [09:21<00:24,  8.18s/it]
+
truthfulqa_eu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [09:30<00:16,  8.28s/it]
+
truthfulqa_eu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [09:38<00:08,  8.27s/it]
+
truthfulqa_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [09:44<00:00,  7.51s/it]
truthfulqa_eu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [09:44<00:00,  7.90s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_eu_mc1 0.2364341085271318
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_eu_mc2 0.423135336595503
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:36:16,935 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:36:16,935 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:17,064 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:36:17,064 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:17,193 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:36:17,193 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:17,322 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:36:17,322 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:36:17,323 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:36:17,453 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:36:17,453 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_eu_mc1'}
+2024-06-01 06:36:17,518 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:36:17,518 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1277, 'value': 0.2364341085271318}
+2024-06-01 06:36:17,584 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:36:18,238 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:36:18,238 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:18,366 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:36:18,366 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:18,495 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:36:18,495 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:18,623 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:36:18,624 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:36:18,624 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:36:18,753 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:36:18,754 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_eu_mc2'}
+2024-06-01 06:36:18,819 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:36:18,819 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1278, 'value': 0.423135336595503}
+2024-06-01 06:36:18,884 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  81%|███████████████████████████████████████████████████████████████████████████████████████▉                     | 100/124 [71:48:48<6:20:03, 950.15s/it]['truthfulqa_fr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:36:19,493 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:36:19,493 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:19,611 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:36:19,611 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:19,730 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:36:19,730 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 06:36:19,849 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_fr'}
+2024-06-01 06:36:19,969 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_fr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 787 examples [00:00, 10615.90 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_fr:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_fr:   1%|█▌                                                                                                                | 1/76 [00:08<11:14,  9.00s/it]
+
truthfulqa_fr:   3%|███                                                                                                               | 2/76 [00:18<11:15,  9.13s/it]
+
truthfulqa_fr:   4%|████▌                                                                                                             | 3/76 [00:26<10:53,  8.95s/it]
+
truthfulqa_fr:   5%|██████                                                                                                            | 4/76 [00:36<10:47,  8.99s/it]
+
truthfulqa_fr:   7%|███████▌                                                                                                          | 5/76 [00:45<10:43,  9.06s/it]
+
truthfulqa_fr:   8%|█████████                                                                                                         | 6/76 [00:55<10:53,  9.34s/it]
+
truthfulqa_fr:   9%|██████████▌                                                                                                       | 7/76 [01:04<10:36,  9.22s/it]
+
truthfulqa_fr:  11%|████████████                                                                                                      | 8/76 [01:13<10:27,  9.22s/it]
+
truthfulqa_fr:  12%|█████████████▌                                                                                                    | 9/76 [01:22<10:27,  9.36s/it]
+
truthfulqa_fr:  13%|██████████████▊                                                                                                  | 10/76 [01:32<10:23,  9.45s/it]
+
truthfulqa_fr:  14%|████████████████▎                                                                                                | 11/76 [01:41<10:02,  9.26s/it]
+
truthfulqa_fr:  16%|█████████████████▊                                                                                               | 12/76 [01:50<09:52,  9.25s/it]
+
truthfulqa_fr:  17%|███████████████████▎                                                                                             | 13/76 [02:00<09:54,  9.44s/it]
+
truthfulqa_fr:  18%|████████████████████▊                                                                                            | 14/76 [02:08<09:23,  9.10s/it]
+
truthfulqa_fr:  20%|██████████████████████▎                                                                                          | 15/76 [02:17<09:12,  9.06s/it]
+
truthfulqa_fr:  21%|███████████████████████▊                                                                                         | 16/76 [02:26<09:00,  9.00s/it]
+
truthfulqa_fr:  22%|█████████████████████████▎                                                                                       | 17/76 [02:35<08:50,  9.00s/it]
+
truthfulqa_fr:  24%|██████████████████████████▊                                                                                      | 18/76 [02:44<08:43,  9.03s/it]
+
truthfulqa_fr:  25%|████████████████████████████▎                                                                                    | 19/76 [02:53<08:35,  9.05s/it]
+
truthfulqa_fr:  26%|█████████████████████████████▋                                                                                   | 20/76 [03:03<08:35,  9.20s/it]
+
truthfulqa_fr:  28%|███████████████████████████████▏                                                                                 | 21/76 [03:12<08:22,  9.13s/it]
+
truthfulqa_fr:  29%|████████████████████████████████▋                                                                                | 22/76 [03:21<08:19,  9.25s/it]
+
truthfulqa_fr:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:31<08:21,  9.47s/it]
+
truthfulqa_fr:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:41<08:08,  9.40s/it]
+
truthfulqa_fr:  33%|█████████████████████████████████████▏                                                                           | 25/76 [03:50<07:56,  9.35s/it]
+
truthfulqa_fr:  34%|██████████████████████████████████████▋                                                                          | 26/76 [03:59<07:45,  9.31s/it]
+
truthfulqa_fr:  36%|████████████████████████████████████████▏                                                                        | 27/76 [04:08<07:34,  9.27s/it]
+
truthfulqa_fr:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [04:17<07:15,  9.08s/it]
+
truthfulqa_fr:  38%|███████████████████████████████████████████                                                                      | 29/76 [04:26<07:13,  9.23s/it]
+
truthfulqa_fr:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [04:36<07:08,  9.31s/it]
+
truthfulqa_fr:  41%|██████████████████████████████████████████████                                                                   | 31/76 [04:45<06:55,  9.24s/it]
+
truthfulqa_fr:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [04:54<06:46,  9.24s/it]
+
truthfulqa_fr:  43%|█████████████████████████████████████████████████                                                                | 33/76 [05:04<06:37,  9.23s/it]
+
truthfulqa_fr:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [05:12<06:19,  9.03s/it]
+
truthfulqa_fr:  46%|████████████████████████████████████████████████████                                                             | 35/76 [05:21<06:13,  9.10s/it]
+
truthfulqa_fr:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [05:30<06:03,  9.10s/it]
+
truthfulqa_fr:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [05:39<05:45,  8.87s/it]
+
truthfulqa_fr:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [05:48<05:37,  8.89s/it]
+
truthfulqa_fr:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [05:57<05:35,  9.07s/it]
+
truthfulqa_fr:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [06:06<05:19,  8.88s/it]
+
truthfulqa_fr:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [06:15<05:11,  8.90s/it]
+
truthfulqa_fr:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [06:24<05:05,  8.99s/it]
+
truthfulqa_fr:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [06:32<04:52,  8.87s/it]
+
truthfulqa_fr:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [06:41<04:44,  8.89s/it]
+
truthfulqa_fr:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [06:50<04:32,  8.78s/it]
+
truthfulqa_fr:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [06:59<04:30,  9.03s/it]
+
truthfulqa_fr:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [07:09<04:24,  9.11s/it]
+
truthfulqa_fr:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [07:18<04:20,  9.30s/it]
+
truthfulqa_fr:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [07:28<04:09,  9.26s/it]
+
truthfulqa_fr:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [07:36<03:56,  9.09s/it]
+
truthfulqa_fr:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [07:46<03:50,  9.21s/it]
+
truthfulqa_fr:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [07:56<03:45,  9.38s/it]
+
truthfulqa_fr:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [08:05<03:35,  9.36s/it]
+
truthfulqa_fr:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [08:14<03:25,  9.34s/it]
+
truthfulqa_fr:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [08:23<03:12,  9.15s/it]
+
truthfulqa_fr:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [08:32<03:02,  9.14s/it]
+
truthfulqa_fr:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [08:41<02:54,  9.20s/it]
+
truthfulqa_fr:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [08:51<02:46,  9.27s/it]
+
truthfulqa_fr:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [09:00<02:38,  9.33s/it]
+
truthfulqa_fr:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [09:10<02:30,  9.38s/it]
+
truthfulqa_fr:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [09:19<02:20,  9.39s/it]
+
truthfulqa_fr:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [09:28<02:09,  9.22s/it]
+
truthfulqa_fr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [09:37<02:00,  9.23s/it]
+
truthfulqa_fr:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [09:46<01:50,  9.20s/it]
+
truthfulqa_fr:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [09:55<01:40,  9.14s/it]
+
truthfulqa_fr:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [10:04<01:30,  9.04s/it]
+
truthfulqa_fr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [10:13<01:20,  8.93s/it]
+
truthfulqa_fr:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [10:22<01:12,  9.11s/it]
+
truthfulqa_fr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [10:31<01:03,  9.07s/it]
+
truthfulqa_fr:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [10:41<00:54,  9.08s/it]
+
truthfulqa_fr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [10:49<00:44,  8.92s/it]
+
truthfulqa_fr:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [10:58<00:35,  8.87s/it]
+
truthfulqa_fr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [11:07<00:26,  8.95s/it]
+
truthfulqa_fr:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [11:16<00:17,  8.95s/it]
+
truthfulqa_fr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:25<00:08,  8.97s/it]
+
truthfulqa_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:30<00:00,  7.73s/it]
truthfulqa_fr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:30<00:00,  9.08s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_fr_mc1 0.3278271918678526
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_fr_mc2 0.4731330868216484
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:47:51,355 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:47:51,355 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:51,487 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:47:51,487 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:51,618 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:47:51,618 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:51,749 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:47:51,750 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:47:51,750 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:47:51,883 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:47:51,883 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_fr_mc1'}
+2024-06-01 06:47:51,949 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:47:51,949 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1279, 'value': 0.3278271918678526}
+2024-06-01 06:47:52,016 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:47:52,660 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:47:52,660 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:52,786 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:47:52,786 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:52,912 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:47:52,912 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:53,038 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:47:53,039 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 06:47:53,039 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 06:47:53,166 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 06:47:53,166 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_fr_mc2'}
+2024-06-01 06:47:53,230 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 06:47:53,230 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1280, 'value': 0.4731330868216484}
+2024-06-01 06:47:53,294 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  81%|████████████████████████████████████████████████████████████████████████████████████████▊                    | 101/124 [72:00:22<5:34:48, 873.43s/it]['truthfulqa_gu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 06:47:53,952 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 06:47:53,952 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:54,083 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 06:47:54,083 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:54,213 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 06:47:54,213 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 06:47:54,343 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 06:47:54,343 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 06:47:54,344 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_gu'}
+2024-06-01 06:47:54,474 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_gu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 731 examples [00:00, 10123.21 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_gu:   0%|                                                                                                                          | 0/69 [00:00<?, ?it/s]
+
truthfulqa_gu:   1%|█▋                                                                                                                | 1/69 [00:11<13:17, 11.73s/it]
+
truthfulqa_gu:   3%|███▎                                                                                                              | 2/69 [00:24<13:41, 12.26s/it]
+
truthfulqa_gu:   4%|████▉                                                                                                             | 3/69 [00:35<13:03, 11.87s/it]
+
truthfulqa_gu:   6%|██████▌                                                                                                           | 4/69 [00:46<12:30, 11.54s/it]
+
truthfulqa_gu:   7%|████████▎                                                                                                         | 5/69 [00:59<12:51, 12.05s/it]
+
truthfulqa_gu:   9%|█████████▉                                                                                                        | 6/69 [01:11<12:39, 12.05s/it]
+
truthfulqa_gu:  10%|███████████▌                                                                                                      | 7/69 [01:25<12:51, 12.45s/it]
+
truthfulqa_gu:  12%|█████████████▏                                                                                                    | 8/69 [01:37<12:35, 12.38s/it]
+
truthfulqa_gu:  13%|██████████████▊                                                                                                   | 9/69 [01:49<12:13, 12.23s/it]
+
truthfulqa_gu:  14%|████████████████▍                                                                                                | 10/69 [02:01<12:04, 12.28s/it]
+
truthfulqa_gu:  16%|██████████████████                                                                                               | 11/69 [02:13<11:48, 12.21s/it]
+
truthfulqa_gu:  17%|███████████████████▋                                                                                             | 12/69 [02:25<11:36, 12.22s/it]
+
truthfulqa_gu:  19%|█████████████████████▎                                                                                           | 13/69 [02:38<11:31, 12.35s/it]
+
truthfulqa_gu:  20%|██████████████████████▉                                                                                          | 14/69 [02:50<11:07, 12.13s/it]
+
truthfulqa_gu:  22%|████████████████████████▌                                                                                        | 15/69 [03:02<10:50, 12.05s/it]
+
truthfulqa_gu:  23%|██████████████████████████▏                                                                                      | 16/69 [03:13<10:36, 12.00s/it]
+
truthfulqa_gu:  25%|███████████████████████████▊                                                                                     | 17/69 [03:26<10:27, 12.07s/it]
+
truthfulqa_gu:  26%|█████████████████████████████▍                                                                                   | 18/69 [03:39<10:39, 12.55s/it]
+
truthfulqa_gu:  28%|███████████████████████████████                                                                                  | 19/69 [03:52<10:26, 12.53s/it]
+
truthfulqa_gu:  29%|████████████████████████████████▊                                                                                | 20/69 [04:05<10:28, 12.82s/it]
+
truthfulqa_gu:  30%|██████████████████████████████████▍                                                                              | 21/69 [04:17<09:54, 12.38s/it]
+
truthfulqa_gu:  32%|████████████████████████████████████                                                                             | 22/69 [04:29<09:35, 12.25s/it]
+
truthfulqa_gu:  33%|█████████████████████████████████████▋                                                                           | 23/69 [04:40<09:17, 12.12s/it]
+
truthfulqa_gu:  35%|███████████████████████████████████████▎                                                                         | 24/69 [04:53<09:05, 12.11s/it]
+
truthfulqa_gu:  36%|████████████████████████████████████████▉                                                                        | 25/69 [05:04<08:43, 11.89s/it]
+
truthfulqa_gu:  38%|██████████████████████████████████████████▌                                                                      | 26/69 [05:16<08:29, 11.84s/it]
+
truthfulqa_gu:  39%|████████████████████████████████████████████▏                                                                    | 27/69 [05:28<08:19, 11.89s/it]
+
truthfulqa_gu:  41%|█████████████████████████████████████████████▊                                                                   | 28/69 [05:41<08:29, 12.44s/it]
+
truthfulqa_gu:  42%|███████████████████████████████████████████████▍                                                                 | 29/69 [05:54<08:23, 12.59s/it]
+
truthfulqa_gu:  43%|█████████████████████████████████████████████████▏                                                               | 30/69 [06:06<07:57, 12.24s/it]
+
truthfulqa_gu:  45%|██████████████████████████████████████████████████▊                                                              | 31/69 [06:19<07:59, 12.62s/it]
+
truthfulqa_gu:  46%|████████████████████████████████████████████████████▍                                                            | 32/69 [06:32<07:48, 12.66s/it]
+
truthfulqa_gu:  48%|██████████████████████████████████████████████████████                                                           | 33/69 [06:44<07:28, 12.45s/it]
+
truthfulqa_gu:  49%|███████████████████████████████████████████████████████▋                                                         | 34/69 [06:57<07:26, 12.75s/it]
+
truthfulqa_gu:  51%|█████████████████████████████████████████████████████████▎                                                       | 35/69 [07:09<06:58, 12.32s/it]
+
truthfulqa_gu:  52%|██████████████████████████████████████████████████████████▉                                                      | 36/69 [07:21<06:43, 12.22s/it]
+
truthfulqa_gu:  54%|████████████████████████████████████████████████████████████▌                                                    | 37/69 [07:33<06:34, 12.31s/it]
+
truthfulqa_gu:  55%|██████████████████████████████████████████████████████████████▏                                                  | 38/69 [07:46<06:23, 12.37s/it]
+
truthfulqa_gu:  57%|███████████████████████████████████████████████████████████████▊                                                 | 39/69 [07:58<06:13, 12.46s/it]
+
truthfulqa_gu:  58%|█████████████████████████████████████████████████████████████████▌                                               | 40/69 [08:11<06:03, 12.55s/it]
+
truthfulqa_gu:  59%|███████████████████████████████████████████████████████████████████▏                                             | 41/69 [08:23<05:48, 12.44s/it]
+
truthfulqa_gu:  61%|████████████████████████████████████████████████████████████████████▊                                            | 42/69 [08:36<05:35, 12.44s/it]
+
truthfulqa_gu:  62%|██████████████████████████████████████████████████████████████████████▍                                          | 43/69 [08:47<05:17, 12.20s/it]
+
truthfulqa_gu:  64%|████████████████████████████████████████████████████████████████████████                                         | 44/69 [08:59<05:02, 12.12s/it]
+
truthfulqa_gu:  65%|█████████████████████████████████████████████████████████████████████████▋                                       | 45/69 [09:11<04:44, 11.86s/it]
+
truthfulqa_gu:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 46/69 [09:22<04:28, 11.68s/it]
+
truthfulqa_gu:  68%|████████████████████████████████████████████████████████████████████████████▉                                    | 47/69 [09:35<04:26, 12.10s/it]
+
truthfulqa_gu:  70%|██████████████████████████████████████████████████████████████████████████████▌                                  | 48/69 [09:48<04:18, 12.32s/it]
+
truthfulqa_gu:  71%|████████████████████████████████████████████████████████████████████████████████▏                                | 49/69 [10:01<04:10, 12.55s/it]
+
truthfulqa_gu:  72%|█████████████████████████████████████████████████████████████████████████████████▉                               | 50/69 [10:14<04:00, 12.67s/it]
+
truthfulqa_gu:  74%|███████████████████████████████████████████████████████████████████████████████████▌                             | 51/69 [10:25<03:41, 12.29s/it]
+
truthfulqa_gu:  75%|█████████████████████████████████████████████████████████████████████████████████████▏                           | 52/69 [10:36<03:23, 11.94s/it]
+
truthfulqa_gu:  77%|██████████████████████████████████████████████████████████████████████████████████████▊                          | 53/69 [10:48<03:10, 11.88s/it]
+
truthfulqa_gu:  78%|████████████████████████████████████████████████████████████████████████████████████████▍                        | 54/69 [11:00<03:00, 12.05s/it]
+
truthfulqa_gu:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 55/69 [11:13<02:49, 12.08s/it]
+
truthfulqa_gu:  81%|███████████████████████████████████████████████████████████████████████████████████████████▋                     | 56/69 [11:24<02:34, 11.89s/it]
+
truthfulqa_gu:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                   | 57/69 [11:36<02:22, 11.89s/it]
+
truthfulqa_gu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 58/69 [11:48<02:12, 12.02s/it]
+
truthfulqa_gu:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▌                | 59/69 [12:00<01:59, 11.93s/it]
+
truthfulqa_gu:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▎              | 60/69 [12:12<01:46, 11.87s/it]
+
truthfulqa_gu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▉             | 61/69 [12:24<01:35, 11.92s/it]
+
truthfulqa_gu:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 62/69 [12:36<01:23, 11.95s/it]
+
truthfulqa_gu:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 63/69 [12:48<01:12, 12.15s/it]
+
truthfulqa_gu:  93%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 64/69 [13:00<01:00, 12.09s/it]
+
truthfulqa_gu:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 65/69 [13:12<00:48, 12.02s/it]
+
truthfulqa_gu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 66/69 [13:25<00:36, 12.22s/it]
+
truthfulqa_gu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 67/69 [13:37<00:24, 12.18s/it]
+
truthfulqa_gu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 68/69 [13:48<00:11, 11.74s/it]
+
truthfulqa_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 69/69 [13:53<00:00,  9.68s/it]
truthfulqa_gu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 69/69 [13:53<00:00, 12.07s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_gu_mc1 0.2503419972640219
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_gu_mc2 0.42675831010799425
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:01:48,381 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:01:48,381 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:48,507 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:01:48,507 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:48,633 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:01:48,634 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:48,760 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:01:48,760 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:01:48,761 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:01:48,888 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:01:48,888 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_gu_mc1'}
+2024-06-01 07:01:48,952 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:01:48,952 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1281, 'value': 0.2503419972640219}
+2024-06-01 07:01:49,017 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:01:49,650 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:01:49,650 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:49,774 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:01:49,774 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:49,898 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:01:49,898 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:01:50,023 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:01:50,148 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:01:50,149 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_gu_mc2'}
+2024-06-01 07:01:50,212 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:01:50,213 INFO sqlalchemy.engine.Engine [generated in 0.00109s] {'checkpoint_id': 14266, 'metric_id': 1282, 'value': 0.42675831010799425}
+2024-06-01 07:01:50,275 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  82%|█████████████████████████████████████████████████████████████████████████████████████████▋                   | 102/124 [72:14:19<5:16:14, 862.49s/it]['truthfulqa_hi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:01:50,934 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:01:50,934 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:51,064 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:01:51,064 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:51,194 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:01:51,194 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:01:51,324 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:01:51,325 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:01:51,325 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hi'}
+2024-06-01 07:01:51,456 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_hi task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 773 examples [00:00, 9752.05 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_hi:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_hi:   1%|█▌                                                                                                                | 1/74 [00:11<13:25, 11.03s/it]
+
truthfulqa_hi:   3%|███                                                                                                               | 2/74 [00:21<13:11, 10.99s/it]
+
truthfulqa_hi:   4%|████▌                                                                                                             | 3/74 [00:32<12:34, 10.63s/it]
+
truthfulqa_hi:   5%|██████▏                                                                                                           | 4/74 [00:42<12:11, 10.45s/it]
+
truthfulqa_hi:   7%|███████▋                                                                                                          | 5/74 [00:53<12:18, 10.70s/it]
+
truthfulqa_hi:   8%|█████████▏                                                                                                        | 6/74 [01:04<12:13, 10.78s/it]
+
truthfulqa_hi:   9%|██████████▊                                                                                                       | 7/74 [01:15<12:08, 10.87s/it]
+
truthfulqa_hi:  11%|████████████▎                                                                                                     | 8/74 [01:27<12:15, 11.14s/it]
+
truthfulqa_hi:  12%|█████████████▊                                                                                                    | 9/74 [01:38<12:06, 11.17s/it]
+
truthfulqa_hi:  14%|███████████████▎                                                                                                 | 10/74 [01:49<11:42, 10.98s/it]
+
truthfulqa_hi:  15%|████████████████▊                                                                                                | 11/74 [02:00<11:32, 10.99s/it]
+
truthfulqa_hi:  16%|██████████████████▎                                                                                              | 12/74 [02:11<11:21, 11.00s/it]
+
truthfulqa_hi:  18%|███████████████████▊                                                                                             | 13/74 [02:21<11:04, 10.89s/it]
+
truthfulqa_hi:  19%|█████████████████████▍                                                                                           | 14/74 [02:32<10:59, 10.98s/it]
+
truthfulqa_hi:  20%|██████████████████████▉                                                                                          | 15/74 [02:44<10:51, 11.04s/it]
+
truthfulqa_hi:  22%|████████████████████████▍                                                                                        | 16/74 [02:55<10:45, 11.13s/it]
+
truthfulqa_hi:  23%|█████████████████████████▉                                                                                       | 17/74 [03:06<10:33, 11.11s/it]
+
truthfulqa_hi:  24%|███████████████████████████▍                                                                                     | 18/74 [03:17<10:20, 11.08s/it]
+
truthfulqa_hi:  26%|█████████████████████████████                                                                                    | 19/74 [03:28<10:07, 11.04s/it]
+
truthfulqa_hi:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:39<09:58, 11.09s/it]
+
truthfulqa_hi:  28%|████████████████████████████████                                                                                 | 21/74 [03:49<09:34, 10.84s/it]
+
truthfulqa_hi:  30%|█████████████████████████████████▌                                                                               | 22/74 [04:00<09:24, 10.85s/it]
+
truthfulqa_hi:  31%|███████████████████████████████████                                                                              | 23/74 [04:12<09:23, 11.05s/it]
+
truthfulqa_hi:  32%|████████████████████████████████████▋                                                                            | 24/74 [04:23<09:19, 11.20s/it]
+
truthfulqa_hi:  34%|██████████████████████████████████████▏                                                                          | 25/74 [04:34<09:00, 11.04s/it]
+
truthfulqa_hi:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:44<08:40, 10.84s/it]
+
truthfulqa_hi:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:56<08:39, 11.05s/it]
+
truthfulqa_hi:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [05:07<08:35, 11.21s/it]
+
truthfulqa_hi:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [05:18<08:20, 11.12s/it]
+
truthfulqa_hi:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [05:30<08:09, 11.12s/it]
+
truthfulqa_hi:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [05:41<08:04, 11.27s/it]
+
truthfulqa_hi:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:52<07:45, 11.08s/it]
+
truthfulqa_hi:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [06:04<07:44, 11.33s/it]
+
truthfulqa_hi:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [06:15<07:36, 11.40s/it]
+
truthfulqa_hi:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [06:27<07:27, 11.48s/it]
+
truthfulqa_hi:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [06:38<07:09, 11.31s/it]
+
truthfulqa_hi:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [06:49<06:54, 11.19s/it]
+
truthfulqa_hi:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [07:00<06:41, 11.15s/it]
+
truthfulqa_hi:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [07:11<06:26, 11.05s/it]
+
truthfulqa_hi:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [07:22<06:15, 11.05s/it]
+
truthfulqa_hi:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [07:33<06:04, 11.03s/it]
+
truthfulqa_hi:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [07:43<05:45, 10.81s/it]
+
truthfulqa_hi:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [07:54<05:35, 10.84s/it]
+
truthfulqa_hi:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [08:04<05:19, 10.66s/it]
+
truthfulqa_hi:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [08:15<05:08, 10.63s/it]
+
truthfulqa_hi:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [08:25<04:52, 10.44s/it]
+
truthfulqa_hi:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [08:35<04:44, 10.53s/it]
+
truthfulqa_hi:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [08:47<04:41, 10.82s/it]
+
truthfulqa_hi:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [08:57<04:28, 10.73s/it]
+
truthfulqa_hi:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [09:08<04:13, 10.55s/it]
+
truthfulqa_hi:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [09:18<04:01, 10.50s/it]
+
truthfulqa_hi:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [09:28<03:47, 10.36s/it]
+
truthfulqa_hi:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [09:38<03:36, 10.29s/it]
+
truthfulqa_hi:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [09:49<03:27, 10.40s/it]
+
truthfulqa_hi:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [10:00<03:20, 10.56s/it]
+
truthfulqa_hi:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [10:10<03:08, 10.46s/it]
+
truthfulqa_hi:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [10:20<02:54, 10.29s/it]
+
truthfulqa_hi:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [10:30<02:45, 10.34s/it]
+
truthfulqa_hi:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [10:41<02:37, 10.49s/it]
+
truthfulqa_hi:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [10:52<02:29, 10.67s/it]
+
truthfulqa_hi:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [11:04<02:22, 10.98s/it]
+
truthfulqa_hi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [11:14<02:08, 10.74s/it]
+
truthfulqa_hi:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [11:26<02:02, 11.12s/it]
+
truthfulqa_hi:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [11:38<01:53, 11.34s/it]
+
truthfulqa_hi:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [11:48<01:38, 11.00s/it]
+
truthfulqa_hi:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [11:59<01:27, 10.89s/it]
+
truthfulqa_hi:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [12:09<01:15, 10.80s/it]
+
truthfulqa_hi:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [12:20<01:04, 10.69s/it]
+
truthfulqa_hi:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [12:31<00:54, 10.83s/it]
+
truthfulqa_hi:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [12:42<00:43, 10.89s/it]
+
truthfulqa_hi:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [12:53<00:32, 10.91s/it]
+
truthfulqa_hi:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [13:03<00:21, 10.77s/it]
+
truthfulqa_hi:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [13:14<00:10, 10.70s/it]
+
truthfulqa_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:21<00:00,  9.49s/it]
truthfulqa_hi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:21<00:00, 10.83s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hi_mc1 0.2833117723156533
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hi_mc2 0.4887242900469505
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:15:13,422 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:15:13,422 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:13,550 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:15:13,550 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:13,678 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:15:13,678 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:13,806 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:15:13,807 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:15:13,807 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:15:13,936 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:15:13,936 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hi_mc1'}
+2024-06-01 07:15:14,001 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:15:14,001 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1283, 'value': 0.2833117723156533}
+2024-06-01 07:15:14,067 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:15:14,691 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:15:14,691 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:14,813 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:15:14,813 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:14,935 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:15:14,935 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:15,057 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:15:15,058 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:15:15,058 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:15:15,181 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:15:15,181 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hi_mc2'}
+2024-06-01 07:15:15,243 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:15:15,244 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1284, 'value': 0.4887242900469505}
+2024-06-01 07:15:15,305 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  83%|██████████████████████████████████████████████████████████████████████████████████████████▌                  | 103/124 [72:27:44<4:55:50, 845.25s/it]['truthfulqa_hr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:15:15,929 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:15:15,929 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:16,051 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:15:16,052 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:16,174 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:15:16,174 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:15:16,297 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hr'}
+2024-06-01 07:15:16,421 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_hr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 769 examples [00:00, 10311.44 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_hr:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_hr:   1%|█▌                                                                                                                | 1/74 [00:09<11:45,  9.67s/it]
+
truthfulqa_hr:   3%|███                                                                                                               | 2/74 [00:18<10:48,  9.01s/it]
+
truthfulqa_hr:   4%|████▌                                                                                                             | 3/74 [00:27<10:42,  9.05s/it]
+
truthfulqa_hr:   5%|██████▏                                                                                                           | 4/74 [00:36<10:34,  9.06s/it]
+
truthfulqa_hr:   7%|███████▋                                                                                                          | 5/74 [00:44<10:08,  8.82s/it]
+
truthfulqa_hr:   8%|█████████▏                                                                                                        | 6/74 [00:53<09:53,  8.73s/it]
+
truthfulqa_hr:   9%|██████████▊                                                                                                       | 7/74 [01:02<10:01,  8.98s/it]
+
truthfulqa_hr:  11%|████████████▎                                                                                                     | 8/74 [01:12<10:03,  9.14s/it]
+
truthfulqa_hr:  12%|█████████████▊                                                                                                    | 9/74 [01:21<09:52,  9.11s/it]
+
truthfulqa_hr:  14%|███████████████▎                                                                                                 | 10/74 [01:30<09:44,  9.14s/it]
+
truthfulqa_hr:  15%|████████████████▊                                                                                                | 11/74 [01:39<09:39,  9.19s/it]
+
truthfulqa_hr:  16%|██████████████████▎                                                                                              | 12/74 [01:48<09:17,  8.99s/it]
+
truthfulqa_hr:  18%|███████████████████▊                                                                                             | 13/74 [01:57<09:06,  8.95s/it]
+
truthfulqa_hr:  19%|█████████████████████▍                                                                                           | 14/74 [02:06<09:02,  9.04s/it]
+
truthfulqa_hr:  20%|██████████████████████▉                                                                                          | 15/74 [02:16<09:01,  9.17s/it]
+
truthfulqa_hr:  22%|████████████████████████▍                                                                                        | 16/74 [02:25<08:55,  9.24s/it]
+
truthfulqa_hr:  23%|█████████████████████████▉                                                                                       | 17/74 [02:34<08:43,  9.19s/it]
+
truthfulqa_hr:  24%|███████████████████████████▍                                                                                     | 18/74 [02:43<08:29,  9.10s/it]
+
truthfulqa_hr:  26%|█████████████████████████████                                                                                    | 19/74 [02:52<08:22,  9.13s/it]
+
truthfulqa_hr:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:01<08:14,  9.15s/it]
+
truthfulqa_hr:  28%|████████████████████████████████                                                                                 | 21/74 [03:11<08:12,  9.30s/it]
+
truthfulqa_hr:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:20<08:00,  9.24s/it]
+
truthfulqa_hr:  31%|███████████████████████████████████                                                                              | 23/74 [03:29<07:46,  9.14s/it]
+
truthfulqa_hr:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:38<07:37,  9.16s/it]
+
truthfulqa_hr:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:48<07:32,  9.23s/it]
+
truthfulqa_hr:  35%|███████████████████████████████████████▋                                                                         | 26/74 [03:57<07:21,  9.20s/it]
+
truthfulqa_hr:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:06<07:12,  9.19s/it]
+
truthfulqa_hr:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:16<07:10,  9.37s/it]
+
truthfulqa_hr:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:25<06:57,  9.27s/it]
+
truthfulqa_hr:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:34<06:45,  9.22s/it]
+
truthfulqa_hr:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:43<06:33,  9.15s/it]
+
truthfulqa_hr:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [04:52<06:26,  9.19s/it]
+
truthfulqa_hr:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:02<06:22,  9.32s/it]
+
truthfulqa_hr:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:10<06:02,  9.06s/it]
+
truthfulqa_hr:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:19<05:55,  9.11s/it]
+
truthfulqa_hr:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:28<05:38,  8.90s/it]
+
truthfulqa_hr:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:37<05:33,  9.00s/it]
+
truthfulqa_hr:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:46<05:29,  9.16s/it]
+
truthfulqa_hr:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [05:56<05:25,  9.31s/it]
+
truthfulqa_hr:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:05<05:14,  9.25s/it]
+
truthfulqa_hr:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:14<05:02,  9.17s/it]
+
truthfulqa_hr:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:23<04:51,  9.10s/it]
+
truthfulqa_hr:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:32<04:42,  9.11s/it]
+
truthfulqa_hr:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:42<04:38,  9.28s/it]
+
truthfulqa_hr:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [06:51<04:22,  9.06s/it]
+
truthfulqa_hr:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:00<04:15,  9.13s/it]
+
truthfulqa_hr:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:09<04:07,  9.17s/it]
+
truthfulqa_hr:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:18<03:58,  9.18s/it]
+
truthfulqa_hr:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:28<03:56,  9.47s/it]
+
truthfulqa_hr:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:38<03:44,  9.36s/it]
+
truthfulqa_hr:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [07:47<03:34,  9.31s/it]
+
truthfulqa_hr:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [07:56<03:22,  9.20s/it]
+
truthfulqa_hr:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:04<03:09,  9.00s/it]
+
truthfulqa_hr:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:13<02:57,  8.85s/it]
+
truthfulqa_hr:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:22<02:49,  8.94s/it]
+
truthfulqa_hr:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:31<02:41,  8.97s/it]
+
truthfulqa_hr:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:40<02:33,  9.02s/it]
+
truthfulqa_hr:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [08:49<02:24,  9.04s/it]
+
truthfulqa_hr:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [08:58<02:15,  9.04s/it]
+
truthfulqa_hr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:07<02:07,  9.10s/it]
+
truthfulqa_hr:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:17<02:00,  9.26s/it]
+
truthfulqa_hr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:27<01:52,  9.37s/it]
+
truthfulqa_hr:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:35<01:40,  9.17s/it]
+
truthfulqa_hr:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [09:45<01:33,  9.31s/it]
+
truthfulqa_hr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [09:55<01:24,  9.41s/it]
+
truthfulqa_hr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:04<01:15,  9.42s/it]
+
truthfulqa_hr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:13<01:05,  9.39s/it]
+
truthfulqa_hr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:22<00:55,  9.27s/it]
+
truthfulqa_hr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:31<00:45,  9.05s/it]
+
truthfulqa_hr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [10:40<00:36,  9.11s/it]
+
truthfulqa_hr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [10:49<00:27,  9.07s/it]
+
truthfulqa_hr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [10:58<00:18,  9.09s/it]
+
truthfulqa_hr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:08<00:09,  9.24s/it]
+
truthfulqa_hr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:13<00:00,  7.87s/it]
truthfulqa_hr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:13<00:00,  9.10s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hr_mc1 0.2977893368010403
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hr_mc2 0.48324030119440603
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:26:30,675 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:26:30,675 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:30,797 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:26:30,797 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:30,919 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:26:30,919 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:31,041 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:26:31,042 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:26:31,042 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:26:31,165 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:26:31,165 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hr_mc1'}
+2024-06-01 07:26:31,227 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:26:31,228 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1285, 'value': 0.2977893368010403}
+2024-06-01 07:26:31,290 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:26:31,937 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:26:31,937 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:32,064 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:26:32,065 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:32,192 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:26:32,192 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:32,320 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:26:32,321 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:26:32,321 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:26:32,449 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:26:32,450 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hr_mc2'}
+2024-06-01 07:26:32,514 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:26:32,514 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1286, 'value': 0.48324030119440603}
+2024-06-01 07:26:32,579 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  84%|███████████████████████████████████████████████████████████████████████████████████████████▍                 | 104/124 [72:39:01<4:24:57, 794.86s/it]['truthfulqa_hu']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:26:33,203 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:26:33,203 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:33,325 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:26:33,325 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:33,447 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:26:33,447 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:26:33,569 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:26:33,570 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:26:33,570 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hu'}
+2024-06-01 07:26:33,693 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_hu task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 771 examples [00:00, 10192.67 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_hu:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_hu:   1%|█▌                                                                                                                | 1/74 [00:09<11:09,  9.17s/it]
+
truthfulqa_hu:   3%|███                                                                                                               | 2/74 [00:18<11:13,  9.36s/it]
+
truthfulqa_hu:   4%|████▌                                                                                                             | 3/74 [00:28<11:14,  9.50s/it]
+
truthfulqa_hu:   5%|██████▏                                                                                                           | 4/74 [00:37<11:09,  9.56s/it]
+
truthfulqa_hu:   7%|███████▋                                                                                                          | 5/74 [00:48<11:13,  9.76s/it]
+
truthfulqa_hu:   8%|█████████▏                                                                                                        | 6/74 [00:57<10:51,  9.58s/it]
+
truthfulqa_hu:   9%|██████████▊                                                                                                       | 7/74 [01:06<10:28,  9.38s/it]
+
truthfulqa_hu:  11%|████████████▎                                                                                                     | 8/74 [01:15<10:15,  9.32s/it]
+
truthfulqa_hu:  12%|█████████████▊                                                                                                    | 9/74 [01:24<10:01,  9.26s/it]
+
truthfulqa_hu:  14%|███████████████▎                                                                                                 | 10/74 [01:33<09:51,  9.25s/it]
+
truthfulqa_hu:  15%|████████████████▊                                                                                                | 11/74 [01:43<09:55,  9.46s/it]
+
truthfulqa_hu:  16%|██████████████████▎                                                                                              | 12/74 [01:52<09:39,  9.35s/it]
+
truthfulqa_hu:  18%|███████████████████▊                                                                                             | 13/74 [02:02<09:32,  9.38s/it]
+
truthfulqa_hu:  19%|█████████████████████▍                                                                                           | 14/74 [02:12<09:33,  9.56s/it]
+
truthfulqa_hu:  20%|██████████████████████▉                                                                                          | 15/74 [02:21<09:18,  9.47s/it]
+
truthfulqa_hu:  22%|████████████████████████▍                                                                                        | 16/74 [02:30<09:00,  9.31s/it]
+
truthfulqa_hu:  23%|█████████████████████████▉                                                                                       | 17/74 [02:39<08:46,  9.23s/it]
+
truthfulqa_hu:  24%|███████████████████████████▍                                                                                     | 18/74 [02:48<08:36,  9.23s/it]
+
truthfulqa_hu:  26%|█████████████████████████████                                                                                    | 19/74 [02:58<08:34,  9.36s/it]
+
truthfulqa_hu:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:07<08:23,  9.33s/it]
+
truthfulqa_hu:  28%|████████████████████████████████                                                                                 | 21/74 [03:17<08:17,  9.39s/it]
+
truthfulqa_hu:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:27<08:14,  9.51s/it]
+
truthfulqa_hu:  31%|███████████████████████████████████                                                                              | 23/74 [03:36<07:59,  9.40s/it]
+
truthfulqa_hu:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:44<07:37,  9.15s/it]
+
truthfulqa_hu:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:54<07:31,  9.21s/it]
+
truthfulqa_hu:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:03<07:20,  9.19s/it]
+
truthfulqa_hu:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:13<07:21,  9.39s/it]
+
truthfulqa_hu:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:22<07:13,  9.43s/it]
+
truthfulqa_hu:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:31<07:02,  9.38s/it]
+
truthfulqa_hu:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:41<06:57,  9.49s/it]
+
truthfulqa_hu:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:50<06:41,  9.34s/it]
+
truthfulqa_hu:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:00<06:35,  9.43s/it]
+
truthfulqa_hu:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:09<06:23,  9.35s/it]
+
truthfulqa_hu:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:18<06:07,  9.18s/it]
+
truthfulqa_hu:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:27<05:59,  9.23s/it]
+
truthfulqa_hu:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:36<05:52,  9.27s/it]
+
truthfulqa_hu:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:45<05:37,  9.12s/it]
+
truthfulqa_hu:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:54<05:29,  9.16s/it]
+
truthfulqa_hu:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [06:03<05:15,  9.00s/it]
+
truthfulqa_hu:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:13<05:15,  9.27s/it]
+
truthfulqa_hu:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:22<05:03,  9.21s/it]
+
truthfulqa_hu:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:31<04:54,  9.20s/it]
+
truthfulqa_hu:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:40<04:45,  9.20s/it]
+
truthfulqa_hu:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:50<04:39,  9.32s/it]
+
truthfulqa_hu:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [07:00<04:36,  9.53s/it]
+
truthfulqa_hu:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:09<04:24,  9.46s/it]
+
truthfulqa_hu:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:19<04:13,  9.40s/it]
+
truthfulqa_hu:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:28<04:04,  9.40s/it]
+
truthfulqa_hu:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:38<03:57,  9.48s/it]
+
truthfulqa_hu:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:47<03:45,  9.40s/it]
+
truthfulqa_hu:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [07:56<03:35,  9.37s/it]
+
truthfulqa_hu:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [08:05<03:23,  9.27s/it]
+
truthfulqa_hu:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:14<03:12,  9.18s/it]
+
truthfulqa_hu:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:23<03:03,  9.16s/it]
+
truthfulqa_hu:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:32<02:53,  9.11s/it]
+
truthfulqa_hu:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:41<02:43,  9.06s/it]
+
truthfulqa_hu:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:51<02:38,  9.35s/it]
+
truthfulqa_hu:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [09:00<02:29,  9.31s/it]
+
truthfulqa_hu:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [09:10<02:19,  9.27s/it]
+
truthfulqa_hu:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:20<02:13,  9.51s/it]
+
truthfulqa_hu:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:29<02:04,  9.57s/it]
+
truthfulqa_hu:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:39<01:53,  9.46s/it]
+
truthfulqa_hu:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:48<01:43,  9.42s/it]
+
truthfulqa_hu:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [09:58<01:34,  9.47s/it]
+
truthfulqa_hu:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [10:07<01:25,  9.48s/it]
+
truthfulqa_hu:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:16<01:15,  9.40s/it]
+
truthfulqa_hu:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:25<01:05,  9.34s/it]
+
truthfulqa_hu:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:35<00:55,  9.26s/it]
+
truthfulqa_hu:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:44<00:46,  9.28s/it]
+
truthfulqa_hu:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [10:53<00:36,  9.19s/it]
+
truthfulqa_hu:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [11:02<00:27,  9.20s/it]
+
truthfulqa_hu:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [11:12<00:18,  9.48s/it]
+
truthfulqa_hu:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:21<00:09,  9.35s/it]
+
truthfulqa_hu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00,  7.77s/it]
truthfulqa_hu: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00,  9.27s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hu_mc1 0.2723735408560311
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hu_mc2 0.4671372826612932
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:38:00,334 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:38:00,334 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:00,453 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:38:00,453 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:00,572 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:38:00,572 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:00,691 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:38:00,691 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:38:00,692 INFO sqlalchemy.engine.Engine [generated in 0.00037s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:38:00,812 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:38:00,812 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_hu_mc1'}
+2024-06-01 07:38:00,872 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:38:00,872 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1287, 'value': 0.2723735408560311}
+2024-06-01 07:38:00,933 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:38:01,558 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:38:01,558 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:01,681 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:38:01,681 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:01,805 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:38:01,805 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:01,928 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:38:01,929 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:38:01,929 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:38:02,053 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:38:02,053 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_hu_mc2'}
+2024-06-01 07:38:02,116 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:38:02,116 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1288, 'value': 0.4671372826612932}
+2024-06-01 07:38:02,178 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  85%|████████████████████████████████████████████████████████████████████████████████████████████▎                | 105/124 [72:50:31<4:01:42, 763.28s/it]['truthfulqa_hy']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:38:02,836 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:38:02,836 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:02,966 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:38:02,966 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:03,096 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:38:03,097 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:38:03,227 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_hy'}
+2024-06-01 07:38:03,358 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_hy task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 553 examples [00:00, 10483.86 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_hy:   0%|                                                                                                                          | 0/49 [00:00<?, ?it/s]
+
truthfulqa_hy:   2%|██▎                                                                                                               | 1/49 [00:11<08:55, 11.16s/it]
+
truthfulqa_hy:   4%|████▋                                                                                                             | 2/49 [00:22<08:48, 11.24s/it]
+
truthfulqa_hy:   6%|██████▉                                                                                                           | 3/49 [00:35<09:16, 12.11s/it]
+
truthfulqa_hy:   8%|█████████▎                                                                                                        | 4/49 [00:46<08:38, 11.52s/it]
+
truthfulqa_hy:  10%|███████████▋                                                                                                      | 5/49 [00:59<08:49, 12.03s/it]
+
truthfulqa_hy:  12%|█████████████▉                                                                                                    | 6/49 [01:11<08:40, 12.11s/it]
+
truthfulqa_hy:  14%|████████████████▎                                                                                                 | 7/49 [01:22<08:18, 11.86s/it]
+
truthfulqa_hy:  16%|██████████████████▌                                                                                               | 8/49 [01:34<08:08, 11.90s/it]
+
truthfulqa_hy:  18%|████████████████████▉                                                                                             | 9/49 [01:47<08:10, 12.26s/it]
+
truthfulqa_hy:  20%|███████████████████████                                                                                          | 10/49 [01:58<07:45, 11.93s/it]
+
truthfulqa_hy:  22%|█████████████████████████▎                                                                                       | 11/49 [02:11<07:37, 12.04s/it]
+
truthfulqa_hy:  24%|███████████████████████████▋                                                                                     | 12/49 [02:23<07:23, 11.99s/it]
+
truthfulqa_hy:  27%|█████████████████████████████▉                                                                                   | 13/49 [02:35<07:17, 12.16s/it]
+
truthfulqa_hy:  29%|████████████████████████████████▎                                                                                | 14/49 [02:46<06:53, 11.82s/it]
+
truthfulqa_hy:  31%|██████████████████████████████████▌                                                                              | 15/49 [02:58<06:44, 11.91s/it]
+
truthfulqa_hy:  33%|████████████████████████████████████▉                                                                            | 16/49 [03:11<06:44, 12.26s/it]
+
truthfulqa_hy:  35%|███████████████████████████████████████▏                                                                         | 17/49 [03:24<06:32, 12.26s/it]
+
truthfulqa_hy:  37%|█████████████████████████████████████████▌                                                                       | 18/49 [03:35<06:11, 11.98s/it]
+
truthfulqa_hy:  39%|███████████████████████████████████████████▊                                                                     | 19/49 [03:48<06:04, 12.15s/it]
+
truthfulqa_hy:  41%|██████████████████████████████████████████████                                                                   | 20/49 [04:00<05:52, 12.16s/it]
+
truthfulqa_hy:  43%|████████████████████████████████████████████████▍                                                                | 21/49 [04:14<05:59, 12.84s/it]
+
truthfulqa_hy:  45%|██████████████████████████████████████████████████▋                                                              | 22/49 [04:27<05:45, 12.81s/it]
+
truthfulqa_hy:  47%|█████████████████████████████████████████████████████                                                            | 23/49 [04:40<05:33, 12.82s/it]
+
truthfulqa_hy:  49%|███████████████████████████████████████████████████████▎                                                         | 24/49 [04:51<05:08, 12.32s/it]
+
truthfulqa_hy:  51%|█████████████████████████████████████████████████████████▋                                                       | 25/49 [05:03<04:51, 12.14s/it]
+
truthfulqa_hy:  53%|███████████████████████████████████████████████████████████▉                                                     | 26/49 [05:16<04:45, 12.42s/it]
+
truthfulqa_hy:  55%|██████████████████████████████████████████████████████████████▎                                                  | 27/49 [05:28<04:35, 12.52s/it]
+
truthfulqa_hy:  57%|████████████████████████████████████████████████████████████████▌                                                | 28/49 [05:40<04:16, 12.20s/it]
+
truthfulqa_hy:  59%|██████████████████████████████████████████████████████████████████▉                                              | 29/49 [05:52<04:06, 12.31s/it]
+
truthfulqa_hy:  61%|█████████████████████████████████████████████████████████████████████▏                                           | 30/49 [06:04<03:49, 12.10s/it]
+
truthfulqa_hy:  63%|███████████████████████████████████████████████████████████████████████▍                                         | 31/49 [06:15<03:31, 11.73s/it]
+
truthfulqa_hy:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 32/49 [06:26<03:17, 11.60s/it]
+
truthfulqa_hy:  67%|████████████████████████████████████████████████████████████████████████████                                     | 33/49 [06:38<03:04, 11.51s/it]
+
truthfulqa_hy:  69%|██████████████████████████████████████████████████████████████████████████████▍                                  | 34/49 [06:50<02:57, 11.81s/it]
+
truthfulqa_hy:  71%|████████████████████████████████████████████████████████████████████████████████▋                                | 35/49 [07:02<02:47, 11.99s/it]
+
truthfulqa_hy:  73%|███████████████████████████████████████████████████████████████████████████████████                              | 36/49 [07:14<02:35, 11.94s/it]
+
truthfulqa_hy:  76%|█████████████████████████████████████████████████████████████████████████████████████▎                           | 37/49 [07:26<02:23, 11.98s/it]
+
truthfulqa_hy:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 38/49 [07:39<02:12, 12.05s/it]
+
truthfulqa_hy:  80%|█████████████████████████████████████████████████████████████████████████████████████████▉                       | 39/49 [07:50<01:58, 11.87s/it]
+
truthfulqa_hy:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 40/49 [08:01<01:45, 11.70s/it]
+
truthfulqa_hy:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                  | 41/49 [08:13<01:34, 11.83s/it]
+
truthfulqa_hy:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊                | 42/49 [08:26<01:24, 12.07s/it]
+
truthfulqa_hy:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▏             | 43/49 [08:39<01:14, 12.38s/it]
+
truthfulqa_hy:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 44/49 [08:51<01:01, 12.30s/it]
+
truthfulqa_hy:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 45/49 [09:04<00:49, 12.28s/it]
+
truthfulqa_hy:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████       | 46/49 [09:16<00:36, 12.29s/it]
+
truthfulqa_hy:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 47/49 [09:26<00:23, 11.74s/it]
+
truthfulqa_hy:  98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 48/49 [09:39<00:12, 12.05s/it]
+
truthfulqa_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 49/49 [09:50<00:00, 11.58s/it]
truthfulqa_hy: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 49/49 [09:50<00:00, 12.04s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hy_mc1 0.26763110307414106
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_hy_mc2 0.45843600536100165
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:47:54,187 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:47:54,188 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:54,309 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:47:54,309 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:54,432 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:47:54,432 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:54,553 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:47:54,554 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:47:54,554 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:47:54,677 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:47:54,677 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_hy_mc1'}
+2024-06-01 07:47:54,739 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:47:54,739 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1289, 'value': 0.26763110307414106}
+2024-06-01 07:47:54,801 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:47:55,451 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:47:55,451 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:55,580 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:47:55,580 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:55,708 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:47:55,708 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:55,837 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:47:55,838 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:47:55,838 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:47:55,967 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:47:55,967 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_hy_mc2'}
+2024-06-01 07:47:56,033 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:47:56,033 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1290, 'value': 0.45843600536100165}
+2024-06-01 07:47:56,099 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  85%|█████████████████████████████████████████████████████████████████████████████████████████████▏               | 106/124 [73:00:25<3:33:44, 712.47s/it]['truthfulqa_id']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:47:56,725 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:47:56,725 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:56,848 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:47:56,848 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:56,971 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:47:56,971 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:47:57,093 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:47:57,094 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:47:57,094 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_id'}
+2024-06-01 07:47:57,217 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_id task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 778 examples [00:00, 11229.42 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_id:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_id:   1%|█▌                                                                                                                | 1/74 [00:09<11:51,  9.75s/it]
+
truthfulqa_id:   3%|███                                                                                                               | 2/74 [00:19<11:52,  9.89s/it]
+
truthfulqa_id:   4%|████▌                                                                                                             | 3/74 [00:28<11:20,  9.58s/it]
+
truthfulqa_id:   5%|██████▏                                                                                                           | 4/74 [00:38<11:18,  9.70s/it]
+
truthfulqa_id:   7%|███████▋                                                                                                          | 5/74 [00:48<11:02,  9.60s/it]
+
truthfulqa_id:   8%|█████████▏                                                                                                        | 6/74 [00:57<10:45,  9.50s/it]
+
truthfulqa_id:   9%|██████████▊                                                                                                       | 7/74 [01:07<10:47,  9.67s/it]
+
truthfulqa_id:  11%|████████████▎                                                                                                     | 8/74 [01:17<10:35,  9.62s/it]
+
truthfulqa_id:  12%|█████████████▊                                                                                                    | 9/74 [01:27<10:31,  9.72s/it]
+
truthfulqa_id:  14%|███████████████▎                                                                                                 | 10/74 [01:36<10:11,  9.56s/it]
+
truthfulqa_id:  15%|████████████████▊                                                                                                | 11/74 [01:45<09:55,  9.45s/it]
+
truthfulqa_id:  16%|██████████████████▎                                                                                              | 12/74 [01:55<09:49,  9.52s/it]
+
truthfulqa_id:  18%|███████████████████▊                                                                                             | 13/74 [02:04<09:47,  9.63s/it]
+
truthfulqa_id:  19%|█████████████████████▍                                                                                           | 14/74 [02:14<09:42,  9.70s/it]
+
truthfulqa_id:  20%|██████████████████████▉                                                                                          | 15/74 [02:23<09:21,  9.52s/it]
+
truthfulqa_id:  22%|████████████████████████▍                                                                                        | 16/74 [02:33<09:21,  9.67s/it]
+
truthfulqa_id:  23%|█████████████████████████▉                                                                                       | 17/74 [02:43<09:16,  9.76s/it]
+
truthfulqa_id:  24%|███████████████████████████▍                                                                                     | 18/74 [02:53<09:00,  9.65s/it]
+
truthfulqa_id:  26%|█████████████████████████████                                                                                    | 19/74 [03:02<08:46,  9.57s/it]
+
truthfulqa_id:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:11<08:31,  9.46s/it]
+
truthfulqa_id:  28%|████████████████████████████████                                                                                 | 21/74 [03:21<08:16,  9.37s/it]
+
truthfulqa_id:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:30<08:07,  9.37s/it]
+
truthfulqa_id:  31%|███████████████████████████████████                                                                              | 23/74 [03:39<07:54,  9.30s/it]
+
truthfulqa_id:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:48<07:46,  9.33s/it]
+
truthfulqa_id:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:58<07:35,  9.29s/it]
+
truthfulqa_id:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:07<07:32,  9.43s/it]
+
truthfulqa_id:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:17<07:26,  9.51s/it]
+
truthfulqa_id:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:26<07:11,  9.39s/it]
+
truthfulqa_id:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:35<07:00,  9.34s/it]
+
truthfulqa_id:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:45<06:51,  9.35s/it]
+
truthfulqa_id:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:55<06:47,  9.48s/it]
+
truthfulqa_id:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:04<06:34,  9.39s/it]
+
truthfulqa_id:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:13<06:21,  9.30s/it]
+
truthfulqa_id:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:22<06:15,  9.38s/it]
+
truthfulqa_id:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:32<06:03,  9.31s/it]
+
truthfulqa_id:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:41<05:53,  9.31s/it]
+
truthfulqa_id:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:51<05:51,  9.49s/it]
+
truthfulqa_id:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [06:00<05:38,  9.39s/it]
+
truthfulqa_id:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [06:10<05:32,  9.51s/it]
+
truthfulqa_id:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:19<05:16,  9.30s/it]
+
truthfulqa_id:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:28<05:10,  9.40s/it]
+
truthfulqa_id:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:38<04:59,  9.37s/it]
+
truthfulqa_id:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:47<04:49,  9.35s/it]
+
truthfulqa_id:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:56<04:37,  9.27s/it]
+
truthfulqa_id:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [07:06<04:34,  9.46s/it]
+
truthfulqa_id:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:15<04:25,  9.47s/it]
+
truthfulqa_id:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:24<04:13,  9.38s/it]
+
truthfulqa_id:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:34<04:03,  9.35s/it]
+
truthfulqa_id:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:43<03:53,  9.34s/it]
+
truthfulqa_id:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:52<03:42,  9.26s/it]
+
truthfulqa_id:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [08:02<03:37,  9.46s/it]
+
truthfulqa_id:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [08:11<03:26,  9.37s/it]
+
truthfulqa_id:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:20<03:16,  9.34s/it]
+
truthfulqa_id:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:30<03:05,  9.28s/it]
+
truthfulqa_id:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:39<02:55,  9.25s/it]
+
truthfulqa_id:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:49<02:49,  9.41s/it]
+
truthfulqa_id:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:59<02:42,  9.57s/it]
+
truthfulqa_id:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [09:08<02:33,  9.62s/it]
+
truthfulqa_id:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [09:18<02:23,  9.57s/it]
+
truthfulqa_id:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:28<02:14,  9.64s/it]
+
truthfulqa_id:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:37<02:04,  9.55s/it]
+
truthfulqa_id:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:46<01:53,  9.44s/it]
+
truthfulqa_id:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:55<01:42,  9.36s/it]
+
truthfulqa_id:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [10:04<01:32,  9.28s/it]
+
truthfulqa_id:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [10:14<01:23,  9.25s/it]
+
truthfulqa_id:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:23<01:13,  9.21s/it]
+
truthfulqa_id:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:33<01:06,  9.44s/it]
+
truthfulqa_id:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:43<00:57,  9.61s/it]
+
truthfulqa_id:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:53<00:48,  9.69s/it]
+
truthfulqa_id:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [11:02<00:38,  9.68s/it]
+
truthfulqa_id:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [11:11<00:28,  9.50s/it]
+
truthfulqa_id:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [11:21<00:18,  9.45s/it]
+
truthfulqa_id:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:30<00:09,  9.55s/it]
+
truthfulqa_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:39<00:00,  9.18s/it]
truthfulqa_id: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:39<00:00,  9.45s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_id_mc1 0.2969151670951157
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_id_mc2 0.46962989701782987
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:59:37,226 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:59:37,227 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:37,357 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:59:37,357 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:37,487 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:59:37,487 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:37,617 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:59:37,617 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:59:37,618 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:59:37,749 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:59:37,749 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_id_mc1'}
+2024-06-01 07:59:37,815 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:59:37,815 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1291, 'value': 0.2969151670951157}
+2024-06-01 07:59:37,881 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:59:38,515 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:59:38,515 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:38,639 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:59:38,639 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:38,763 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:59:38,763 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:38,887 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:59:38,888 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 07:59:38,888 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 07:59:39,013 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 07:59:39,013 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_id_mc2'}
+2024-06-01 07:59:39,076 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 07:59:39,076 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1292, 'value': 0.46962989701782987}
+2024-06-01 07:59:39,138 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  86%|██████████████████████████████████████████████████████████████████████████████████████████████               | 107/124 [73:12:08<3:21:03, 709.64s/it]['truthfulqa_it']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 07:59:39,778 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 07:59:39,778 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:39,904 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 07:59:39,904 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:40,030 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 07:59:40,030 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 07:59:40,156 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 07:59:40,157 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 07:59:40,157 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_it'}
+2024-06-01 07:59:40,284 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_it task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 783 examples [00:00, 10768.84 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_it:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_it:   1%|█▌                                                                                                                | 1/75 [00:09<11:24,  9.25s/it]
+
truthfulqa_it:   3%|███                                                                                                               | 2/75 [00:19<11:50,  9.74s/it]
+
truthfulqa_it:   4%|████▌                                                                                                             | 3/75 [00:28<11:23,  9.50s/it]
+
truthfulqa_it:   5%|██████                                                                                                            | 4/75 [00:37<11:00,  9.30s/it]
+
truthfulqa_it:   7%|███████▌                                                                                                          | 5/75 [00:46<10:49,  9.28s/it]
+
truthfulqa_it:   8%|█████████                                                                                                         | 6/75 [00:56<10:42,  9.31s/it]
+
truthfulqa_it:   9%|██████████▋                                                                                                       | 7/75 [01:05<10:28,  9.25s/it]
+
truthfulqa_it:  11%|████████████▏                                                                                                     | 8/75 [01:14<10:27,  9.37s/it]
+
truthfulqa_it:  12%|█████████████▋                                                                                                    | 9/75 [01:23<10:01,  9.12s/it]
+
truthfulqa_it:  13%|███████████████                                                                                                  | 10/75 [01:32<09:51,  9.10s/it]
+
truthfulqa_it:  15%|████████████████▌                                                                                                | 11/75 [01:42<09:53,  9.28s/it]
+
truthfulqa_it:  16%|██████████████████                                                                                               | 12/75 [01:51<09:41,  9.23s/it]
+
truthfulqa_it:  17%|███████████████████▌                                                                                             | 13/75 [02:00<09:28,  9.17s/it]
+
truthfulqa_it:  19%|█████████████████████                                                                                            | 14/75 [02:09<09:24,  9.25s/it]
+
truthfulqa_it:  20%|██████████████████████▌                                                                                          | 15/75 [02:18<09:11,  9.19s/it]
+
truthfulqa_it:  21%|████████████████████████                                                                                         | 16/75 [02:28<09:07,  9.28s/it]
+
truthfulqa_it:  23%|█████████████████████████▌                                                                                       | 17/75 [02:37<08:51,  9.17s/it]
+
truthfulqa_it:  24%|███████████████████████████                                                                                      | 18/75 [02:47<08:53,  9.36s/it]
+
truthfulqa_it:  25%|████████████████████████████▋                                                                                    | 19/75 [02:56<08:43,  9.35s/it]
+
truthfulqa_it:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:05<08:33,  9.33s/it]
+
truthfulqa_it:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:14<08:21,  9.29s/it]
+
truthfulqa_it:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:23<08:08,  9.22s/it]
+
truthfulqa_it:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:32<07:52,  9.10s/it]
+
truthfulqa_it:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:41<07:44,  9.11s/it]
+
truthfulqa_it:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:51<07:41,  9.22s/it]
+
truthfulqa_it:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:00<07:30,  9.18s/it]
+
truthfulqa_it:  36%|████████████████████████████████████████▋                                                                        | 27/75 [04:09<07:18,  9.14s/it]
+
truthfulqa_it:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:19<07:25,  9.47s/it]
+
truthfulqa_it:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:28<07:10,  9.35s/it]
+
truthfulqa_it:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:38<07:00,  9.34s/it]
+
truthfulqa_it:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:47<06:49,  9.31s/it]
+
truthfulqa_it:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [04:56<06:40,  9.30s/it]
+
truthfulqa_it:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [05:06<06:32,  9.35s/it]
+
truthfulqa_it:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [05:15<06:26,  9.43s/it]
+
truthfulqa_it:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:24<06:09,  9.23s/it]
+
truthfulqa_it:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:33<05:58,  9.19s/it]
+
truthfulqa_it:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:43<05:55,  9.35s/it]
+
truthfulqa_it:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [05:52<05:49,  9.46s/it]
+
truthfulqa_it:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [06:02<05:40,  9.45s/it]
+
truthfulqa_it:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [06:11<05:26,  9.33s/it]
+
truthfulqa_it:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [06:20<05:15,  9.27s/it]
+
truthfulqa_it:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:30<05:07,  9.31s/it]
+
truthfulqa_it:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:39<04:56,  9.26s/it]
+
truthfulqa_it:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [06:48<04:45,  9.23s/it]
+
truthfulqa_it:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [06:58<04:41,  9.38s/it]
+
truthfulqa_it:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [07:06<04:24,  9.12s/it]
+
truthfulqa_it:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [07:15<04:17,  9.21s/it]
+
truthfulqa_it:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [07:25<04:13,  9.40s/it]
+
truthfulqa_it:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:34<04:02,  9.31s/it]
+
truthfulqa_it:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [07:43<03:50,  9.22s/it]
+
truthfulqa_it:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [07:53<03:44,  9.34s/it]
+
truthfulqa_it:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [08:02<03:32,  9.25s/it]
+
truthfulqa_it:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [08:11<03:22,  9.21s/it]
+
truthfulqa_it:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [08:20<03:13,  9.21s/it]
+
truthfulqa_it:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [08:29<03:02,  9.13s/it]
+
truthfulqa_it:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:39<02:54,  9.16s/it]
+
truthfulqa_it:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [08:49<02:49,  9.40s/it]
+
truthfulqa_it:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [08:58<02:40,  9.46s/it]
+
truthfulqa_it:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [09:07<02:30,  9.38s/it]
+
truthfulqa_it:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [09:17<02:20,  9.39s/it]
+
truthfulqa_it:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [09:26<02:12,  9.45s/it]
+
truthfulqa_it:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [09:36<02:02,  9.44s/it]
+
truthfulqa_it:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [09:45<01:54,  9.51s/it]
+
truthfulqa_it:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [09:55<01:43,  9.42s/it]
+
truthfulqa_it:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [10:04<01:33,  9.34s/it]
+
truthfulqa_it:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [10:14<01:25,  9.55s/it]
+
truthfulqa_it:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [10:23<01:15,  9.41s/it]
+
truthfulqa_it:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [10:32<01:04,  9.28s/it]
+
truthfulqa_it:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [10:41<00:55,  9.30s/it]
+
truthfulqa_it:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [10:51<00:47,  9.43s/it]
+
truthfulqa_it:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [11:00<00:37,  9.28s/it]
+
truthfulqa_it:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [11:09<00:27,  9.25s/it]
+
truthfulqa_it:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [11:18<00:18,  9.17s/it]
+
truthfulqa_it:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:27<00:09,  9.18s/it]
+
truthfulqa_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:34<00:00,  8.44s/it]
truthfulqa_it: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:34<00:00,  9.26s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_it_mc1 0.3205619412515964
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_it_mc2 0.4714059469693384
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:11:15,623 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:11:15,623 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:15,752 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:11:15,752 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:15,881 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:11:15,881 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:16,011 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:11:16,011 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:11:16,012 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:11:16,142 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:11:16,142 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'truthfulqa_it_mc1'}
+2024-06-01 08:11:16,208 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:11:16,208 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1293, 'value': 0.3205619412515964}
+2024-06-01 08:11:16,274 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:11:16,926 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:11:16,926 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:17,053 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:11:17,053 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:17,180 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:11:17,180 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:17,307 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:11:17,308 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:11:17,308 INFO sqlalchemy.engine.Engine [generated in 0.00010s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:11:17,436 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:11:17,436 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_it_mc2'}
+2024-06-01 08:11:17,501 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:11:17,501 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'checkpoint_id': 14266, 'metric_id': 1294, 'value': 0.4714059469693384}
+2024-06-01 08:11:17,565 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  87%|██████████████████████████████████████████████████████████████████████████████████████████████▉              | 108/124 [73:23:46<3:08:20, 706.28s/it]['truthfulqa_kn']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:11:18,214 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:11:18,214 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:18,342 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:11:18,342 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:18,470 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:11:18,470 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:11:18,598 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:11:18,599 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 08:11:18,599 INFO sqlalchemy.engine.Engine [generated in 0.00019s] {'name_1_1': 'truthfulqa_kn'}
+2024-06-01 08:11:18,727 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_kn task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 678 examples [00:00, 9882.94 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_kn:   0%|                                                                                                                          | 0/63 [00:00<?, ?it/s]
+
truthfulqa_kn:   2%|█▊                                                                                                                | 1/63 [00:12<12:31, 12.12s/it]
+
truthfulqa_kn:   3%|███▌                                                                                                              | 2/63 [00:24<12:18, 12.11s/it]
+
truthfulqa_kn:   5%|█████▍                                                                                                            | 3/63 [00:35<11:43, 11.73s/it]
+
truthfulqa_kn:   6%|███████▏                                                                                                          | 4/63 [00:47<11:42, 11.90s/it]
+
truthfulqa_kn:   8%|█████████                                                                                                         | 5/63 [00:59<11:20, 11.74s/it]
+
truthfulqa_kn:  10%|██████████▊                                                                                                       | 6/63 [01:10<11:10, 11.76s/it]
+
truthfulqa_kn:  11%|████████████▋                                                                                                     | 7/63 [01:23<11:10, 11.96s/it]
+
truthfulqa_kn:  13%|██████████████▍                                                                                                   | 8/63 [01:36<11:23, 12.43s/it]
+
truthfulqa_kn:  14%|████████████████▎                                                                                                 | 9/63 [01:48<11:05, 12.33s/it]
+
truthfulqa_kn:  16%|█████████████████▉                                                                                               | 10/63 [02:00<10:48, 12.23s/it]
+
truthfulqa_kn:  17%|███████████████████▋                                                                                             | 11/63 [02:14<11:00, 12.70s/it]
+
truthfulqa_kn:  19%|█████████████████████▌                                                                                           | 12/63 [02:27<10:53, 12.81s/it]
+
truthfulqa_kn:  21%|███████████████████████▎                                                                                         | 13/63 [02:39<10:19, 12.38s/it]
+
truthfulqa_kn:  22%|█████████████████████████                                                                                        | 14/63 [02:51<10:14, 12.54s/it]
+
truthfulqa_kn:  24%|██████████████████████████▉                                                                                      | 15/63 [03:03<09:48, 12.26s/it]
+
truthfulqa_kn:  25%|████████████████████████████▋                                                                                    | 16/63 [03:16<09:41, 12.38s/it]
+
truthfulqa_kn:  27%|██████████████████████████████▍                                                                                  | 17/63 [03:28<09:30, 12.40s/it]
+
truthfulqa_kn:  29%|████████████████████████████████▎                                                                                | 18/63 [03:40<09:09, 12.20s/it]
+
truthfulqa_kn:  30%|██████████████████████████████████                                                                               | 19/63 [03:52<09:00, 12.29s/it]
+
truthfulqa_kn:  32%|███████████████████████████████████▊                                                                             | 20/63 [04:04<08:33, 11.94s/it]
+
truthfulqa_kn:  33%|█████████████████████████████████████▋                                                                           | 21/63 [04:16<08:24, 12.01s/it]
+
truthfulqa_kn:  35%|███████████████████████████████████████▍                                                                         | 22/63 [04:28<08:09, 11.94s/it]
+
truthfulqa_kn:  37%|█████████████████████████████████████████▎                                                                       | 23/63 [04:40<08:06, 12.16s/it]
+
truthfulqa_kn:  38%|███████████████████████████████████████████                                                                      | 24/63 [04:52<07:54, 12.16s/it]
+
truthfulqa_kn:  40%|████████████████████████████████████████████▊                                                                    | 25/63 [05:06<07:56, 12.53s/it]
+
truthfulqa_kn:  41%|██████████████████████████████████████████████▋                                                                  | 26/63 [05:17<07:33, 12.25s/it]
+
truthfulqa_kn:  43%|████████████████████████████████████████████████▍                                                                | 27/63 [05:29<07:17, 12.16s/it]
+
truthfulqa_kn:  44%|██████████████████████████████████████████████████▏                                                              | 28/63 [05:42<07:12, 12.35s/it]
+
truthfulqa_kn:  46%|████████████████████████████████████████████████████                                                             | 29/63 [05:53<06:47, 12.00s/it]
+
truthfulqa_kn:  48%|█████████████████████████████████████████████████████▊                                                           | 30/63 [06:06<06:39, 12.10s/it]
+
truthfulqa_kn:  49%|███████████████████████████████████████████████████████▌                                                         | 31/63 [06:17<06:21, 11.91s/it]
+
truthfulqa_kn:  51%|█████████████████████████████████████████████████████████▍                                                       | 32/63 [06:29<06:05, 11.79s/it]
+
truthfulqa_kn:  52%|███████████████████████████████████████████████████████████▏                                                     | 33/63 [06:41<06:02, 12.08s/it]
+
truthfulqa_kn:  54%|████████████████████████████████████████████████████████████▉                                                    | 34/63 [06:54<05:57, 12.33s/it]
+
truthfulqa_kn:  56%|██████████████████████████████████████████████████████████████▊                                                  | 35/63 [07:07<05:46, 12.39s/it]
+
truthfulqa_kn:  57%|████████████████████████████████████████████████████████████████▌                                                | 36/63 [07:19<05:36, 12.48s/it]
+
truthfulqa_kn:  59%|██████████████████████████████████████████████████████████████████▎                                              | 37/63 [07:31<05:17, 12.23s/it]
+
truthfulqa_kn:  60%|████████████████████████████████████████████████████████████████████▏                                            | 38/63 [07:42<04:58, 11.94s/it]
+
truthfulqa_kn:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 39/63 [07:53<04:38, 11.62s/it]
+
truthfulqa_kn:  63%|███████████████████████████████████████████████████████████████████████▋                                         | 40/63 [08:04<04:23, 11.47s/it]
+
truthfulqa_kn:  65%|█████████████████████████████████████████████████████████████████████████▌                                       | 41/63 [08:18<04:23, 12.00s/it]
+
truthfulqa_kn:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 42/63 [08:32<04:28, 12.78s/it]
+
truthfulqa_kn:  68%|█████████████████████████████████████████████████████████████████████████████▏                                   | 43/63 [08:44<04:12, 12.63s/it]
+
truthfulqa_kn:  70%|██████████████████████████████████████████████████████████████████████████████▉                                  | 44/63 [08:57<04:01, 12.70s/it]
+
truthfulqa_kn:  71%|████████████████████████████████████████████████████████████████████████████████▋                                | 45/63 [09:10<03:48, 12.68s/it]
+
truthfulqa_kn:  73%|██████████████████████████████████████████████████████████████████████████████████▌                              | 46/63 [09:22<03:33, 12.54s/it]
+
truthfulqa_kn:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 47/63 [09:34<03:19, 12.45s/it]
+
truthfulqa_kn:  76%|██████████████████████████████████████████████████████████████████████████████████████                           | 48/63 [09:46<03:03, 12.26s/it]
+
truthfulqa_kn:  78%|███████████████████████████████████████████████████████████████████████████████████████▉                         | 49/63 [09:59<02:51, 12.27s/it]
+
truthfulqa_kn:  79%|█████████████████████████████████████████████████████████████████████████████████████████▋                       | 50/63 [10:11<02:40, 12.37s/it]
+
truthfulqa_kn:  81%|███████████████████████████████████████████████████████████████████████████████████████████▍                     | 51/63 [10:23<02:25, 12.11s/it]
+
truthfulqa_kn:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                   | 52/63 [10:36<02:15, 12.35s/it]
+
truthfulqa_kn:  84%|███████████████████████████████████████████████████████████████████████████████████████████████                  | 53/63 [10:48<02:03, 12.37s/it]
+
truthfulqa_kn:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▊                | 54/63 [10:59<01:47, 11.96s/it]
+
truthfulqa_kn:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▋              | 55/63 [11:11<01:35, 11.97s/it]
+
truthfulqa_kn:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 56/63 [11:22<01:22, 11.81s/it]
+
truthfulqa_kn:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 57/63 [11:36<01:13, 12.27s/it]
+
truthfulqa_kn:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 58/63 [11:50<01:04, 12.89s/it]
+
truthfulqa_kn:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 59/63 [12:03<00:51, 12.80s/it]
+
truthfulqa_kn:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 60/63 [12:14<00:37, 12.38s/it]
+
truthfulqa_kn:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 61/63 [12:27<00:24, 12.45s/it]
+
truthfulqa_kn:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 62/63 [12:40<00:12, 12.73s/it]
+
truthfulqa_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [12:44<00:00, 10.21s/it]
truthfulqa_kn: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [12:44<00:00, 12.14s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_kn_mc1 0.25958702064896755
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_kn_mc2 0.47291671210025105
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:24:05,020 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:24:05,020 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:05,149 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:24:05,149 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:05,277 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:24:05,277 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:05,405 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:24:05,406 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:24:05,406 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:24:05,535 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:24:05,535 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_kn_mc1'}
+2024-06-01 08:24:05,600 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:24:05,600 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1295, 'value': 0.25958702064896755}
+2024-06-01 08:24:05,665 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:24:06,318 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:24:06,318 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:06,447 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:24:06,447 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:06,575 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:24:06,575 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:24:06,704 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:24:06,834 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:24:06,834 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_kn_mc2'}
+2024-06-01 08:24:06,899 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:24:06,900 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1296, 'value': 0.47291671210025105}
+2024-06-01 08:24:06,965 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  88%|███████████████████████████████████████████████████████████████████████████████████████████████▊             | 109/124 [73:36:36<3:01:18, 725.22s/it]['truthfulqa_ml']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:24:07,592 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:24:07,592 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:07,714 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:24:07,714 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:07,837 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:24:07,837 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:24:07,959 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:24:07,960 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 08:24:07,960 INFO sqlalchemy.engine.Engine [generated in 0.00020s] {'name_1_1': 'truthfulqa_ml'}
+2024-06-01 08:24:08,084 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ml task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 694 examples [00:00, 9512.73 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ml:   0%|                                                                                                                          | 0/65 [00:00<?, ?it/s]
+
truthfulqa_ml:   2%|█▊                                                                                                                | 1/65 [00:12<13:30, 12.67s/it]
+
truthfulqa_ml:   3%|███▌                                                                                                              | 2/65 [00:25<13:23, 12.76s/it]
+
truthfulqa_ml:   5%|█████▎                                                                                                            | 3/65 [00:37<12:57, 12.53s/it]
+
truthfulqa_ml:   6%|███████                                                                                                           | 4/65 [00:49<12:35, 12.39s/it]
+
truthfulqa_ml:   8%|████████▊                                                                                                         | 5/65 [01:03<12:50, 12.84s/it]
+
truthfulqa_ml:   9%|██████████▌                                                                                                       | 6/65 [01:16<12:38, 12.86s/it]
+
truthfulqa_ml:  11%|████████████▎                                                                                                     | 7/65 [01:28<12:02, 12.45s/it]
+
truthfulqa_ml:  12%|██████████████                                                                                                    | 8/65 [01:42<12:22, 13.02s/it]
+
truthfulqa_ml:  14%|███████████████▊                                                                                                  | 9/65 [01:55<12:07, 12.99s/it]
+
truthfulqa_ml:  15%|█████████████████▍                                                                                               | 10/65 [02:07<11:44, 12.81s/it]
+
truthfulqa_ml:  17%|███████████████████                                                                                              | 11/65 [02:21<11:41, 13.00s/it]
+
truthfulqa_ml:  18%|████████████████████▊                                                                                            | 12/65 [02:33<11:24, 12.91s/it]
+
truthfulqa_ml:  20%|██████████████████████▌                                                                                          | 13/65 [02:45<10:55, 12.61s/it]
+
truthfulqa_ml:  22%|████████████████████████▎                                                                                        | 14/65 [03:00<11:12, 13.18s/it]
+
truthfulqa_ml:  23%|██████████████████████████                                                                                       | 15/65 [03:12<10:49, 12.98s/it]
+
truthfulqa_ml:  25%|███████████████████████████▊                                                                                     | 16/65 [03:25<10:29, 12.84s/it]
+
truthfulqa_ml:  26%|█████████████████████████████▌                                                                                   | 17/65 [03:37<10:14, 12.81s/it]
+
truthfulqa_ml:  28%|███████████████████████████████▎                                                                                 | 18/65 [03:51<10:15, 13.10s/it]
+
truthfulqa_ml:  29%|█████████████████████████████████                                                                                | 19/65 [04:04<09:59, 13.04s/it]
+
truthfulqa_ml:  31%|██████████████████████████████████▊                                                                              | 20/65 [04:19<10:15, 13.68s/it]
+
truthfulqa_ml:  32%|████████████████████████████████████▌                                                                            | 21/65 [04:31<09:35, 13.09s/it]
+
truthfulqa_ml:  34%|██████████████████████████████████████▏                                                                          | 22/65 [04:44<09:19, 13.00s/it]
+
truthfulqa_ml:  35%|███████████████████████████████████████▉                                                                         | 23/65 [04:56<08:56, 12.77s/it]
+
truthfulqa_ml:  37%|█████████████████████████████████████████▋                                                                       | 24/65 [05:08<08:39, 12.66s/it]
+
truthfulqa_ml:  38%|███████████████████████████████████████████▍                                                                     | 25/65 [05:21<08:20, 12.52s/it]
+
truthfulqa_ml:  40%|█████████████████████████████████████████████▏                                                                   | 26/65 [05:34<08:18, 12.77s/it]
+
truthfulqa_ml:  42%|██████████████████████████████████████████████▉                                                                  | 27/65 [05:46<07:57, 12.57s/it]
+
truthfulqa_ml:  43%|████████████████████████████████████████████████▋                                                                | 28/65 [05:58<07:40, 12.45s/it]
+
truthfulqa_ml:  45%|██████████████████████████████████████████████████▍                                                              | 29/65 [06:12<07:39, 12.78s/it]
+
truthfulqa_ml:  46%|████████████████████████████████████████████████████▏                                                            | 30/65 [06:25<07:28, 12.81s/it]
+
truthfulqa_ml:  48%|█████████████████████████████████████████████████████▉                                                           | 31/65 [06:37<07:14, 12.77s/it]
+
truthfulqa_ml:  49%|███████████████████████████████████████████████████████▋                                                         | 32/65 [06:52<07:19, 13.32s/it]
+
truthfulqa_ml:  51%|█████████████████████████████████████████████████████████▎                                                       | 33/65 [07:05<07:02, 13.21s/it]
+
truthfulqa_ml:  52%|███████████████████████████████████████████████████████████                                                      | 34/65 [07:18<06:44, 13.05s/it]
+
truthfulqa_ml:  54%|████████████████████████████████████████████████████████████▊                                                    | 35/65 [07:31<06:34, 13.15s/it]
+
truthfulqa_ml:  55%|██████████████████████████████████████████████████████████████▌                                                  | 36/65 [07:44<06:20, 13.11s/it]
+
truthfulqa_ml:  57%|████████████████████████████████████████████████████████████████▎                                                | 37/65 [07:57<06:04, 13.03s/it]
+
truthfulqa_ml:  58%|██████████████████████████████████████████████████████████████████                                               | 38/65 [08:10<05:54, 13.13s/it]
+
truthfulqa_ml:  60%|███████████████████████████████████████████████████████████████████▊                                             | 39/65 [08:23<05:38, 13.02s/it]
+
truthfulqa_ml:  62%|█████████████████████████████████████████████████████████████████████▌                                           | 40/65 [08:35<05:20, 12.81s/it]
+
truthfulqa_ml:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 41/65 [08:47<04:56, 12.37s/it]
+
truthfulqa_ml:  65%|█████████████████████████████████████████████████████████████████████████                                        | 42/65 [09:00<04:50, 12.65s/it]
+
truthfulqa_ml:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 43/65 [09:13<04:40, 12.76s/it]
+
truthfulqa_ml:  68%|████████████████████████████████████████████████████████████████████████████▍                                    | 44/65 [09:26<04:28, 12.78s/it]
+
truthfulqa_ml:  69%|██████████████████████████████████████████████████████████████████████████████▏                                  | 45/65 [09:37<04:07, 12.35s/it]
+
truthfulqa_ml:  71%|███████████████████████████████████████████████████████████████████████████████▉                                 | 46/65 [09:50<03:56, 12.43s/it]
+
truthfulqa_ml:  72%|█████████████████████████████████████████████████████████████████████████████████▋                               | 47/65 [10:02<03:43, 12.40s/it]
+
truthfulqa_ml:  74%|███████████████████████████████████████████████████████████████████████████████████▍                             | 48/65 [10:16<03:36, 12.73s/it]
+
truthfulqa_ml:  75%|█████████████████████████████████████████████████████████████████████████████████████▏                           | 49/65 [10:28<03:22, 12.67s/it]
+
truthfulqa_ml:  77%|██████████████████████████████████████████████████████████████████████████████████████▉                          | 50/65 [10:41<03:12, 12.83s/it]
+
truthfulqa_ml:  78%|████████████████████████████████████████████████████████████████████████████████████████▋                        | 51/65 [10:53<02:55, 12.51s/it]
+
truthfulqa_ml:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 52/65 [11:06<02:45, 12.77s/it]
+
truthfulqa_ml:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 53/65 [11:19<02:31, 12.60s/it]
+
truthfulqa_ml:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▉                   | 54/65 [11:31<02:16, 12.38s/it]
+
truthfulqa_ml:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                 | 55/65 [11:43<02:05, 12.51s/it]
+
truthfulqa_ml:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▎               | 56/65 [11:55<01:51, 12.38s/it]
+
truthfulqa_ml:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████              | 57/65 [12:07<01:37, 12.22s/it]
+
truthfulqa_ml:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 58/65 [12:21<01:28, 12.65s/it]
+
truthfulqa_ml:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 59/65 [12:32<01:13, 12.32s/it]
+
truthfulqa_ml:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 60/65 [12:45<01:02, 12.51s/it]
+
truthfulqa_ml:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████       | 61/65 [12:59<00:51, 12.77s/it]
+
truthfulqa_ml:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 62/65 [13:11<00:37, 12.58s/it]
+
truthfulqa_ml:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 63/65 [13:23<00:24, 12.40s/it]
+
truthfulqa_ml:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 64/65 [13:35<00:12, 12.45s/it]
+
truthfulqa_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [13:42<00:00, 10.72s/it]
truthfulqa_ml: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [13:42<00:00, 12.66s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ml_mc1 0.28097982708933716
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ml_mc2 0.4966031095563523
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:37:51,592 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:37:51,592 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:51,721 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:37:51,721 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:51,850 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:37:51,850 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:51,979 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:37:51,980 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:37:51,980 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:37:52,110 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:37:52,110 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ml_mc1'}
+2024-06-01 08:37:52,176 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:37:52,176 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1297, 'value': 0.28097982708933716}
+2024-06-01 08:37:52,241 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:37:52,887 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:37:52,887 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:53,014 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:37:53,014 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:53,141 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:37:53,141 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:37:53,268 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:37:53,396 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:37:53,396 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1': 'truthfulqa_ml_mc2'}
+2024-06-01 08:37:53,461 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:37:53,461 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1298, 'value': 0.4966031095563523}
+2024-06-01 08:37:53,525 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  89%|████████████████████████████████████████████████████████████████████████████████████████████████▋            | 110/124 [73:50:22<2:56:18, 755.62s/it]['truthfulqa_mr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:37:54,181 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:37:54,181 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:54,306 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:37:54,306 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:54,432 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:37:54,432 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:37:54,558 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:37:54,559 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 08:37:54,559 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_mr'}
+2024-06-01 08:37:54,685 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_mr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 764 examples [00:00, 9482.24 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_mr:   0%|                                                                                                                          | 0/73 [00:00<?, ?it/s]
+
truthfulqa_mr:   1%|█▌                                                                                                                | 1/73 [00:11<13:51, 11.55s/it]
+
truthfulqa_mr:   3%|███                                                                                                               | 2/73 [00:22<13:02, 11.02s/it]
+
truthfulqa_mr:   4%|████▋                                                                                                             | 3/73 [00:33<12:46, 10.94s/it]
+
truthfulqa_mr:   5%|██████▏                                                                                                           | 4/73 [00:44<12:40, 11.02s/it]
+
truthfulqa_mr:   7%|███████▊                                                                                                          | 5/73 [00:55<12:33, 11.08s/it]
+
truthfulqa_mr:   8%|█████████▎                                                                                                        | 6/73 [01:05<12:04, 10.81s/it]
+
truthfulqa_mr:  10%|██████████▉                                                                                                       | 7/73 [01:17<12:19, 11.20s/it]
+
truthfulqa_mr:  11%|████████████▍                                                                                                     | 8/73 [01:28<12:05, 11.17s/it]
+
truthfulqa_mr:  12%|██████████████                                                                                                    | 9/73 [01:40<12:04, 11.32s/it]
+
truthfulqa_mr:  14%|███████████████▍                                                                                                 | 10/73 [01:51<11:55, 11.36s/it]
+
truthfulqa_mr:  15%|█████████████████                                                                                                | 11/73 [02:03<11:41, 11.31s/it]
+
truthfulqa_mr:  16%|██████████████████▌                                                                                              | 12/73 [02:14<11:29, 11.30s/it]
+
truthfulqa_mr:  18%|████████████████████                                                                                             | 13/73 [02:25<11:24, 11.40s/it]
+
truthfulqa_mr:  19%|█████████████████████▋                                                                                           | 14/73 [02:37<11:12, 11.40s/it]
+
truthfulqa_mr:  21%|███████████████████████▏                                                                                         | 15/73 [02:48<11:04, 11.46s/it]
+
truthfulqa_mr:  22%|████████████████████████▊                                                                                        | 16/73 [03:00<10:52, 11.44s/it]
+
truthfulqa_mr:  23%|██████████████████████████▎                                                                                      | 17/73 [03:12<10:54, 11.69s/it]
+
truthfulqa_mr:  25%|███████████████████████████▊                                                                                     | 18/73 [03:23<10:31, 11.48s/it]
+
truthfulqa_mr:  26%|█████████████████████████████▍                                                                                   | 19/73 [03:35<10:32, 11.72s/it]
+
truthfulqa_mr:  27%|██████████████████████████████▉                                                                                  | 20/73 [03:47<10:16, 11.64s/it]
+
truthfulqa_mr:  29%|████████████████████████████████▌                                                                                | 21/73 [03:58<10:00, 11.55s/it]
+
truthfulqa_mr:  30%|██████████████████████████████████                                                                               | 22/73 [04:09<09:44, 11.46s/it]
+
truthfulqa_mr:  32%|███████████████████████████████████▌                                                                             | 23/73 [04:21<09:29, 11.40s/it]
+
truthfulqa_mr:  33%|█████████████████████████████████████▏                                                                           | 24/73 [04:32<09:15, 11.34s/it]
+
truthfulqa_mr:  34%|██████████████████████████████████████▋                                                                          | 25/73 [04:43<09:01, 11.28s/it]
+
truthfulqa_mr:  36%|████████████████████████████████████████▏                                                                        | 26/73 [04:54<08:48, 11.24s/it]
+
truthfulqa_mr:  37%|█████████████████████████████████████████▊                                                                       | 27/73 [05:05<08:36, 11.22s/it]
+
truthfulqa_mr:  38%|███████████████████████████████████████████▎                                                                     | 28/73 [05:17<08:26, 11.27s/it]
+
truthfulqa_mr:  40%|████████████████████████████████████████████▉                                                                    | 29/73 [05:28<08:21, 11.39s/it]
+
truthfulqa_mr:  41%|██████████████████████████████████████████████▍                                                                  | 30/73 [05:40<08:13, 11.47s/it]
+
truthfulqa_mr:  42%|███████████████████████████████████████████████▉                                                                 | 31/73 [05:50<07:48, 11.15s/it]
+
truthfulqa_mr:  44%|█████████████████████████████████████████████████▌                                                               | 32/73 [06:02<07:43, 11.31s/it]
+
truthfulqa_mr:  45%|███████████████████████████████████████████████████                                                              | 33/73 [06:15<07:46, 11.67s/it]
+
truthfulqa_mr:  47%|████████████████████████████████████████████████████▋                                                            | 34/73 [06:26<07:25, 11.42s/it]
+
truthfulqa_mr:  48%|██████████████████████████████████████████████████████▏                                                          | 35/73 [06:37<07:11, 11.35s/it]
+
truthfulqa_mr:  49%|███████████████████████████████████████████████████████▋                                                         | 36/73 [06:48<07:03, 11.45s/it]
+
truthfulqa_mr:  51%|█████████████████████████████████████████████████████████▎                                                       | 37/73 [07:00<06:48, 11.35s/it]
+
truthfulqa_mr:  52%|██████████████████████████████████████████████████████████▊                                                      | 38/73 [07:10<06:27, 11.08s/it]
+
truthfulqa_mr:  53%|████████████████████████████████████████████████████████████▎                                                    | 39/73 [07:21<06:19, 11.16s/it]
+
truthfulqa_mr:  55%|█████████████████████████████████████████████████████████████▉                                                   | 40/73 [07:33<06:10, 11.23s/it]
+
truthfulqa_mr:  56%|███████████████████████████████████████████████████████████████▍                                                 | 41/73 [07:45<06:10, 11.57s/it]
+
truthfulqa_mr:  58%|█████████████████████████████████████████████████████████████████                                                | 42/73 [07:57<05:57, 11.53s/it]
+
truthfulqa_mr:  59%|██████████████████████████████████████████████████████████████████▌                                              | 43/73 [08:07<05:36, 11.23s/it]
+
truthfulqa_mr:  60%|████████████████████████████████████████████████████████████████████                                             | 44/73 [08:17<05:11, 10.73s/it]
+
truthfulqa_mr:  62%|█████████████████████████████████████████████████████████████████████▋                                           | 45/73 [08:28<05:05, 10.91s/it]
+
truthfulqa_mr:  63%|███████████████████████████████████████████████████████████████████████▏                                         | 46/73 [08:39<04:58, 11.05s/it]
+
truthfulqa_mr:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 47/73 [08:50<04:47, 11.06s/it]
+
truthfulqa_mr:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 48/73 [09:01<04:35, 11.02s/it]
+
truthfulqa_mr:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 49/73 [09:13<04:26, 11.12s/it]
+
truthfulqa_mr:  68%|█████████████████████████████████████████████████████████████████████████████▍                                   | 50/73 [09:24<04:16, 11.17s/it]
+
truthfulqa_mr:  70%|██████████████████████████████████████████████████████████████████████████████▉                                  | 51/73 [09:35<04:04, 11.10s/it]
+
truthfulqa_mr:  71%|████████████████████████████████████████████████████████████████████████████████▍                                | 52/73 [09:45<03:49, 10.95s/it]
+
truthfulqa_mr:  73%|██████████████████████████████████████████████████████████████████████████████████                               | 53/73 [09:56<03:36, 10.83s/it]
+
truthfulqa_mr:  74%|███████████████████████████████████████████████████████████████████████████████████▌                             | 54/73 [10:07<03:28, 10.96s/it]
+
truthfulqa_mr:  75%|█████████████████████████████████████████████████████████████████████████████████████▏                           | 55/73 [10:18<03:17, 10.98s/it]
+
truthfulqa_mr:  77%|██████████████████████████████████████████████████████████████████████████████████████▋                          | 56/73 [10:30<03:07, 11.05s/it]
+
truthfulqa_mr:  78%|████████████████████████████████████████████████████████████████████████████████████████▏                        | 57/73 [10:40<02:55, 10.95s/it]
+
truthfulqa_mr:  79%|█████████████████████████████████████████████████████████████████████████████████████████▊                       | 58/73 [10:52<02:46, 11.12s/it]
+
truthfulqa_mr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▎                     | 59/73 [11:04<02:40, 11.43s/it]
+
truthfulqa_mr:  82%|████████████████████████████████████████████████████████████████████████████████████████████▉                    | 60/73 [11:16<02:29, 11.49s/it]
+
truthfulqa_mr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                  | 61/73 [11:28<02:20, 11.71s/it]
+
truthfulqa_mr:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▉                 | 62/73 [11:39<02:06, 11.52s/it]
+
truthfulqa_mr:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▌               | 63/73 [11:50<01:53, 11.39s/it]
+
truthfulqa_mr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████              | 64/73 [12:00<01:39, 11.11s/it]
+
truthfulqa_mr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 65/73 [12:12<01:28, 11.11s/it]
+
truthfulqa_mr:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 66/73 [12:23<01:18, 11.25s/it]
+
truthfulqa_mr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 67/73 [12:35<01:08, 11.35s/it]
+
truthfulqa_mr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 68/73 [12:47<00:57, 11.49s/it]
+
truthfulqa_mr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 69/73 [12:58<00:46, 11.59s/it]
+
truthfulqa_mr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 70/73 [13:09<00:34, 11.36s/it]
+
truthfulqa_mr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 71/73 [13:20<00:22, 11.30s/it]
+
truthfulqa_mr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 72/73 [13:31<00:11, 11.22s/it]
+
truthfulqa_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 73/73 [13:36<00:00,  9.22s/it]
truthfulqa_mr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 73/73 [13:36<00:00, 11.18s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_mr_mc1 0.2761780104712042
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_mr_mc2 0.4941865424911148
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:51:31,937 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:51:31,937 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:32,068 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:51:32,068 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:32,199 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:51:32,199 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:32,330 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:51:32,331 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:51:32,331 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:51:32,462 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:51:32,462 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_mr_mc1'}
+2024-06-01 08:51:32,529 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:51:32,529 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1299, 'value': 0.2761780104712042}
+2024-06-01 08:51:32,595 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:51:33,240 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:51:33,240 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:33,367 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:51:33,367 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:33,493 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:51:33,493 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 08:51:33,620 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 08:51:33,748 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 08:51:33,748 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_mr_mc2'}
+2024-06-01 08:51:33,812 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 08:51:33,812 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1300, 'value': 0.4941865424911148}
+2024-06-01 08:51:33,876 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████▌           | 111/124 [74:04:03<2:47:55, 775.04s/it]['truthfulqa_ne']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 08:51:34,533 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 08:51:34,533 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:34,661 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 08:51:34,661 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:34,789 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 08:51:34,789 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 08:51:34,917 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 08:51:34,918 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 08:51:34,918 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ne'}
+2024-06-01 08:51:35,047 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ne task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 774 examples [00:00, 9768.93 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ne:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_ne:   1%|█▌                                                                                                                | 1/74 [00:10<12:35, 10.34s/it]
+
truthfulqa_ne:   3%|███                                                                                                               | 2/74 [00:21<12:48, 10.67s/it]
+
truthfulqa_ne:   4%|████▌                                                                                                             | 3/74 [00:31<12:29, 10.56s/it]
+
truthfulqa_ne:   5%|██████▏                                                                                                           | 4/74 [00:42<12:19, 10.56s/it]
+
truthfulqa_ne:   7%|███████▋                                                                                                          | 5/74 [00:52<12:09, 10.57s/it]
+
truthfulqa_ne:   8%|█████████▏                                                                                                        | 6/74 [01:03<11:51, 10.46s/it]
+
truthfulqa_ne:   9%|██████████▊                                                                                                       | 7/74 [01:13<11:35, 10.39s/it]
+
truthfulqa_ne:  11%|████████████▎                                                                                                     | 8/74 [01:24<11:34, 10.53s/it]
+
truthfulqa_ne:  12%|█████████████▊                                                                                                    | 9/74 [01:35<11:50, 10.93s/it]
+
truthfulqa_ne:  14%|███████████████▎                                                                                                 | 10/74 [01:45<11:16, 10.57s/it]
+
truthfulqa_ne:  15%|████████████████▊                                                                                                | 11/74 [01:55<10:52, 10.36s/it]
+
truthfulqa_ne:  16%|██████████████████▎                                                                                              | 12/74 [02:06<10:43, 10.39s/it]
+
truthfulqa_ne:  18%|███████████████████▊                                                                                             | 13/74 [02:16<10:43, 10.54s/it]
+
truthfulqa_ne:  19%|█████████████████████▍                                                                                           | 14/74 [02:28<10:49, 10.83s/it]
+
truthfulqa_ne:  20%|██████████████████████▉                                                                                          | 15/74 [02:38<10:24, 10.58s/it]
+
truthfulqa_ne:  22%|████████████████████████▍                                                                                        | 16/74 [02:49<10:19, 10.67s/it]
+
truthfulqa_ne:  23%|█████████████████████████▉                                                                                       | 17/74 [03:00<10:12, 10.75s/it]
+
truthfulqa_ne:  24%|███████████████████████████▍                                                                                     | 18/74 [03:10<09:53, 10.60s/it]
+
truthfulqa_ne:  26%|█████████████████████████████                                                                                    | 19/74 [03:21<09:56, 10.85s/it]
+
truthfulqa_ne:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:33<09:53, 11.00s/it]
+
truthfulqa_ne:  28%|████████████████████████████████                                                                                 | 21/74 [03:44<09:47, 11.08s/it]
+
truthfulqa_ne:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:55<09:33, 11.02s/it]
+
truthfulqa_ne:  31%|███████████████████████████████████                                                                              | 23/74 [04:04<08:59, 10.57s/it]
+
truthfulqa_ne:  32%|████████████████████████████████████▋                                                                            | 24/74 [04:15<08:47, 10.55s/it]
+
truthfulqa_ne:  34%|██████████████████████████████████████▏                                                                          | 25/74 [04:26<08:38, 10.59s/it]
+
truthfulqa_ne:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:37<08:33, 10.70s/it]
+
truthfulqa_ne:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:48<08:28, 10.82s/it]
+
truthfulqa_ne:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:59<08:26, 11.01s/it]
+
truthfulqa_ne:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [05:10<08:14, 10.99s/it]
+
truthfulqa_ne:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [05:22<08:17, 11.30s/it]
+
truthfulqa_ne:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [05:34<08:12, 11.45s/it]
+
truthfulqa_ne:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:45<07:55, 11.32s/it]
+
truthfulqa_ne:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:55<07:34, 11.09s/it]
+
truthfulqa_ne:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [06:06<07:20, 11.02s/it]
+
truthfulqa_ne:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [06:18<07:13, 11.13s/it]
+
truthfulqa_ne:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [06:28<06:50, 10.80s/it]
+
truthfulqa_ne:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [06:39<06:39, 10.79s/it]
+
truthfulqa_ne:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [06:50<06:36, 11.01s/it]
+
truthfulqa_ne:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [07:01<06:21, 10.89s/it]
+
truthfulqa_ne:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [07:12<06:10, 10.91s/it]
+
truthfulqa_ne:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [07:22<05:59, 10.89s/it]
+
truthfulqa_ne:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [07:33<05:44, 10.77s/it]
+
truthfulqa_ne:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [07:43<05:31, 10.69s/it]
+
truthfulqa_ne:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [07:54<05:20, 10.69s/it]
+
truthfulqa_ne:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [08:05<05:08, 10.63s/it]
+
truthfulqa_ne:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [08:16<05:00, 10.75s/it]
+
truthfulqa_ne:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [08:26<04:50, 10.77s/it]
+
truthfulqa_ne:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [08:37<04:39, 10.77s/it]
+
truthfulqa_ne:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [08:47<04:24, 10.59s/it]
+
truthfulqa_ne:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [08:58<04:16, 10.67s/it]
+
truthfulqa_ne:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [09:09<04:08, 10.80s/it]
+
truthfulqa_ne:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [09:21<04:01, 10.99s/it]
+
truthfulqa_ne:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [09:32<03:54, 11.16s/it]
+
truthfulqa_ne:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [09:43<03:40, 11.03s/it]
+
truthfulqa_ne:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [09:54<03:28, 10.99s/it]
+
truthfulqa_ne:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [10:04<03:14, 10.79s/it]
+
truthfulqa_ne:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [10:15<03:05, 10.91s/it]
+
truthfulqa_ne:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [10:26<02:54, 10.92s/it]
+
truthfulqa_ne:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [10:38<02:44, 10.98s/it]
+
truthfulqa_ne:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [10:48<02:31, 10.86s/it]
+
truthfulqa_ne:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [10:59<02:22, 10.93s/it]
+
truthfulqa_ne:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [11:10<02:10, 10.88s/it]
+
truthfulqa_ne:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [11:21<01:59, 10.90s/it]
+
truthfulqa_ne:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [11:33<01:53, 11.38s/it]
+
truthfulqa_ne:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [11:44<01:40, 11.19s/it]
+
truthfulqa_ne:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [11:54<01:27, 10.92s/it]
+
truthfulqa_ne:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [12:05<01:16, 10.88s/it]
+
truthfulqa_ne:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [12:16<01:04, 10.72s/it]
+
truthfulqa_ne:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [12:26<00:52, 10.57s/it]
+
truthfulqa_ne:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [12:36<00:41, 10.43s/it]
+
truthfulqa_ne:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [12:47<00:31, 10.53s/it]
+
truthfulqa_ne:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [12:57<00:21, 10.58s/it]
+
truthfulqa_ne:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [13:08<00:10, 10.57s/it]
+
truthfulqa_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:14<00:00,  9.08s/it]
truthfulqa_ne: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [13:14<00:00, 10.73s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ne_mc1 0.2648578811369509
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ne_mc2 0.4423175696291004
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:04:49,922 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:04:49,922 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:50,046 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:04:50,046 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:50,171 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:04:50,171 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:50,295 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:04:50,295 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:04:50,296 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:04:50,421 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:04:50,421 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ne_mc1'}
+2024-06-01 09:04:50,484 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:04:50,484 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1301, 'value': 0.2648578811369509}
+2024-06-01 09:04:50,547 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:04:51,201 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:04:51,201 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:51,330 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:04:51,330 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:51,460 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:04:51,460 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:04:51,589 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:04:51,720 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:04:51,720 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ne_mc2'}
+2024-06-01 09:04:51,785 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:04:51,785 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1302, 'value': 0.4423175696291004}
+2024-06-01 09:04:51,851 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████▍          | 112/124 [74:17:21<2:36:23, 781.92s/it]['truthfulqa_nl']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:04:52,464 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:04:52,464 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:52,584 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:04:52,584 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:52,703 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:04:52,703 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:04:52,823 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:04:52,824 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 09:04:52,824 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_nl'}
+2024-06-01 09:04:52,944 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_nl task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 785 examples [00:00, 10954.39 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_nl:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_nl:   1%|█▌                                                                                                                | 1/75 [00:08<10:42,  8.69s/it]
+
truthfulqa_nl:   3%|███                                                                                                               | 2/75 [00:16<10:06,  8.31s/it]
+
truthfulqa_nl:   4%|████▌                                                                                                             | 3/75 [00:25<10:14,  8.53s/it]
+
truthfulqa_nl:   5%|██████                                                                                                            | 4/75 [00:33<09:57,  8.42s/it]
+
truthfulqa_nl:   7%|███████▌                                                                                                          | 5/75 [00:43<10:15,  8.80s/it]
+
truthfulqa_nl:   8%|█████████                                                                                                         | 6/75 [00:52<10:11,  8.86s/it]
+
truthfulqa_nl:   9%|██████████▋                                                                                                       | 7/75 [01:00<09:53,  8.73s/it]
+
truthfulqa_nl:  11%|████████████▏                                                                                                     | 8/75 [01:09<09:53,  8.86s/it]
+
truthfulqa_nl:  12%|█████████████▋                                                                                                    | 9/75 [01:18<09:33,  8.70s/it]
+
truthfulqa_nl:  13%|███████████████                                                                                                  | 10/75 [01:26<09:23,  8.67s/it]
+
truthfulqa_nl:  15%|████████████████▌                                                                                                | 11/75 [01:35<09:21,  8.78s/it]
+
truthfulqa_nl:  16%|██████████████████                                                                                               | 12/75 [01:44<09:10,  8.74s/it]
+
truthfulqa_nl:  17%|███████████████████▌                                                                                             | 13/75 [01:53<09:04,  8.79s/it]
+
truthfulqa_nl:  19%|█████████████████████                                                                                            | 14/75 [02:01<08:45,  8.62s/it]
+
truthfulqa_nl:  20%|██████████████████████▌                                                                                          | 15/75 [02:11<08:52,  8.88s/it]
+
truthfulqa_nl:  21%|████████████████████████                                                                                         | 16/75 [02:19<08:38,  8.79s/it]
+
truthfulqa_nl:  23%|█████████████████████████▌                                                                                       | 17/75 [02:28<08:28,  8.77s/it]
+
truthfulqa_nl:  24%|███████████████████████████                                                                                      | 18/75 [02:36<08:08,  8.58s/it]
+
truthfulqa_nl:  25%|████████████████████████████▋                                                                                    | 19/75 [02:44<07:54,  8.47s/it]
+
truthfulqa_nl:  27%|██████████████████████████████▏                                                                                  | 20/75 [02:53<07:52,  8.59s/it]
+
truthfulqa_nl:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:01<07:38,  8.50s/it]
+
truthfulqa_nl:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:10<07:37,  8.62s/it]
+
truthfulqa_nl:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:19<07:24,  8.54s/it]
+
truthfulqa_nl:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:27<07:12,  8.47s/it]
+
truthfulqa_nl:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:35<06:53,  8.28s/it]
+
truthfulqa_nl:  35%|███████████████████████████████████████▏                                                                         | 26/75 [03:43<06:47,  8.31s/it]
+
truthfulqa_nl:  36%|████████████████████████████████████████▋                                                                        | 27/75 [03:52<06:51,  8.57s/it]
+
truthfulqa_nl:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:00<06:36,  8.43s/it]
+
truthfulqa_nl:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:09<06:25,  8.38s/it]
+
truthfulqa_nl:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:17<06:15,  8.34s/it]
+
truthfulqa_nl:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:25<06:04,  8.28s/it]
+
truthfulqa_nl:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [04:34<05:58,  8.34s/it]
+
truthfulqa_nl:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [04:43<05:58,  8.53s/it]
+
truthfulqa_nl:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [04:51<05:54,  8.64s/it]
+
truthfulqa_nl:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:00<05:44,  8.60s/it]
+
truthfulqa_nl:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:09<05:39,  8.70s/it]
+
truthfulqa_nl:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:17<05:26,  8.59s/it]
+
truthfulqa_nl:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [05:26<05:22,  8.72s/it]
+
truthfulqa_nl:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [05:35<05:14,  8.74s/it]
+
truthfulqa_nl:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [05:44<05:03,  8.66s/it]
+
truthfulqa_nl:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [05:51<04:47,  8.45s/it]
+
truthfulqa_nl:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:00<04:42,  8.55s/it]
+
truthfulqa_nl:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:09<04:37,  8.67s/it]
+
truthfulqa_nl:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [06:17<04:23,  8.51s/it]
+
truthfulqa_nl:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [06:26<04:14,  8.49s/it]
+
truthfulqa_nl:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [06:34<04:02,  8.37s/it]
+
truthfulqa_nl:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [06:43<03:57,  8.49s/it]
+
truthfulqa_nl:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [06:51<03:47,  8.43s/it]
+
truthfulqa_nl:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:00<03:42,  8.57s/it]
+
truthfulqa_nl:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [07:08<03:31,  8.45s/it]
+
truthfulqa_nl:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [07:18<03:31,  8.79s/it]
+
truthfulqa_nl:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [07:26<03:20,  8.73s/it]
+
truthfulqa_nl:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [07:35<03:12,  8.75s/it]
+
truthfulqa_nl:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [07:44<03:04,  8.79s/it]
+
truthfulqa_nl:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [07:53<02:57,  8.90s/it]
+
truthfulqa_nl:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:02<02:48,  8.87s/it]
+
truthfulqa_nl:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [08:10<02:36,  8.68s/it]
+
truthfulqa_nl:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [08:19<02:28,  8.71s/it]
+
truthfulqa_nl:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [08:28<02:21,  8.85s/it]
+
truthfulqa_nl:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [08:37<02:14,  8.98s/it]
+
truthfulqa_nl:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [08:46<02:04,  8.87s/it]
+
truthfulqa_nl:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [08:55<01:55,  8.88s/it]
+
truthfulqa_nl:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [09:03<01:43,  8.65s/it]
+
truthfulqa_nl:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [09:12<01:35,  8.69s/it]
+
truthfulqa_nl:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [09:20<01:26,  8.63s/it]
+
truthfulqa_nl:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [09:29<01:17,  8.60s/it]
+
truthfulqa_nl:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [09:37<01:07,  8.43s/it]
+
truthfulqa_nl:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [09:45<00:59,  8.48s/it]
+
truthfulqa_nl:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [09:54<00:51,  8.66s/it]
+
truthfulqa_nl:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [10:03<00:43,  8.63s/it]
+
truthfulqa_nl:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [10:12<00:34,  8.71s/it]
+
truthfulqa_nl:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [10:20<00:25,  8.59s/it]
+
truthfulqa_nl:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [10:29<00:17,  8.66s/it]
+
truthfulqa_nl:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [10:37<00:08,  8.57s/it]
+
truthfulqa_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [10:45<00:00,  8.37s/it]
truthfulqa_nl: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [10:45<00:00,  8.61s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_nl_mc1 0.3414012738853503
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_nl_mc2 0.48819037239766405
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:15:39,622 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:15:39,623 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:39,749 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:15:39,749 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:39,875 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:15:39,875 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:15:40,002 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:15:40,131 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:15:40,131 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_nl_mc1'}
+2024-06-01 09:15:40,195 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:15:40,195 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1303, 'value': 0.3414012738853503}
+2024-06-01 09:15:40,260 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:15:40,882 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:15:40,882 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:41,004 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:15:41,004 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:41,126 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:15:41,126 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:15:41,248 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:15:41,371 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:15:41,371 INFO sqlalchemy.engine.Engine [generated in 0.00011s] {'name_1': 'truthfulqa_nl_mc2'}
+2024-06-01 09:15:41,433 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:15:41,433 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1304, 'value': 0.48819037239766405}
+2024-06-01 09:15:41,495 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▎         | 113/124 [74:28:10<2:16:04, 742.24s/it]['truthfulqa_pt']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:15:42,144 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:15:42,145 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:42,273 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:15:42,273 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:42,401 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:15:42,401 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:15:42,530 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:15:42,530 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 09:15:42,531 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_pt'}
+2024-06-01 09:15:42,660 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_pt task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 788 examples [00:00, 10865.82 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_pt:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_pt:   1%|█▌                                                                                                                | 1/76 [00:09<11:41,  9.35s/it]
+
truthfulqa_pt:   3%|███                                                                                                               | 2/76 [00:18<11:24,  9.25s/it]
+
truthfulqa_pt:   4%|████▌                                                                                                             | 3/76 [00:27<10:51,  8.93s/it]
+
truthfulqa_pt:   5%|██████                                                                                                            | 4/76 [00:36<10:48,  9.01s/it]
+
truthfulqa_pt:   7%|███████▌                                                                                                          | 5/76 [00:45<10:37,  8.98s/it]
+
truthfulqa_pt:   8%|█████████                                                                                                         | 6/76 [00:54<10:36,  9.10s/it]
+
truthfulqa_pt:   9%|██████████▌                                                                                                       | 7/76 [01:03<10:19,  8.98s/it]
+
truthfulqa_pt:  11%|████████████                                                                                                      | 8/76 [01:12<10:09,  8.96s/it]
+
truthfulqa_pt:  12%|█████████████▌                                                                                                    | 9/76 [01:21<10:13,  9.16s/it]
+
truthfulqa_pt:  13%|██████████████▊                                                                                                  | 10/76 [01:30<10:00,  9.10s/it]
+
truthfulqa_pt:  14%|████████████████▎                                                                                                | 11/76 [01:40<09:57,  9.19s/it]
+
truthfulqa_pt:  16%|█████████████████▊                                                                                               | 12/76 [01:48<09:37,  9.03s/it]
+
truthfulqa_pt:  17%|███████████████████▎                                                                                             | 13/76 [01:57<09:31,  9.08s/it]
+
truthfulqa_pt:  18%|████████████████████▊                                                                                            | 14/76 [02:06<09:13,  8.93s/it]
+
truthfulqa_pt:  20%|██████████████████████▎                                                                                          | 15/76 [02:15<09:13,  9.07s/it]
+
truthfulqa_pt:  21%|███████████████████████▊                                                                                         | 16/76 [02:24<08:53,  8.90s/it]
+
truthfulqa_pt:  22%|█████████████████████████▎                                                                                       | 17/76 [02:33<08:49,  8.98s/it]
+
truthfulqa_pt:  24%|██████████████████████████▊                                                                                      | 18/76 [02:42<08:38,  8.95s/it]
+
truthfulqa_pt:  25%|████████████████████████████▎                                                                                    | 19/76 [02:51<08:26,  8.89s/it]
+
truthfulqa_pt:  26%|█████████████████████████████▋                                                                                   | 20/76 [03:00<08:17,  8.89s/it]
+
truthfulqa_pt:  28%|███████████████████████████████▏                                                                                 | 21/76 [03:08<08:00,  8.74s/it]
+
truthfulqa_pt:  29%|████████████████████████████████▋                                                                                | 22/76 [03:17<07:49,  8.69s/it]
+
truthfulqa_pt:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:26<07:48,  8.85s/it]
+
truthfulqa_pt:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:35<07:40,  8.86s/it]
+
truthfulqa_pt:  33%|█████████████████████████████████████▏                                                                           | 25/76 [03:43<07:24,  8.72s/it]
+
truthfulqa_pt:  34%|██████████████████████████████████████▋                                                                          | 26/76 [03:52<07:20,  8.81s/it]
+
truthfulqa_pt:  36%|████████████████████████████████████████▏                                                                        | 27/76 [04:01<07:20,  8.99s/it]
+
truthfulqa_pt:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [04:11<07:20,  9.18s/it]
+
truthfulqa_pt:  38%|███████████████████████████████████████████                                                                      | 29/76 [04:20<07:10,  9.15s/it]
+
truthfulqa_pt:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [04:29<07:02,  9.18s/it]
+
truthfulqa_pt:  41%|██████████████████████████████████████████████                                                                   | 31/76 [04:39<06:58,  9.29s/it]
+
truthfulqa_pt:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [04:48<06:46,  9.24s/it]
+
truthfulqa_pt:  43%|█████████████████████████████████████████████████                                                                | 33/76 [04:57<06:35,  9.20s/it]
+
truthfulqa_pt:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [05:06<06:25,  9.17s/it]
+
truthfulqa_pt:  46%|████████████████████████████████████████████████████                                                             | 35/76 [05:15<06:07,  8.97s/it]
+
truthfulqa_pt:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [05:24<06:05,  9.13s/it]
+
truthfulqa_pt:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [05:34<05:58,  9.20s/it]
+
truthfulqa_pt:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [05:42<05:41,  9.00s/it]
+
truthfulqa_pt:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [05:52<05:36,  9.10s/it]
+
truthfulqa_pt:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [06:01<05:34,  9.30s/it]
+
truthfulqa_pt:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [06:11<05:29,  9.42s/it]
+
truthfulqa_pt:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [06:20<05:15,  9.29s/it]
+
truthfulqa_pt:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [06:29<05:06,  9.29s/it]
+
truthfulqa_pt:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [06:39<05:01,  9.41s/it]
+
truthfulqa_pt:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [06:48<04:46,  9.24s/it]
+
truthfulqa_pt:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [06:57<04:34,  9.14s/it]
+
truthfulqa_pt:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [07:06<04:24,  9.12s/it]
+
truthfulqa_pt:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [07:15<04:16,  9.17s/it]
+
truthfulqa_pt:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [07:24<04:06,  9.15s/it]
+
truthfulqa_pt:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [07:33<03:58,  9.18s/it]
+
truthfulqa_pt:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [07:42<03:47,  9.11s/it]
+
truthfulqa_pt:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [07:52<03:41,  9.23s/it]
+
truthfulqa_pt:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [08:01<03:30,  9.16s/it]
+
truthfulqa_pt:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [08:09<03:17,  8.97s/it]
+
truthfulqa_pt:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [08:19<03:10,  9.07s/it]
+
truthfulqa_pt:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [08:28<03:02,  9.10s/it]
+
truthfulqa_pt:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [08:37<02:52,  9.08s/it]
+
truthfulqa_pt:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [08:46<02:43,  9.10s/it]
+
truthfulqa_pt:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [08:55<02:33,  9.04s/it]
+
truthfulqa_pt:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [09:04<02:26,  9.17s/it]
+
truthfulqa_pt:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [09:14<02:17,  9.15s/it]
+
truthfulqa_pt:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [09:23<02:07,  9.11s/it]
+
truthfulqa_pt:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [09:32<01:57,  9.07s/it]
+
truthfulqa_pt:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [09:40<01:47,  8.93s/it]
+
truthfulqa_pt:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [09:49<01:39,  9.00s/it]
+
truthfulqa_pt:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [09:58<01:28,  8.85s/it]
+
truthfulqa_pt:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [10:07<01:19,  8.86s/it]
+
truthfulqa_pt:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [10:16<01:11,  8.96s/it]
+
truthfulqa_pt:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [10:24<01:01,  8.81s/it]
+
truthfulqa_pt:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [10:34<00:53,  8.96s/it]
+
truthfulqa_pt:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [10:43<00:45,  9.12s/it]
+
truthfulqa_pt:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [10:53<00:36,  9.20s/it]
+
truthfulqa_pt:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [11:02<00:27,  9.15s/it]
+
truthfulqa_pt:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [11:11<00:18,  9.11s/it]
+
truthfulqa_pt:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [11:19<00:08,  8.99s/it]
+
truthfulqa_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:24<00:00,  7.66s/it]
truthfulqa_pt: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [11:24<00:00,  9.00s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_pt_mc1 0.3464467005076142
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_pt_mc2 0.48189955745510354
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:27:07,848 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:27:07,848 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:07,972 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:27:07,972 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:08,095 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:27:08,095 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:08,217 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:27:08,218 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:27:08,218 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:27:08,342 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:27:08,343 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_pt_mc1'}
+2024-06-01 09:27:08,405 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:27:08,405 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1305, 'value': 0.3464467005076142}
+2024-06-01 09:27:08,468 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:27:09,102 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:27:09,102 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:09,227 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:27:09,227 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:09,352 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:27:09,352 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:09,477 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:27:09,477 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:27:09,478 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:27:09,604 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:27:09,604 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_pt_mc2'}
+2024-06-01 09:27:09,667 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:27:09,667 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1306, 'value': 0.48189955745510354}
+2024-06-01 09:27:09,730 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 114/124 [74:39:39<2:01:00, 726.04s/it]['truthfulqa_ro']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:27:10,356 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:27:10,356 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:10,478 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:27:10,478 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:10,601 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:27:10,601 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 09:27:10,724 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_ro'}
+2024-06-01 09:27:10,848 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ro task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 779 examples [00:00, 10203.59 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ro:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_ro:   1%|█▌                                                                                                                | 1/75 [00:09<11:33,  9.37s/it]
+
truthfulqa_ro:   3%|███                                                                                                               | 2/75 [00:18<11:27,  9.42s/it]
+
truthfulqa_ro:   4%|████▌                                                                                                             | 3/75 [00:28<11:20,  9.45s/it]
+
truthfulqa_ro:   5%|██████                                                                                                            | 4/75 [00:37<10:59,  9.29s/it]
+
truthfulqa_ro:   7%|███████▌                                                                                                          | 5/75 [00:46<10:55,  9.36s/it]
+
truthfulqa_ro:   8%|█████████                                                                                                         | 6/75 [00:56<10:54,  9.49s/it]
+
truthfulqa_ro:   9%|██████████▋                                                                                                       | 7/75 [01:05<10:42,  9.46s/it]
+
truthfulqa_ro:  11%|████████████▏                                                                                                     | 8/75 [01:15<10:25,  9.34s/it]
+
truthfulqa_ro:  12%|█████████████▋                                                                                                    | 9/75 [01:24<10:17,  9.36s/it]
+
truthfulqa_ro:  13%|███████████████                                                                                                  | 10/75 [01:33<10:03,  9.29s/it]
+
truthfulqa_ro:  15%|████████████████▌                                                                                                | 11/75 [01:42<09:41,  9.08s/it]
+
truthfulqa_ro:  16%|██████████████████                                                                                               | 12/75 [01:51<09:38,  9.18s/it]
+
truthfulqa_ro:  17%|███████████████████▌                                                                                             | 13/75 [02:01<09:34,  9.27s/it]
+
truthfulqa_ro:  19%|█████████████████████                                                                                            | 14/75 [02:10<09:27,  9.30s/it]
+
truthfulqa_ro:  20%|██████████████████████▌                                                                                          | 15/75 [02:20<09:28,  9.47s/it]
+
truthfulqa_ro:  21%|████████████████████████                                                                                         | 16/75 [02:29<09:15,  9.41s/it]
+
truthfulqa_ro:  23%|█████████████████████████▌                                                                                       | 17/75 [02:38<09:00,  9.31s/it]
+
truthfulqa_ro:  24%|███████████████████████████                                                                                      | 18/75 [02:47<08:47,  9.26s/it]
+
truthfulqa_ro:  25%|████████████████████████████▋                                                                                    | 19/75 [02:57<08:37,  9.25s/it]
+
truthfulqa_ro:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:06<08:24,  9.18s/it]
+
truthfulqa_ro:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:15<08:20,  9.27s/it]
+
truthfulqa_ro:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:24<07:59,  9.05s/it]
+
truthfulqa_ro:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:33<08:00,  9.25s/it]
+
truthfulqa_ro:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:42<07:47,  9.17s/it]
+
truthfulqa_ro:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:52<07:52,  9.44s/it]
+
truthfulqa_ro:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:01<07:37,  9.34s/it]
+
truthfulqa_ro:  36%|████████████████████████████████████████▋                                                                        | 27/75 [04:11<07:24,  9.27s/it]
+
truthfulqa_ro:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:19<07:10,  9.16s/it]
+
truthfulqa_ro:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:29<07:01,  9.16s/it]
+
truthfulqa_ro:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:39<07:02,  9.39s/it]
+
truthfulqa_ro:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:48<06:48,  9.28s/it]
+
truthfulqa_ro:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [04:57<06:36,  9.21s/it]
+
truthfulqa_ro:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [05:06<06:26,  9.20s/it]
+
truthfulqa_ro:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [05:15<06:16,  9.19s/it]
+
truthfulqa_ro:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:24<06:07,  9.19s/it]
+
truthfulqa_ro:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:34<06:07,  9.43s/it]
+
truthfulqa_ro:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:43<05:56,  9.39s/it]
+
truthfulqa_ro:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [05:52<05:37,  9.13s/it]
+
truthfulqa_ro:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [06:02<05:33,  9.27s/it]
+
truthfulqa_ro:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [06:11<05:21,  9.19s/it]
+
truthfulqa_ro:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [06:20<05:12,  9.20s/it]
+
truthfulqa_ro:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:29<05:03,  9.20s/it]
+
truthfulqa_ro:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:38<04:53,  9.17s/it]
+
truthfulqa_ro:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [06:47<04:44,  9.19s/it]
+
truthfulqa_ro:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [06:57<04:35,  9.19s/it]
+
truthfulqa_ro:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [07:06<04:25,  9.17s/it]
+
truthfulqa_ro:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [07:15<04:16,  9.17s/it]
+
truthfulqa_ro:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [07:24<04:11,  9.32s/it]
+
truthfulqa_ro:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:33<03:59,  9.22s/it]
+
truthfulqa_ro:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [07:43<03:51,  9.24s/it]
+
truthfulqa_ro:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [07:52<03:40,  9.18s/it]
+
truthfulqa_ro:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [08:01<03:32,  9.25s/it]
+
truthfulqa_ro:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [08:10<03:23,  9.25s/it]
+
truthfulqa_ro:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [08:20<03:17,  9.43s/it]
+
truthfulqa_ro:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [08:29<03:07,  9.36s/it]
+
truthfulqa_ro:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:39<03:00,  9.49s/it]
+
truthfulqa_ro:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [08:48<02:44,  9.16s/it]
+
truthfulqa_ro:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [08:57<02:35,  9.16s/it]
+
truthfulqa_ro:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [09:06<02:27,  9.20s/it]
+
truthfulqa_ro:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [09:16<02:20,  9.34s/it]
+
truthfulqa_ro:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [09:26<02:13,  9.54s/it]
+
truthfulqa_ro:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [09:35<02:02,  9.42s/it]
+
truthfulqa_ro:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [09:44<01:51,  9.32s/it]
+
truthfulqa_ro:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [09:54<01:43,  9.42s/it]
+
truthfulqa_ro:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [10:03<01:33,  9.35s/it]
+
truthfulqa_ro:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [10:11<01:22,  9.13s/it]
+
truthfulqa_ro:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [10:21<01:14,  9.33s/it]
+
truthfulqa_ro:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [10:30<01:04,  9.28s/it]
+
truthfulqa_ro:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [10:40<00:55,  9.26s/it]
+
truthfulqa_ro:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [10:49<00:46,  9.23s/it]
+
truthfulqa_ro:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [10:58<00:37,  9.28s/it]
+
truthfulqa_ro:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [11:08<00:28,  9.34s/it]
+
truthfulqa_ro:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [11:17<00:18,  9.25s/it]
+
truthfulqa_ro:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:26<00:09,  9.26s/it]
+
truthfulqa_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:31<00:00,  8.00s/it]
truthfulqa_ro: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:31<00:00,  9.22s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ro_mc1 0.3042362002567394
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ro_mc2 0.4553128850083903
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:38:43,207 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:38:43,207 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:43,327 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:38:43,327 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:43,446 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:38:43,446 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:43,566 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:38:43,567 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:38:43,567 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:38:43,687 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:38:43,688 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_ro_mc1'}
+2024-06-01 09:38:43,749 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:38:43,749 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1307, 'value': 0.3042362002567394}
+2024-06-01 09:38:43,810 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:38:44,457 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:38:44,457 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:44,586 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:38:44,586 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:44,714 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:38:44,714 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:44,842 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:38:44,843 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:38:44,843 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:38:44,972 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:38:44,972 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ro_mc2'}
+2024-06-01 09:38:45,039 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:38:45,039 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1308, 'value': 0.4553128850083903}
+2024-06-01 09:38:45,108 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████        | 115/124 [74:51:14<1:47:31, 716.84s/it]['truthfulqa_ru']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:38:45,717 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:38:45,717 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:45,836 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:38:45,836 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:45,954 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:38:45,954 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 09:38:46,073 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_ru'}
+2024-06-01 09:38:46,193 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ru task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 788 examples [00:00, 9820.19 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ru:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_ru:   1%|█▌                                                                                                                | 1/76 [00:10<13:16, 10.62s/it]
+
truthfulqa_ru:   3%|███                                                                                                               | 2/76 [00:19<12:01,  9.76s/it]
+
truthfulqa_ru:   4%|████▌                                                                                                             | 3/76 [00:29<11:37,  9.56s/it]
+
truthfulqa_ru:   5%|██████                                                                                                            | 4/76 [00:39<11:39,  9.71s/it]
+
truthfulqa_ru:   7%|███████▌                                                                                                          | 5/76 [00:49<11:40,  9.86s/it]
+
truthfulqa_ru:   8%|█████████                                                                                                         | 6/76 [00:58<11:21,  9.73s/it]
+
truthfulqa_ru:   9%|██████████▌                                                                                                       | 7/76 [01:09<11:39, 10.13s/it]
+
truthfulqa_ru:  11%|████████████                                                                                                      | 8/76 [01:19<11:19,  9.99s/it]
+
truthfulqa_ru:  12%|█████████████▌                                                                                                    | 9/76 [01:28<11:03,  9.90s/it]
+
truthfulqa_ru:  13%|██████████████▊                                                                                                  | 10/76 [01:39<11:03, 10.06s/it]
+
truthfulqa_ru:  14%|████████████████▎                                                                                                | 11/76 [01:49<11:02, 10.18s/it]
+
truthfulqa_ru:  16%|█████████████████▊                                                                                               | 12/76 [01:59<10:46, 10.10s/it]
+
truthfulqa_ru:  17%|███████████████████▎                                                                                             | 13/76 [02:09<10:25,  9.94s/it]
+
truthfulqa_ru:  18%|████████████████████▊                                                                                            | 14/76 [02:19<10:17,  9.95s/it]
+
truthfulqa_ru:  20%|██████████████████████▎                                                                                          | 15/76 [02:29<10:09, 10.00s/it]
+
truthfulqa_ru:  21%|███████████████████████▊                                                                                         | 16/76 [02:39<10:01, 10.02s/it]
+
truthfulqa_ru:  22%|█████████████████████████▎                                                                                       | 17/76 [02:50<10:01, 10.20s/it]
+
truthfulqa_ru:  24%|██████████████████████████▊                                                                                      | 18/76 [02:59<09:38,  9.97s/it]
+
truthfulqa_ru:  25%|████████████████████████████▎                                                                                    | 19/76 [03:08<09:14,  9.72s/it]
+
truthfulqa_ru:  26%|█████████████████████████████▋                                                                                   | 20/76 [03:19<09:15,  9.92s/it]
+
truthfulqa_ru:  28%|███████████████████████████████▏                                                                                 | 21/76 [03:29<09:06,  9.94s/it]
+
truthfulqa_ru:  29%|████████████████████████████████▋                                                                                | 22/76 [03:38<08:51,  9.84s/it]
+
truthfulqa_ru:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:48<08:45,  9.92s/it]
+
truthfulqa_ru:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:58<08:33,  9.87s/it]
+
truthfulqa_ru:  33%|█████████████████████████████████████▏                                                                           | 25/76 [04:07<08:16,  9.73s/it]
+
truthfulqa_ru:  34%|██████████████████████████████████████▋                                                                          | 26/76 [04:17<08:07,  9.74s/it]
+
truthfulqa_ru:  36%|████████████████████████████████████████▏                                                                        | 27/76 [04:27<07:58,  9.77s/it]
+
truthfulqa_ru:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [04:37<07:52,  9.85s/it]
+
truthfulqa_ru:  38%|███████████████████████████████████████████                                                                      | 29/76 [04:47<07:47,  9.95s/it]
+
truthfulqa_ru:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [04:57<07:37,  9.94s/it]
+
truthfulqa_ru:  41%|██████████████████████████████████████████████                                                                   | 31/76 [05:06<07:15,  9.69s/it]
+
truthfulqa_ru:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [05:16<07:06,  9.69s/it]
+
truthfulqa_ru:  43%|█████████████████████████████████████████████████                                                                | 33/76 [05:26<07:02,  9.83s/it]
+
truthfulqa_ru:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [05:36<06:55,  9.88s/it]
+
truthfulqa_ru:  46%|████████████████████████████████████████████████████                                                             | 35/76 [05:46<06:44,  9.87s/it]
+
truthfulqa_ru:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [05:55<06:28,  9.72s/it]
+
truthfulqa_ru:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [06:06<06:27,  9.93s/it]
+
truthfulqa_ru:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [06:16<06:15,  9.87s/it]
+
truthfulqa_ru:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [06:25<05:59,  9.72s/it]
+
truthfulqa_ru:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [06:35<05:49,  9.72s/it]
+
truthfulqa_ru:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [06:45<05:44,  9.85s/it]
+
truthfulqa_ru:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [06:54<05:33,  9.80s/it]
+
truthfulqa_ru:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [07:04<05:24,  9.83s/it]
+
truthfulqa_ru:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [07:13<05:08,  9.63s/it]
+
truthfulqa_ru:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [07:23<05:01,  9.74s/it]
+
truthfulqa_ru:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [07:33<04:54,  9.81s/it]
+
truthfulqa_ru:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [07:43<04:44,  9.81s/it]
+
truthfulqa_ru:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [07:53<04:35,  9.84s/it]
+
truthfulqa_ru:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [08:03<04:26,  9.86s/it]
+
truthfulqa_ru:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [08:13<04:16,  9.85s/it]
+
truthfulqa_ru:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [08:22<04:02,  9.69s/it]
+
truthfulqa_ru:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [08:33<03:59, 10.00s/it]
+
truthfulqa_ru:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [08:43<03:48,  9.92s/it]
+
truthfulqa_ru:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [08:52<03:36,  9.83s/it]
+
truthfulqa_ru:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [09:02<03:24,  9.76s/it]
+
truthfulqa_ru:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [09:12<03:14,  9.71s/it]
+
truthfulqa_ru:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [09:21<03:04,  9.70s/it]
+
truthfulqa_ru:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [09:31<02:55,  9.74s/it]
+
truthfulqa_ru:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [09:41<02:49,  9.95s/it]
+
truthfulqa_ru:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [09:51<02:38,  9.92s/it]
+
truthfulqa_ru:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [10:02<02:32, 10.15s/it]
+
truthfulqa_ru:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [10:12<02:19,  9.97s/it]
+
truthfulqa_ru:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [10:22<02:13, 10.23s/it]
+
truthfulqa_ru:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [10:32<02:00, 10.02s/it]
+
truthfulqa_ru:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [10:41<01:48,  9.84s/it]
+
truthfulqa_ru:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [10:52<01:39,  9.96s/it]
+
truthfulqa_ru:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [11:01<01:27,  9.74s/it]
+
truthfulqa_ru:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [11:11<01:18,  9.78s/it]
+
truthfulqa_ru:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [11:20<01:07,  9.65s/it]
+
truthfulqa_ru:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [11:30<00:59,  9.85s/it]
+
truthfulqa_ru:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [11:40<00:49,  9.87s/it]
+
truthfulqa_ru:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [11:50<00:39,  9.83s/it]
+
truthfulqa_ru:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [12:00<00:29,  9.93s/it]
+
truthfulqa_ru:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [12:09<00:19,  9.72s/it]
+
truthfulqa_ru:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [12:19<00:09,  9.72s/it]
+
truthfulqa_ru: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [12:25<00:00,  8.45s/it]
truthfulqa_ru: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [12:25<00:00,  9.80s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ru_mc1 0.3223350253807107
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ru_mc2 0.47598357382780243
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:51:12,420 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:51:12,421 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:12,544 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:51:12,544 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:12,667 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:51:12,667 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:12,789 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:51:12,790 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:51:12,790 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:51:12,914 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:51:12,915 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_ru_mc1'}
+2024-06-01 09:51:12,977 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:51:12,977 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1309, 'value': 0.3223350253807107}
+2024-06-01 09:51:13,040 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:51:13,683 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:51:13,683 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:13,810 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:51:13,810 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:13,937 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:51:13,937 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:14,064 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:51:14,065 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 09:51:14,065 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 09:51:14,193 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 09:51:14,193 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_ru_mc2'}
+2024-06-01 09:51:14,258 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 09:51:14,258 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1310, 'value': 0.47598357382780243}
+2024-06-01 09:51:14,322 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 116/124 [75:03:43<1:36:52, 726.55s/it]['truthfulqa_sk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 09:51:14,971 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 09:51:14,971 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:15,099 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 09:51:15,099 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:15,227 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 09:51:15,227 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 09:51:15,355 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 09:51:15,356 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 09:51:15,356 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_sk'}
+2024-06-01 09:51:15,484 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_sk task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 778 examples [00:00, 10224.88 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_sk:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_sk:   1%|█▌                                                                                                                | 1/74 [00:09<11:56,  9.81s/it]
+
truthfulqa_sk:   3%|███                                                                                                               | 2/74 [00:18<11:09,  9.30s/it]
+
truthfulqa_sk:   4%|████▌                                                                                                             | 3/74 [00:27<10:53,  9.20s/it]
+
truthfulqa_sk:   5%|██████▏                                                                                                           | 4/74 [00:37<10:45,  9.22s/it]
+
truthfulqa_sk:   7%|███████▋                                                                                                          | 5/74 [00:46<10:43,  9.32s/it]
+
truthfulqa_sk:   8%|█████████▏                                                                                                        | 6/74 [00:55<10:22,  9.15s/it]
+
truthfulqa_sk:   9%|██████████▊                                                                                                       | 7/74 [01:04<10:11,  9.12s/it]
+
truthfulqa_sk:  11%|████████████▎                                                                                                     | 8/74 [01:13<09:59,  9.08s/it]
+
truthfulqa_sk:  12%|█████████████▊                                                                                                    | 9/74 [01:22<09:50,  9.08s/it]
+
truthfulqa_sk:  14%|███████████████▎                                                                                                 | 10/74 [01:32<09:52,  9.26s/it]
+
truthfulqa_sk:  15%|████████████████▊                                                                                                | 11/74 [01:41<09:43,  9.27s/it]
+
truthfulqa_sk:  16%|██████████████████▎                                                                                              | 12/74 [01:51<09:42,  9.40s/it]
+
truthfulqa_sk:  18%|███████████████████▊                                                                                             | 13/74 [02:00<09:26,  9.28s/it]
+
truthfulqa_sk:  19%|█████████████████████▍                                                                                           | 14/74 [02:10<09:26,  9.45s/it]
+
truthfulqa_sk:  20%|██████████████████████▉                                                                                          | 15/74 [02:19<09:11,  9.35s/it]
+
truthfulqa_sk:  22%|████████████████████████▍                                                                                        | 16/74 [02:28<09:09,  9.47s/it]
+
truthfulqa_sk:  23%|█████████████████████████▉                                                                                       | 17/74 [02:38<08:56,  9.41s/it]
+
truthfulqa_sk:  24%|███████████████████████████▍                                                                                     | 18/74 [02:46<08:34,  9.18s/it]
+
truthfulqa_sk:  26%|█████████████████████████████                                                                                    | 19/74 [02:55<08:18,  9.07s/it]
+
truthfulqa_sk:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:04<08:07,  9.03s/it]
+
truthfulqa_sk:  28%|████████████████████████████████                                                                                 | 21/74 [03:14<08:10,  9.25s/it]
+
truthfulqa_sk:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:23<07:59,  9.23s/it]
+
truthfulqa_sk:  31%|███████████████████████████████████                                                                              | 23/74 [03:32<07:49,  9.20s/it]
+
truthfulqa_sk:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:42<07:53,  9.47s/it]
+
truthfulqa_sk:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:51<07:38,  9.36s/it]
+
truthfulqa_sk:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:00<07:16,  9.09s/it]
+
truthfulqa_sk:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:09<07:05,  9.05s/it]
+
truthfulqa_sk:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:17<06:50,  8.93s/it]
+
truthfulqa_sk:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:26<06:43,  8.97s/it]
+
truthfulqa_sk:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:35<06:35,  8.98s/it]
+
truthfulqa_sk:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:45<06:27,  9.01s/it]
+
truthfulqa_sk:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [04:55<06:31,  9.32s/it]
+
truthfulqa_sk:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:04<06:22,  9.32s/it]
+
truthfulqa_sk:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:13<06:15,  9.39s/it]
+
truthfulqa_sk:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:23<06:02,  9.30s/it]
+
truthfulqa_sk:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:31<05:49,  9.18s/it]
+
truthfulqa_sk:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:41<05:41,  9.23s/it]
+
truthfulqa_sk:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:50<05:31,  9.21s/it]
+
truthfulqa_sk:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [05:59<05:24,  9.27s/it]
+
truthfulqa_sk:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:09<05:19,  9.40s/it]
+
truthfulqa_sk:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:19<05:13,  9.50s/it]
+
truthfulqa_sk:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:28<04:58,  9.32s/it]
+
truthfulqa_sk:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:36<04:42,  9.11s/it]
+
truthfulqa_sk:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:45<04:33,  9.10s/it]
+
truthfulqa_sk:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [06:54<04:23,  9.08s/it]
+
truthfulqa_sk:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:04<04:14,  9.10s/it]
+
truthfulqa_sk:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:13<04:06,  9.13s/it]
+
truthfulqa_sk:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:22<03:58,  9.19s/it]
+
truthfulqa_sk:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:32<03:52,  9.30s/it]
+
truthfulqa_sk:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:40<03:37,  9.07s/it]
+
truthfulqa_sk:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [07:49<03:28,  9.09s/it]
+
truthfulqa_sk:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [07:59<03:22,  9.23s/it]
+
truthfulqa_sk:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:08<03:12,  9.16s/it]
+
truthfulqa_sk:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:17<03:02,  9.12s/it]
+
truthfulqa_sk:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:26<02:53,  9.15s/it]
+
truthfulqa_sk:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:35<02:44,  9.13s/it]
+
truthfulqa_sk:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:45<02:38,  9.34s/it]
+
truthfulqa_sk:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [08:54<02:28,  9.26s/it]
+
truthfulqa_sk:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [09:04<02:22,  9.47s/it]
+
truthfulqa_sk:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:14<02:12,  9.45s/it]
+
truthfulqa_sk:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:23<02:01,  9.34s/it]
+
truthfulqa_sk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:32<01:53,  9.43s/it]
+
truthfulqa_sk:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:42<01:45,  9.56s/it]
+
truthfulqa_sk:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [09:52<01:36,  9.67s/it]
+
truthfulqa_sk:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [10:01<01:25,  9.46s/it]
+
truthfulqa_sk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:11<01:16,  9.51s/it]
+
truthfulqa_sk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:20<01:05,  9.42s/it]
+
truthfulqa_sk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:29<00:56,  9.34s/it]
+
truthfulqa_sk:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:38<00:46,  9.36s/it]
+
truthfulqa_sk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [10:48<00:37,  9.29s/it]
+
truthfulqa_sk:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [10:57<00:27,  9.22s/it]
+
truthfulqa_sk:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [11:06<00:18,  9.32s/it]
+
truthfulqa_sk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:15<00:09,  9.32s/it]
+
truthfulqa_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00,  9.35s/it]
truthfulqa_sk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:25<00:00,  9.26s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sk_mc1 0.2750642673521851
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sk_mc2 0.46416705304898886
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:02:41,677 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:02:41,677 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:41,802 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:02:41,802 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:41,927 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:02:41,927 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:42,052 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:02:42,053 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:02:42,053 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:02:42,179 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:02:42,179 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'name_1': 'truthfulqa_sk_mc1'}
+2024-06-01 10:02:42,243 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:02:42,243 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1311, 'value': 0.2750642673521851}
+2024-06-01 10:02:42,306 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:02:42,955 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:02:42,955 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:43,083 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:02:43,083 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:43,211 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:02:43,211 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:02:43,339 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:02:43,468 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:02:43,468 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_sk_mc2'}
+2024-06-01 10:02:43,533 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:02:43,533 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1312, 'value': 0.46416705304898886}
+2024-06-01 10:02:43,598 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 117/124 [75:15:12<1:23:27, 715.37s/it]['truthfulqa_sr']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:02:44,250 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:02:44,250 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:44,378 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:02:44,378 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:44,506 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:02:44,506 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:02:44,634 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:02:44,635 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 10:02:44,635 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_sr'}
+2024-06-01 10:02:44,764 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_sr task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 785 examples [00:00, 10202.62 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_sr:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_sr:   1%|█▌                                                                                                                | 1/75 [00:09<11:18,  9.17s/it]
+
truthfulqa_sr:   3%|███                                                                                                               | 2/75 [00:18<11:03,  9.08s/it]
+
truthfulqa_sr:   4%|████▌                                                                                                             | 3/75 [00:27<11:06,  9.26s/it]
+
truthfulqa_sr:   5%|██████                                                                                                            | 4/75 [00:36<10:51,  9.18s/it]
+
truthfulqa_sr:   7%|███████▌                                                                                                          | 5/75 [00:45<10:42,  9.18s/it]
+
truthfulqa_sr:   8%|█████████                                                                                                         | 6/75 [00:55<10:41,  9.30s/it]
+
truthfulqa_sr:   9%|██████████▋                                                                                                       | 7/75 [01:05<10:42,  9.45s/it]
+
truthfulqa_sr:  11%|████████████▏                                                                                                     | 8/75 [01:15<10:46,  9.64s/it]
+
truthfulqa_sr:  12%|█████████████▋                                                                                                    | 9/75 [01:24<10:26,  9.50s/it]
+
truthfulqa_sr:  13%|███████████████                                                                                                  | 10/75 [01:33<10:14,  9.46s/it]
+
truthfulqa_sr:  15%|████████████████▌                                                                                                | 11/75 [01:43<10:13,  9.59s/it]
+
truthfulqa_sr:  16%|██████████████████                                                                                               | 12/75 [01:53<09:59,  9.52s/it]
+
truthfulqa_sr:  17%|███████████████████▌                                                                                             | 13/75 [02:02<09:41,  9.37s/it]
+
truthfulqa_sr:  19%|█████████████████████                                                                                            | 14/75 [02:10<09:22,  9.22s/it]
+
truthfulqa_sr:  20%|██████████████████████▌                                                                                          | 15/75 [02:20<09:14,  9.25s/it]
+
truthfulqa_sr:  21%|████████████████████████                                                                                         | 16/75 [02:29<09:02,  9.20s/it]
+
truthfulqa_sr:  23%|█████████████████████████▌                                                                                       | 17/75 [02:38<08:50,  9.15s/it]
+
truthfulqa_sr:  24%|███████████████████████████                                                                                      | 18/75 [02:47<08:42,  9.16s/it]
+
truthfulqa_sr:  25%|████████████████████████████▋                                                                                    | 19/75 [02:56<08:36,  9.23s/it]
+
truthfulqa_sr:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:06<08:34,  9.35s/it]
+
truthfulqa_sr:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:15<08:20,  9.26s/it]
+
truthfulqa_sr:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:24<08:07,  9.21s/it]
+
truthfulqa_sr:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:33<07:49,  9.03s/it]
+
truthfulqa_sr:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:41<07:32,  8.87s/it]
+
truthfulqa_sr:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:50<07:27,  8.95s/it]
+
truthfulqa_sr:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:00<07:26,  9.11s/it]
+
truthfulqa_sr:  36%|████████████████████████████████████████▋                                                                        | 27/75 [04:08<07:05,  8.87s/it]
+
truthfulqa_sr:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:17<06:54,  8.81s/it]
+
truthfulqa_sr:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:26<06:54,  9.01s/it]
+
truthfulqa_sr:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:35<06:43,  8.97s/it]
+
truthfulqa_sr:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:44<06:29,  8.86s/it]
+
truthfulqa_sr:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [04:53<06:28,  9.04s/it]
+
truthfulqa_sr:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [05:03<06:21,  9.08s/it]
+
truthfulqa_sr:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [05:12<06:14,  9.14s/it]
+
truthfulqa_sr:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:21<06:02,  9.06s/it]
+
truthfulqa_sr:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:30<05:57,  9.16s/it]
+
truthfulqa_sr:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:39<05:48,  9.17s/it]
+
truthfulqa_sr:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [05:48<05:39,  9.16s/it]
+
truthfulqa_sr:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [05:57<05:22,  8.95s/it]
+
truthfulqa_sr:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [06:06<05:15,  9.00s/it]
+
truthfulqa_sr:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [06:15<05:04,  8.96s/it]
+
truthfulqa_sr:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:24<04:57,  9.00s/it]
+
truthfulqa_sr:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:33<04:49,  9.04s/it]
+
truthfulqa_sr:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [06:43<04:44,  9.17s/it]
+
truthfulqa_sr:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [06:52<04:40,  9.34s/it]
+
truthfulqa_sr:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [07:02<04:32,  9.38s/it]
+
truthfulqa_sr:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [07:11<04:20,  9.31s/it]
+
truthfulqa_sr:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [07:20<04:07,  9.16s/it]
+
truthfulqa_sr:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:28<03:52,  8.94s/it]
+
truthfulqa_sr:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [07:37<03:40,  8.80s/it]
+
truthfulqa_sr:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [07:46<03:32,  8.87s/it]
+
truthfulqa_sr:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [07:55<03:25,  8.91s/it]
+
truthfulqa_sr:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [08:04<03:17,  8.97s/it]
+
truthfulqa_sr:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [08:13<03:09,  9.01s/it]
+
truthfulqa_sr:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [08:22<02:59,  8.99s/it]
+
truthfulqa_sr:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:30<02:48,  8.87s/it]
+
truthfulqa_sr:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [08:40<02:41,  8.98s/it]
+
truthfulqa_sr:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [08:49<02:32,  8.97s/it]
+
truthfulqa_sr:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [08:58<02:23,  8.96s/it]
+
truthfulqa_sr:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [09:06<02:11,  8.79s/it]
+
truthfulqa_sr:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [09:16<02:07,  9.10s/it]
+
truthfulqa_sr:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [09:25<01:59,  9.20s/it]
+
truthfulqa_sr:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [09:34<01:50,  9.20s/it]
+
truthfulqa_sr:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [09:43<01:40,  9.13s/it]
+
truthfulqa_sr:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [09:52<01:31,  9.13s/it]
+
truthfulqa_sr:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [10:02<01:21,  9.10s/it]
+
truthfulqa_sr:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [10:10<01:12,  9.05s/it]
+
truthfulqa_sr:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [10:20<01:03,  9.06s/it]
+
truthfulqa_sr:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [10:28<00:53,  8.97s/it]
+
truthfulqa_sr:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [10:37<00:45,  9.04s/it]
+
truthfulqa_sr:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [10:47<00:36,  9.06s/it]
+
truthfulqa_sr:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [10:56<00:27,  9.08s/it]
+
truthfulqa_sr:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [11:05<00:18,  9.14s/it]
+
truthfulqa_sr:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:14<00:08,  8.96s/it]
+
truthfulqa_sr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:23<00:00,  9.09s/it]
truthfulqa_sr: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:23<00:00,  9.11s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sr_mc1 0.3286624203821656
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sr_mc2 0.5016689393126756
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:14:09,340 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:14:09,341 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:09,468 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:14:09,468 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:09,595 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:14:09,596 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:09,723 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:14:09,724 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:14:09,724 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:14:09,852 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:14:09,852 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sr_mc1'}
+2024-06-01 10:14:09,917 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:14:09,917 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1313, 'value': 0.3286624203821656}
+2024-06-01 10:14:09,982 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:14:10,620 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:14:10,620 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:10,745 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:14:10,745 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:10,870 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:14:10,870 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:10,995 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:14:10,996 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:14:10,996 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:14:11,122 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:14:11,122 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sr_mc2'}
+2024-06-01 10:14:11,185 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:14:11,185 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1314, 'value': 0.5016689393126756}
+2024-06-01 10:14:11,248 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 118/124 [75:26:40<1:10:42, 707.05s/it]['truthfulqa_sv']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:14:11,887 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:14:11,887 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:12,012 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:14:12,013 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:12,138 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:14:12,138 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:14:12,264 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:14:12,264 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 10:14:12,265 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_sv'}
+2024-06-01 10:14:12,391 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_sv task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 774 examples [00:00, 10444.23 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_sv:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_sv:   1%|█▌                                                                                                                | 1/74 [00:09<11:09,  9.16s/it]
+
truthfulqa_sv:   3%|███                                                                                                               | 2/74 [00:18<11:12,  9.34s/it]
+
truthfulqa_sv:   4%|████▌                                                                                                             | 3/74 [00:27<10:50,  9.16s/it]
+
truthfulqa_sv:   5%|██████▏                                                                                                           | 4/74 [00:36<10:39,  9.14s/it]
+
truthfulqa_sv:   7%|███████▋                                                                                                          | 5/74 [00:45<10:26,  9.08s/it]
+
truthfulqa_sv:   8%|█████████▏                                                                                                        | 6/74 [00:54<10:18,  9.10s/it]
+
truthfulqa_sv:   9%|██████████▊                                                                                                       | 7/74 [01:03<09:56,  8.91s/it]
+
truthfulqa_sv:  11%|████████████▎                                                                                                     | 8/74 [01:12<09:52,  8.98s/it]
+
truthfulqa_sv:  12%|█████████████▊                                                                                                    | 9/74 [01:21<09:49,  9.07s/it]
+
truthfulqa_sv:  14%|███████████████▎                                                                                                 | 10/74 [01:30<09:44,  9.13s/it]
+
truthfulqa_sv:  15%|████████████████▊                                                                                                | 11/74 [01:40<09:37,  9.16s/it]
+
truthfulqa_sv:  16%|██████████████████▎                                                                                              | 12/74 [01:48<09:19,  9.03s/it]
+
truthfulqa_sv:  18%|███████████████████▊                                                                                             | 13/74 [01:57<08:59,  8.84s/it]
+
truthfulqa_sv:  19%|█████████████████████▍                                                                                           | 14/74 [02:06<08:52,  8.87s/it]
+
truthfulqa_sv:  20%|██████████████████████▉                                                                                          | 15/74 [02:15<08:41,  8.84s/it]
+
truthfulqa_sv:  22%|████████████████████████▍                                                                                        | 16/74 [02:23<08:24,  8.70s/it]
+
truthfulqa_sv:  23%|█████████████████████████▉                                                                                       | 17/74 [02:32<08:19,  8.76s/it]
+
truthfulqa_sv:  24%|███████████████████████████▍                                                                                     | 18/74 [02:41<08:16,  8.86s/it]
+
truthfulqa_sv:  26%|█████████████████████████████                                                                                    | 19/74 [02:50<08:07,  8.86s/it]
+
truthfulqa_sv:  27%|██████████████████████████████▌                                                                                  | 20/74 [02:59<08:03,  8.95s/it]
+
truthfulqa_sv:  28%|████████████████████████████████                                                                                 | 21/74 [03:07<07:48,  8.83s/it]
+
truthfulqa_sv:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:17<07:43,  8.91s/it]
+
truthfulqa_sv:  31%|███████████████████████████████████                                                                              | 23/74 [03:26<07:43,  9.08s/it]
+
truthfulqa_sv:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:36<07:42,  9.25s/it]
+
truthfulqa_sv:  34%|██████████████████████████████████████▏                                                                          | 25/74 [03:45<07:37,  9.33s/it]
+
truthfulqa_sv:  35%|███████████████████████████████████████▋                                                                         | 26/74 [03:54<07:22,  9.22s/it]
+
truthfulqa_sv:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:03<07:07,  9.10s/it]
+
truthfulqa_sv:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:12<06:56,  9.06s/it]
+
truthfulqa_sv:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:20<06:40,  8.89s/it]
+
truthfulqa_sv:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:30<06:37,  9.03s/it]
+
truthfulqa_sv:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [04:38<06:20,  8.86s/it]
+
truthfulqa_sv:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [04:48<06:18,  9.01s/it]
+
truthfulqa_sv:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [04:57<06:08,  9.00s/it]
+
truthfulqa_sv:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:06<06:02,  9.07s/it]
+
truthfulqa_sv:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:15<05:56,  9.14s/it]
+
truthfulqa_sv:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:24<05:47,  9.14s/it]
+
truthfulqa_sv:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [05:34<05:40,  9.21s/it]
+
truthfulqa_sv:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [05:43<05:30,  9.18s/it]
+
truthfulqa_sv:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [05:52<05:22,  9.22s/it]
+
truthfulqa_sv:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:01<05:12,  9.20s/it]
+
truthfulqa_sv:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:10<05:01,  9.13s/it]
+
truthfulqa_sv:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [06:19<04:53,  9.17s/it]
+
truthfulqa_sv:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [06:29<04:48,  9.29s/it]
+
truthfulqa_sv:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [06:39<04:43,  9.44s/it]
+
truthfulqa_sv:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [06:48<04:29,  9.29s/it]
+
truthfulqa_sv:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [06:56<04:12,  9.02s/it]
+
truthfulqa_sv:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:05<04:03,  9.02s/it]
+
truthfulqa_sv:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [07:14<03:50,  8.88s/it]
+
truthfulqa_sv:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [07:23<03:44,  8.98s/it]
+
truthfulqa_sv:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [07:31<03:30,  8.79s/it]
+
truthfulqa_sv:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [07:41<03:25,  8.92s/it]
+
truthfulqa_sv:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [07:49<03:13,  8.78s/it]
+
truthfulqa_sv:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [07:58<03:05,  8.84s/it]
+
truthfulqa_sv:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [08:07<02:58,  8.92s/it]
+
truthfulqa_sv:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [08:16<02:49,  8.94s/it]
+
truthfulqa_sv:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [08:26<02:44,  9.11s/it]
+
truthfulqa_sv:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [08:35<02:34,  9.06s/it]
+
truthfulqa_sv:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [08:44<02:25,  9.08s/it]
+
truthfulqa_sv:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [08:53<02:17,  9.15s/it]
+
truthfulqa_sv:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:02<02:08,  9.16s/it]
+
truthfulqa_sv:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [09:11<01:58,  9.13s/it]
+
truthfulqa_sv:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [09:20<01:49,  9.13s/it]
+
truthfulqa_sv:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [09:30<01:40,  9.15s/it]
+
truthfulqa_sv:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [09:38<01:30,  9.09s/it]
+
truthfulqa_sv:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [09:48<01:24,  9.34s/it]
+
truthfulqa_sv:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [09:57<01:13,  9.19s/it]
+
truthfulqa_sv:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [10:06<01:02,  8.95s/it]
+
truthfulqa_sv:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [10:14<00:52,  8.82s/it]
+
truthfulqa_sv:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [10:23<00:43,  8.69s/it]
+
truthfulqa_sv:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [10:32<00:35,  8.93s/it]
+
truthfulqa_sv:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [10:42<00:27,  9.14s/it]
+
truthfulqa_sv:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [10:51<00:18,  9.12s/it]
+
truthfulqa_sv:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [11:00<00:09,  9.08s/it]
+
truthfulqa_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:08<00:00,  8.80s/it]
truthfulqa_sv: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [11:08<00:00,  9.03s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sv_mc1 0.32299741602067183
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_sv_mc2 0.4847141382655701
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:25:21,549 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:25:21,549 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:21,667 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:25:21,667 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:21,785 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:25:21,785 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:21,903 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:25:21,904 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:25:21,904 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:25:22,023 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:25:22,023 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_sv_mc1'}
+2024-06-01 10:25:22,084 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:25:22,084 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1315, 'value': 0.32299741602067183}
+2024-06-01 10:25:22,144 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:25:22,775 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:25:22,775 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:22,900 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:25:22,900 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:23,025 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:25:23,025 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:23,150 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:25:23,151 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:25:23,151 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:25:23,277 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:25:23,277 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_sv_mc2'}
+2024-06-01 10:25:23,340 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:25:23,340 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1316, 'value': 0.4847141382655701}
+2024-06-01 10:25:23,403 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 119/124 [75:37:52<58:02, 696.58s/it]['truthfulqa_ta']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:25:24,035 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:25:24,035 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:24,159 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:25:24,159 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:24,282 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:25:24,283 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:25:24,406 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:25:24,407 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 10:25:24,407 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'name_1_1': 'truthfulqa_ta'}
+2024-06-01 10:25:24,531 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_ta task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 743 examples [00:00, 9961.22 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_ta:   0%|                                                                                                                          | 0/71 [00:00<?, ?it/s]
+
truthfulqa_ta:   1%|█▌                                                                                                                | 1/71 [00:12<14:46, 12.66s/it]
+
truthfulqa_ta:   3%|███▏                                                                                                              | 2/71 [00:25<14:30, 12.62s/it]
+
truthfulqa_ta:   4%|████▊                                                                                                             | 3/71 [00:38<14:38, 12.91s/it]
+
truthfulqa_ta:   6%|██████▍                                                                                                           | 4/71 [00:51<14:35, 13.07s/it]
+
truthfulqa_ta:   7%|████████                                                                                                          | 5/71 [01:04<14:01, 12.76s/it]
+
truthfulqa_ta:   8%|█████████▋                                                                                                        | 6/71 [01:17<13:56, 12.87s/it]
+
truthfulqa_ta:  10%|███████████▏                                                                                                      | 7/71 [01:29<13:36, 12.76s/it]
+
truthfulqa_ta:  11%|████████████▊                                                                                                     | 8/71 [01:42<13:30, 12.86s/it]
+
truthfulqa_ta:  13%|██████████████▍                                                                                                   | 9/71 [01:55<13:17, 12.87s/it]
+
truthfulqa_ta:  14%|███████████████▉                                                                                                 | 10/71 [02:07<12:54, 12.69s/it]
+
truthfulqa_ta:  15%|█████████████████▌                                                                                               | 11/71 [02:20<12:44, 12.75s/it]
+
truthfulqa_ta:  17%|███████████████████                                                                                              | 12/71 [02:32<12:13, 12.43s/it]
+
truthfulqa_ta:  18%|████████████████████▋                                                                                            | 13/71 [02:44<11:56, 12.36s/it]
+
truthfulqa_ta:  20%|██████████████████████▎                                                                                          | 14/71 [02:57<11:56, 12.57s/it]
+
truthfulqa_ta:  21%|███████████████████████▊                                                                                         | 15/71 [03:09<11:28, 12.29s/it]
+
truthfulqa_ta:  23%|█████████████████████████▍                                                                                       | 16/71 [03:21<11:07, 12.13s/it]
+
truthfulqa_ta:  24%|███████████████████████████                                                                                      | 17/71 [03:33<11:03, 12.29s/it]
+
truthfulqa_ta:  25%|████████████████████████████▋                                                                                    | 18/71 [03:47<11:09, 12.62s/it]
+
truthfulqa_ta:  27%|██████████████████████████████▏                                                                                  | 19/71 [03:59<10:45, 12.42s/it]
+
truthfulqa_ta:  28%|███████████████████████████████▊                                                                                 | 20/71 [04:12<10:42, 12.59s/it]
+
truthfulqa_ta:  30%|█████████████████████████████████▍                                                                               | 21/71 [04:25<10:41, 12.83s/it]
+
truthfulqa_ta:  31%|███████████████████████████████████                                                                              | 22/71 [04:39<10:39, 13.06s/it]
+
truthfulqa_ta:  32%|████████████████████████████████████▌                                                                            | 23/71 [04:51<10:12, 12.75s/it]
+
truthfulqa_ta:  34%|██████████████████████████████████████▏                                                                          | 24/71 [05:02<09:43, 12.42s/it]
+
truthfulqa_ta:  35%|███████████████████████████████████████▊                                                                         | 25/71 [05:15<09:41, 12.63s/it]
+
truthfulqa_ta:  37%|█████████████████████████████████████████▍                                                                       | 26/71 [05:28<09:27, 12.62s/it]
+
truthfulqa_ta:  38%|██████████████████████████████████████████▉                                                                      | 27/71 [05:41<09:18, 12.69s/it]
+
truthfulqa_ta:  39%|████████████████████████████████████████████▌                                                                    | 28/71 [05:54<09:07, 12.74s/it]
+
truthfulqa_ta:  41%|██████████████████████████████████████████████▏                                                                  | 29/71 [06:09<09:30, 13.57s/it]
+
truthfulqa_ta:  42%|███████████████████████████████████████████████▋                                                                 | 30/71 [06:22<09:08, 13.38s/it]
+
truthfulqa_ta:  44%|█████████████████████████████████████████████████▎                                                               | 31/71 [06:36<09:03, 13.59s/it]
+
truthfulqa_ta:  45%|██████████████████████████████████████████████████▉                                                              | 32/71 [06:48<08:31, 13.12s/it]
+
truthfulqa_ta:  46%|████████████████████████████████████████████████████▌                                                            | 33/71 [07:01<08:12, 12.95s/it]
+
truthfulqa_ta:  48%|██████████████████████████████████████████████████████                                                           | 34/71 [07:15<08:13, 13.35s/it]
+
truthfulqa_ta:  49%|███████████████████████████████████████████████████████▋                                                         | 35/71 [07:29<08:11, 13.65s/it]
+
truthfulqa_ta:  51%|█████████████████████████████████████████████████████████▎                                                       | 36/71 [07:41<07:38, 13.10s/it]
+
truthfulqa_ta:  52%|██████████████████████████████████████████████████████████▉                                                      | 37/71 [07:54<07:20, 12.97s/it]
+
truthfulqa_ta:  54%|████████████████████████████████████████████████████████████▍                                                    | 38/71 [08:07<07:07, 12.97s/it]
+
truthfulqa_ta:  55%|██████████████████████████████████████████████████████████████                                                   | 39/71 [08:19<06:46, 12.70s/it]
+
truthfulqa_ta:  56%|███████████████████████████████████████████████████████████████▋                                                 | 40/71 [08:31<06:27, 12.51s/it]
+
truthfulqa_ta:  58%|█████████████████████████████████████████████████████████████████▎                                               | 41/71 [08:44<06:19, 12.65s/it]
+
truthfulqa_ta:  59%|██████████████████████████████████████████████████████████████████▊                                              | 42/71 [08:57<06:06, 12.63s/it]
+
truthfulqa_ta:  61%|████████████████████████████████████████████████████████████████████▍                                            | 43/71 [09:09<05:52, 12.59s/it]
+
truthfulqa_ta:  62%|██████████████████████████████████████████████████████████████████████                                           | 44/71 [09:23<05:52, 13.06s/it]
+
truthfulqa_ta:  63%|███████████████████████████████████████████████████████████████████████▌                                         | 45/71 [09:36<05:37, 12.96s/it]
+
truthfulqa_ta:  65%|█████████████████████████████████████████████████████████████████████████▏                                       | 46/71 [09:50<05:30, 13.23s/it]
+
truthfulqa_ta:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 47/71 [10:03<05:16, 13.17s/it]
+
truthfulqa_ta:  68%|████████████████████████████████████████████████████████████████████████████▍                                    | 48/71 [10:16<05:05, 13.30s/it]
+
truthfulqa_ta:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 49/71 [10:29<04:49, 13.18s/it]
+
truthfulqa_ta:  70%|███████████████████████████████████████████████████████████████████████████████▌                                 | 50/71 [10:42<04:31, 12.93s/it]
+
truthfulqa_ta:  72%|█████████████████████████████████████████████████████████████████████████████████▏                               | 51/71 [10:55<04:18, 12.93s/it]
+
truthfulqa_ta:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 52/71 [11:06<03:58, 12.55s/it]
+
truthfulqa_ta:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 53/71 [11:19<03:46, 12.60s/it]
+
truthfulqa_ta:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 54/71 [11:32<03:36, 12.73s/it]
+
truthfulqa_ta:  77%|███████████████████████████████████████████████████████████████████████████████████████▌                         | 55/71 [11:46<03:27, 12.99s/it]
+
truthfulqa_ta:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 56/71 [12:02<03:28, 13.93s/it]
+
truthfulqa_ta:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 57/71 [12:15<03:11, 13.65s/it]
+
truthfulqa_ta:  82%|████████████████████████████████████████████████████████████████████████████████████████████▎                    | 58/71 [12:27<02:53, 13.32s/it]
+
truthfulqa_ta:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▉                   | 59/71 [12:40<02:39, 13.25s/it]
+
truthfulqa_ta:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                 | 60/71 [12:53<02:24, 13.16s/it]
+
truthfulqa_ta:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████                | 61/71 [13:07<02:11, 13.16s/it]
+
truthfulqa_ta:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▋              | 62/71 [13:18<01:54, 12.73s/it]
+
truthfulqa_ta:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 63/71 [13:31<01:40, 12.62s/it]
+
truthfulqa_ta:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 64/71 [13:44<01:28, 12.71s/it]
+
truthfulqa_ta:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 65/71 [13:58<01:19, 13.30s/it]
+
truthfulqa_ta:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████        | 66/71 [14:11<01:06, 13.29s/it]
+
truthfulqa_ta:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 67/71 [14:23<00:51, 12.87s/it]
+
truthfulqa_ta:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 68/71 [14:36<00:38, 12.77s/it]
+
truthfulqa_ta:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 69/71 [14:49<00:26, 13.00s/it]
+
truthfulqa_ta:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 70/71 [15:01<00:12, 12.60s/it]
+
truthfulqa_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 71/71 [15:06<00:00, 10.24s/it]
truthfulqa_ta: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 71/71 [15:06<00:00, 12.77s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ta_mc1 0.2772543741588156
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_ta_mc2 0.4935520390214543
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:40:31,777 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:40:31,777 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:31,908 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:40:31,908 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:32,040 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:40:32,040 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:32,171 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:40:32,172 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:40:32,172 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:40:32,305 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:40:32,305 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_ta_mc1'}
+2024-06-01 10:40:32,372 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:40:32,372 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_id': 14266, 'metric_id': 1317, 'value': 0.2772543741588156}
+2024-06-01 10:40:32,439 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:40:33,088 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:40:33,088 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:33,216 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:40:33,216 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:33,343 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:40:33,343 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:40:33,471 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:40:33,600 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:40:33,600 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_ta_mc2'}
+2024-06-01 10:40:33,664 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:40:33,664 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1318, 'value': 0.4935520390214543}
+2024-06-01 10:40:33,729 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 120/124 [75:53:03<50:42, 760.71s/it]['truthfulqa_te']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:40:34,367 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:40:34,367 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:34,492 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:40:34,492 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:34,617 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:40:34,617 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:40:34,742 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:40:34,743 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 10:40:34,743 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_te'}
+2024-06-01 10:40:34,869 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_te task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 705 examples [00:00, 9965.44 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_te:   0%|                                                                                                                          | 0/66 [00:00<?, ?it/s]
+
truthfulqa_te:   2%|█▋                                                                                                                | 1/66 [00:11<12:27, 11.50s/it]
+
truthfulqa_te:   3%|███▍                                                                                                              | 2/66 [00:24<13:10, 12.35s/it]
+
truthfulqa_te:   5%|█████▏                                                                                                            | 3/66 [00:35<12:24, 11.81s/it]
+
truthfulqa_te:   6%|██████▉                                                                                                           | 4/66 [00:47<12:13, 11.83s/it]
+
truthfulqa_te:   8%|████████▋                                                                                                         | 5/66 [00:58<11:46, 11.58s/it]
+
truthfulqa_te:   9%|██████████▎                                                                                                       | 6/66 [01:10<11:31, 11.52s/it]
+
truthfulqa_te:  11%|████████████                                                                                                      | 7/66 [01:21<11:09, 11.35s/it]
+
truthfulqa_te:  12%|█████████████▊                                                                                                    | 8/66 [01:33<11:09, 11.55s/it]
+
truthfulqa_te:  14%|███████████████▌                                                                                                  | 9/66 [01:45<11:08, 11.72s/it]
+
truthfulqa_te:  15%|█████████████████                                                                                                | 10/66 [01:57<11:08, 11.94s/it]
+
truthfulqa_te:  17%|██████████████████▊                                                                                              | 11/66 [02:09<10:57, 11.96s/it]
+
truthfulqa_te:  18%|████████████████████▌                                                                                            | 12/66 [02:19<10:19, 11.47s/it]
+
truthfulqa_te:  20%|██████████████████████▎                                                                                          | 13/66 [02:31<10:07, 11.45s/it]
+
truthfulqa_te:  21%|███████████████████████▉                                                                                         | 14/66 [02:42<09:45, 11.27s/it]
+
truthfulqa_te:  23%|█████████████████████████▋                                                                                       | 15/66 [02:53<09:29, 11.17s/it]
+
truthfulqa_te:  24%|███████████████████████████▍                                                                                     | 16/66 [03:04<09:23, 11.27s/it]
+
truthfulqa_te:  26%|█████████████████████████████                                                                                    | 17/66 [03:16<09:20, 11.44s/it]
+
truthfulqa_te:  27%|██████████████████████████████▊                                                                                  | 18/66 [03:28<09:14, 11.56s/it]
+
truthfulqa_te:  29%|████████████████████████████████▌                                                                                | 19/66 [03:39<08:57, 11.44s/it]
+
truthfulqa_te:  30%|██████████████████████████████████▏                                                                              | 20/66 [03:50<08:46, 11.43s/it]
+
truthfulqa_te:  32%|███████████████████████████████████▉                                                                             | 21/66 [04:02<08:35, 11.46s/it]
+
truthfulqa_te:  33%|█████████████████████████████████████▋                                                                           | 22/66 [04:13<08:18, 11.34s/it]
+
truthfulqa_te:  35%|███████████████████████████████████████▍                                                                         | 23/66 [04:23<07:53, 11.01s/it]
+
truthfulqa_te:  36%|█████████████████████████████████████████                                                                        | 24/66 [04:35<07:57, 11.36s/it]
+
truthfulqa_te:  38%|██████████████████████████████████████████▊                                                                      | 25/66 [04:47<07:51, 11.51s/it]
+
truthfulqa_te:  39%|████████████████████████████████████████████▌                                                                    | 26/66 [04:59<07:46, 11.67s/it]
+
truthfulqa_te:  41%|██████████████████████████████████████████████▏                                                                  | 27/66 [05:11<07:30, 11.55s/it]
+
truthfulqa_te:  42%|███████████████████████████████████████████████▉                                                                 | 28/66 [05:22<07:17, 11.51s/it]
+
truthfulqa_te:  44%|█████████████████████████████████████████████████▋                                                               | 29/66 [05:34<07:07, 11.56s/it]
+
truthfulqa_te:  45%|███████████████████████████████████████████████████▎                                                             | 30/66 [05:44<06:46, 11.28s/it]
+
truthfulqa_te:  47%|█████████████████████████████████████████████████████                                                            | 31/66 [05:57<06:49, 11.70s/it]
+
truthfulqa_te:  48%|██████████████████████████████████████████████████████▊                                                          | 32/66 [06:08<06:35, 11.63s/it]
+
truthfulqa_te:  50%|████████████████████████████████████████████████████████▌                                                        | 33/66 [06:19<06:12, 11.28s/it]
+
truthfulqa_te:  52%|██████████████████████████████████████████████████████████▏                                                      | 34/66 [06:30<05:56, 11.14s/it]
+
truthfulqa_te:  53%|███████████████████████████████████████████████████████████▉                                                     | 35/66 [06:43<06:02, 11.68s/it]
+
truthfulqa_te:  55%|█████████████████████████████████████████████████████████████▋                                                   | 36/66 [06:53<05:40, 11.34s/it]
+
truthfulqa_te:  56%|███████████████████████████████████████████████████████████████▎                                                 | 37/66 [07:05<05:32, 11.48s/it]
+
truthfulqa_te:  58%|█████████████████████████████████████████████████████████████████                                                | 38/66 [07:16<05:19, 11.42s/it]
+
truthfulqa_te:  59%|██████████████████████████████████████████████████████████████████▊                                              | 39/66 [07:28<05:13, 11.61s/it]
+
truthfulqa_te:  61%|████████████████████████████████████████████████████████████████████▍                                            | 40/66 [07:40<05:00, 11.55s/it]
+
truthfulqa_te:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 41/66 [07:53<04:59, 11.99s/it]
+
truthfulqa_te:  64%|███████████████████████████████████████████████████████████████████████▉                                         | 42/66 [08:04<04:39, 11.65s/it]
+
truthfulqa_te:  65%|█████████████████████████████████████████████████████████████████████████▌                                       | 43/66 [08:14<04:19, 11.28s/it]
+
truthfulqa_te:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 44/66 [08:25<04:07, 11.26s/it]
+
truthfulqa_te:  68%|█████████████████████████████████████████████████████████████████████████████                                    | 45/66 [08:37<03:58, 11.35s/it]
+
truthfulqa_te:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 46/66 [08:49<03:49, 11.49s/it]
+
truthfulqa_te:  71%|████████████████████████████████████████████████████████████████████████████████▍                                | 47/66 [09:00<03:37, 11.47s/it]
+
truthfulqa_te:  73%|██████████████████████████████████████████████████████████████████████████████████▏                              | 48/66 [09:12<03:26, 11.50s/it]
+
truthfulqa_te:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 49/66 [09:22<03:11, 11.28s/it]
+
truthfulqa_te:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 50/66 [09:34<03:02, 11.41s/it]
+
truthfulqa_te:  77%|███████████████████████████████████████████████████████████████████████████████████████▎                         | 51/66 [09:46<02:53, 11.55s/it]
+
truthfulqa_te:  79%|█████████████████████████████████████████████████████████████████████████████████████████                        | 52/66 [09:57<02:41, 11.52s/it]
+
truthfulqa_te:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 53/66 [10:09<02:29, 11.53s/it]
+
truthfulqa_te:  82%|████████████████████████████████████████████████████████████████████████████████████████████▍                    | 54/66 [10:20<02:17, 11.44s/it]
+
truthfulqa_te:  83%|██████████████████████████████████████████████████████████████████████████████████████████████▏                  | 55/66 [10:31<02:04, 11.31s/it]
+
truthfulqa_te:  85%|███████████████████████████████████████████████████████████████████████████████████████████████▉                 | 56/66 [10:42<01:52, 11.30s/it]
+
truthfulqa_te:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▌               | 57/66 [10:55<01:44, 11.60s/it]
+
truthfulqa_te:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 58/66 [11:06<01:32, 11.60s/it]
+
truthfulqa_te:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 59/66 [11:18<01:21, 11.67s/it]
+
truthfulqa_te:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 60/66 [11:30<01:10, 11.82s/it]
+
truthfulqa_te:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 61/66 [11:42<00:58, 11.71s/it]
+
truthfulqa_te:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 62/66 [11:54<00:48, 12.00s/it]
+
truthfulqa_te:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 63/66 [12:05<00:34, 11.62s/it]
+
truthfulqa_te:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 64/66 [12:17<00:23, 11.58s/it]
+
truthfulqa_te:  98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 65/66 [12:27<00:11, 11.15s/it]
+
truthfulqa_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 66/66 [12:35<00:00, 10.14s/it]
truthfulqa_te: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 66/66 [12:35<00:00, 11.44s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_te_mc1 0.2723404255319149
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_te_mc2 0.4825645616710309
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:53:10,849 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:53:10,849 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:10,979 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:53:10,979 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:11,110 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:53:11,110 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:11,240 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:53:11,241 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:53:11,241 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:53:11,372 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:53:11,372 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_te_mc1'}
+2024-06-01 10:53:11,438 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:53:11,438 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1319, 'value': 0.2723404255319149}
+2024-06-01 10:53:11,505 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:53:12,162 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:53:12,162 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:12,291 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:53:12,291 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:12,420 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:53:12,420 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:12,549 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:53:12,550 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 10:53:12,550 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 10:53:12,680 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 10:53:12,680 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_te_mc2'}
+2024-06-01 10:53:12,745 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 10:53:12,745 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1320, 'value': 0.4825645616710309}
+2024-06-01 10:53:12,810 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 121/124 [76:05:42<38:00, 760.22s/it]['truthfulqa_uk']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 10:53:13,461 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 10:53:13,461 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:13,588 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 10:53:13,589 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:13,716 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 10:53:13,716 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 10:53:13,844 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 10:53:13,845 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 10:53:13,845 INFO sqlalchemy.engine.Engine [generated in 0.00017s] {'name_1_1': 'truthfulqa_uk'}
+2024-06-01 10:53:13,973 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_uk task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 770 examples [00:00, 10153.43 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_uk:   0%|                                                                                                                          | 0/74 [00:00<?, ?it/s]
+
truthfulqa_uk:   1%|█▌                                                                                                                | 1/74 [00:10<12:49, 10.54s/it]
+
truthfulqa_uk:   3%|███                                                                                                               | 2/74 [00:20<12:33, 10.46s/it]
+
truthfulqa_uk:   4%|████▌                                                                                                             | 3/74 [00:31<12:15, 10.36s/it]
+
truthfulqa_uk:   5%|██████▏                                                                                                           | 4/74 [00:40<11:49, 10.14s/it]
+
truthfulqa_uk:   7%|███████▋                                                                                                          | 5/74 [00:51<11:36, 10.09s/it]
+
truthfulqa_uk:   8%|█████████▏                                                                                                        | 6/74 [01:01<11:27, 10.11s/it]
+
truthfulqa_uk:   9%|██████████▊                                                                                                       | 7/74 [01:10<11:02,  9.89s/it]
+
truthfulqa_uk:  11%|████████████▎                                                                                                     | 8/74 [01:20<10:53,  9.90s/it]
+
truthfulqa_uk:  12%|█████████████▊                                                                                                    | 9/74 [01:30<10:44,  9.92s/it]
+
truthfulqa_uk:  14%|███████████████▎                                                                                                 | 10/74 [01:39<10:26,  9.78s/it]
+
truthfulqa_uk:  15%|████████████████▊                                                                                                | 11/74 [01:49<10:19,  9.83s/it]
+
truthfulqa_uk:  16%|██████████████████▎                                                                                              | 12/74 [01:59<10:05,  9.77s/it]
+
truthfulqa_uk:  18%|███████████████████▊                                                                                             | 13/74 [02:08<09:45,  9.60s/it]
+
truthfulqa_uk:  19%|█████████████████████▍                                                                                           | 14/74 [02:18<09:41,  9.70s/it]
+
truthfulqa_uk:  20%|██████████████████████▉                                                                                          | 15/74 [02:28<09:30,  9.66s/it]
+
truthfulqa_uk:  22%|████████████████████████▍                                                                                        | 16/74 [02:38<09:30,  9.84s/it]
+
truthfulqa_uk:  23%|█████████████████████████▉                                                                                       | 17/74 [02:48<09:29, 10.00s/it]
+
truthfulqa_uk:  24%|███████████████████████████▍                                                                                     | 18/74 [02:58<09:16,  9.94s/it]
+
truthfulqa_uk:  26%|█████████████████████████████                                                                                    | 19/74 [03:09<09:15, 10.11s/it]
+
truthfulqa_uk:  27%|██████████████████████████████▌                                                                                  | 20/74 [03:19<09:06, 10.13s/it]
+
truthfulqa_uk:  28%|████████████████████████████████                                                                                 | 21/74 [03:29<08:56, 10.12s/it]
+
truthfulqa_uk:  30%|█████████████████████████████████▌                                                                               | 22/74 [03:39<08:37,  9.96s/it]
+
truthfulqa_uk:  31%|███████████████████████████████████                                                                              | 23/74 [03:48<08:28,  9.96s/it]
+
truthfulqa_uk:  32%|████████████████████████████████████▋                                                                            | 24/74 [03:58<08:08,  9.76s/it]
+
truthfulqa_uk:  34%|██████████████████████████████████████▏                                                                          | 25/74 [04:08<08:02,  9.85s/it]
+
truthfulqa_uk:  35%|███████████████████████████████████████▋                                                                         | 26/74 [04:18<07:52,  9.84s/it]
+
truthfulqa_uk:  36%|█████████████████████████████████████████▏                                                                       | 27/74 [04:27<07:39,  9.78s/it]
+
truthfulqa_uk:  38%|██████████████████████████████████████████▊                                                                      | 28/74 [04:37<07:35,  9.90s/it]
+
truthfulqa_uk:  39%|████████████████████████████████████████████▎                                                                    | 29/74 [04:48<07:33, 10.08s/it]
+
truthfulqa_uk:  41%|█████████████████████████████████████████████▊                                                                   | 30/74 [04:58<07:19, 10.00s/it]
+
truthfulqa_uk:  42%|███████████████████████████████████████████████▎                                                                 | 31/74 [05:07<07:04,  9.88s/it]
+
truthfulqa_uk:  43%|████████████████████████████████████████████████▊                                                                | 32/74 [05:17<06:56,  9.92s/it]
+
truthfulqa_uk:  45%|██████████████████████████████████████████████████▍                                                              | 33/74 [05:29<07:08, 10.45s/it]
+
truthfulqa_uk:  46%|███████████████████████████████████████████████████▉                                                             | 34/74 [05:39<06:52, 10.32s/it]
+
truthfulqa_uk:  47%|█████████████████████████████████████████████████████▍                                                           | 35/74 [05:49<06:42, 10.31s/it]
+
truthfulqa_uk:  49%|██████████████████████████████████████████████████████▉                                                          | 36/74 [05:59<06:29, 10.24s/it]
+
truthfulqa_uk:  50%|████████████████████████████████████████████████████████▌                                                        | 37/74 [06:10<06:21, 10.30s/it]
+
truthfulqa_uk:  51%|██████████████████████████████████████████████████████████                                                       | 38/74 [06:20<06:06, 10.18s/it]
+
truthfulqa_uk:  53%|███████████████████████████████████████████████████████████▌                                                     | 39/74 [06:31<06:04, 10.41s/it]
+
truthfulqa_uk:  54%|█████████████████████████████████████████████████████████████                                                    | 40/74 [06:41<05:48, 10.24s/it]
+
truthfulqa_uk:  55%|██████████████████████████████████████████████████████████████▌                                                  | 41/74 [06:51<05:37, 10.23s/it]
+
truthfulqa_uk:  57%|████████████████████████████████████████████████████████████████▏                                                | 42/74 [07:01<05:23, 10.10s/it]
+
truthfulqa_uk:  58%|█████████████████████████████████████████████████████████████████▋                                               | 43/74 [07:10<05:04,  9.83s/it]
+
truthfulqa_uk:  59%|███████████████████████████████████████████████████████████████████▏                                             | 44/74 [07:19<04:50,  9.67s/it]
+
truthfulqa_uk:  61%|████████████████████████████████████████████████████████████████████▋                                            | 45/74 [07:29<04:44,  9.82s/it]
+
truthfulqa_uk:  62%|██████████████████████████████████████████████████████████████████████▏                                          | 46/74 [07:39<04:36,  9.89s/it]
+
truthfulqa_uk:  64%|███████████████████████████████████████████████████████████████████████▊                                         | 47/74 [07:49<04:28,  9.93s/it]
+
truthfulqa_uk:  65%|█████████████████████████████████████████████████████████████████████████▎                                       | 48/74 [08:00<04:21, 10.06s/it]
+
truthfulqa_uk:  66%|██████████████████████████████████████████████████████████████████████████▊                                      | 49/74 [08:09<04:08,  9.96s/it]
+
truthfulqa_uk:  68%|████████████████████████████████████████████████████████████████████████████▎                                    | 50/74 [08:19<03:59,  9.96s/it]
+
truthfulqa_uk:  69%|█████████████████████████████████████████████████████████████████████████████▉                                   | 51/74 [08:29<03:49,  9.98s/it]
+
truthfulqa_uk:  70%|███████████████████████████████████████████████████████████████████████████████▍                                 | 52/74 [08:40<03:41, 10.06s/it]
+
truthfulqa_uk:  72%|████████████████████████████████████████████████████████████████████████████████▉                                | 53/74 [08:49<03:26,  9.84s/it]
+
truthfulqa_uk:  73%|██████████████████████████████████████████████████████████████████████████████████▍                              | 54/74 [09:00<03:21, 10.07s/it]
+
truthfulqa_uk:  74%|███████████████████████████████████████████████████████████████████████████████████▉                             | 55/74 [09:09<03:06,  9.83s/it]
+
truthfulqa_uk:  76%|█████████████████████████████████████████████████████████████████████████████████████▌                           | 56/74 [09:19<02:57,  9.88s/it]
+
truthfulqa_uk:  77%|███████████████████████████████████████████████████████████████████████████████████████                          | 57/74 [09:29<02:48,  9.93s/it]
+
truthfulqa_uk:  78%|████████████████████████████████████████████████████████████████████████████████████████▌                        | 58/74 [09:39<02:38,  9.90s/it]
+
truthfulqa_uk:  80%|██████████████████████████████████████████████████████████████████████████████████████████                       | 59/74 [09:49<02:29,  9.94s/it]
+
truthfulqa_uk:  81%|███████████████████████████████████████████████████████████████████████████████████████████▌                     | 60/74 [09:59<02:19,  9.95s/it]
+
truthfulqa_uk:  82%|█████████████████████████████████████████████████████████████████████████████████████████████▏                   | 61/74 [10:08<02:05,  9.69s/it]
+
truthfulqa_uk:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▋                  | 62/74 [10:19<02:00, 10.03s/it]
+
truthfulqa_uk:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▏                | 63/74 [10:29<01:50, 10.03s/it]
+
truthfulqa_uk:  86%|█████████████████████████████████████████████████████████████████████████████████████████████████▋               | 64/74 [10:38<01:39,  9.92s/it]
+
truthfulqa_uk:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▎             | 65/74 [10:49<01:31, 10.19s/it]
+
truthfulqa_uk:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 66/74 [10:59<01:20, 10.05s/it]
+
truthfulqa_uk:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 67/74 [11:08<01:09,  9.87s/it]
+
truthfulqa_uk:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 68/74 [11:19<01:00, 10.11s/it]
+
truthfulqa_uk:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 69/74 [11:29<00:50, 10.13s/it]
+
truthfulqa_uk:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 70/74 [11:39<00:40, 10.08s/it]
+
truthfulqa_uk:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 71/74 [11:49<00:30, 10.16s/it]
+
truthfulqa_uk:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 72/74 [12:00<00:20, 10.13s/it]
+
truthfulqa_uk:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 73/74 [12:09<00:09,  9.91s/it]
+
truthfulqa_uk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:14<00:00,  8.45s/it]
truthfulqa_uk: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 74/74 [12:14<00:00,  9.93s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_uk_mc1 0.2727272727272727
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_uk_mc2 0.467055540817401
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:05:29,268 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:05:29,268 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:29,391 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:05:29,391 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:29,514 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:05:29,514 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:29,637 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:05:29,638 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:05:29,638 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:05:29,762 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:05:29,763 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_uk_mc1'}
+2024-06-01 11:05:29,825 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:05:29,825 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_id': 14266, 'metric_id': 1321, 'value': 0.2727272727272727}
+2024-06-01 11:05:29,888 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:05:30,542 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:05:30,542 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:30,671 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:05:30,671 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:30,800 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:05:30,800 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:30,929 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:05:30,930 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:05:30,930 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:05:31,061 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:05:31,061 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_uk_mc2'}
+2024-06-01 11:05:31,127 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:05:31,127 INFO sqlalchemy.engine.Engine [generated in 0.00016s] {'checkpoint_id': 14266, 'metric_id': 1322, 'value': 0.467055540817401}
+2024-06-01 11:05:31,192 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 122/124 [76:18:00<25:07, 753.67s/it]['truthfulqa_vi']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:05:31,844 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:05:31,844 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:31,972 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:05:31,972 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:32,101 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:05:32,101 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:05:32,229 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:05:32,230 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 11:05:32,230 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_vi'}
+2024-06-01 11:05:32,359 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_vi task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 785 examples [00:00, 9887.56 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_vi:   0%|                                                                                                                          | 0/75 [00:00<?, ?it/s]
+
truthfulqa_vi:   1%|█▌                                                                                                                | 1/75 [00:09<11:16,  9.15s/it]
+
truthfulqa_vi:   3%|███                                                                                                               | 2/75 [00:19<11:48,  9.70s/it]
+
truthfulqa_vi:   4%|████▌                                                                                                             | 3/75 [00:29<11:48,  9.84s/it]
+
truthfulqa_vi:   5%|██████                                                                                                            | 4/75 [00:38<11:15,  9.51s/it]
+
truthfulqa_vi:   7%|███████▌                                                                                                          | 5/75 [00:47<11:00,  9.43s/it]
+
truthfulqa_vi:   8%|█████████                                                                                                         | 6/75 [00:57<10:57,  9.53s/it]
+
truthfulqa_vi:   9%|██████████▋                                                                                                       | 7/75 [01:06<10:46,  9.51s/it]
+
truthfulqa_vi:  11%|████████████▏                                                                                                     | 8/75 [01:16<10:44,  9.61s/it]
+
truthfulqa_vi:  12%|█████████████▋                                                                                                    | 9/75 [01:25<10:24,  9.46s/it]
+
truthfulqa_vi:  13%|███████████████                                                                                                  | 10/75 [01:35<10:21,  9.56s/it]
+
truthfulqa_vi:  15%|████████████████▌                                                                                                | 11/75 [01:44<09:56,  9.32s/it]
+
truthfulqa_vi:  16%|██████████████████                                                                                               | 12/75 [01:53<09:45,  9.29s/it]
+
truthfulqa_vi:  17%|███████████████████▌                                                                                             | 13/75 [02:03<09:46,  9.46s/it]
+
truthfulqa_vi:  19%|█████████████████████                                                                                            | 14/75 [02:12<09:31,  9.37s/it]
+
truthfulqa_vi:  20%|██████████████████████▌                                                                                          | 15/75 [02:21<09:23,  9.39s/it]
+
truthfulqa_vi:  21%|████████████████████████                                                                                         | 16/75 [02:31<09:22,  9.53s/it]
+
truthfulqa_vi:  23%|█████████████████████████▌                                                                                       | 17/75 [02:40<09:07,  9.44s/it]
+
truthfulqa_vi:  24%|███████████████████████████                                                                                      | 18/75 [02:50<09:01,  9.50s/it]
+
truthfulqa_vi:  25%|████████████████████████████▋                                                                                    | 19/75 [02:59<08:47,  9.41s/it]
+
truthfulqa_vi:  27%|██████████████████████████████▏                                                                                  | 20/75 [03:09<08:39,  9.44s/it]
+
truthfulqa_vi:  28%|███████████████████████████████▋                                                                                 | 21/75 [03:18<08:29,  9.43s/it]
+
truthfulqa_vi:  29%|█████████████████████████████████▏                                                                               | 22/75 [03:28<08:24,  9.53s/it]
+
truthfulqa_vi:  31%|██████████████████████████████████▋                                                                              | 23/75 [03:37<08:05,  9.34s/it]
+
truthfulqa_vi:  32%|████████████████████████████████████▏                                                                            | 24/75 [03:47<08:02,  9.46s/it]
+
truthfulqa_vi:  33%|█████████████████████████████████████▋                                                                           | 25/75 [03:57<08:00,  9.62s/it]
+
truthfulqa_vi:  35%|███████████████████████████████████████▏                                                                         | 26/75 [04:07<08:00,  9.80s/it]
+
truthfulqa_vi:  36%|████████████████████████████████████████▋                                                                        | 27/75 [04:17<07:59,  9.99s/it]
+
truthfulqa_vi:  37%|██████████████████████████████████████████▏                                                                      | 28/75 [04:27<07:46,  9.92s/it]
+
truthfulqa_vi:  39%|███████████████████████████████████████████▋                                                                     | 29/75 [04:37<07:33,  9.87s/it]
+
truthfulqa_vi:  40%|█████████████████████████████████████████████▏                                                                   | 30/75 [04:47<07:29,  9.99s/it]
+
truthfulqa_vi:  41%|██████████████████████████████████████████████▋                                                                  | 31/75 [04:57<07:22, 10.06s/it]
+
truthfulqa_vi:  43%|████████████████████████████████████████████████▏                                                                | 32/75 [05:07<07:03,  9.84s/it]
+
truthfulqa_vi:  44%|█████████████████████████████████████████████████▋                                                               | 33/75 [05:16<06:46,  9.69s/it]
+
truthfulqa_vi:  45%|███████████████████████████████████████████████████▏                                                             | 34/75 [05:26<06:38,  9.71s/it]
+
truthfulqa_vi:  47%|████████████████████████████████████████████████████▋                                                            | 35/75 [05:35<06:21,  9.54s/it]
+
truthfulqa_vi:  48%|██████████████████████████████████████████████████████▏                                                          | 36/75 [05:45<06:14,  9.61s/it]
+
truthfulqa_vi:  49%|███████████████████████████████████████████████████████▋                                                         | 37/75 [05:54<06:02,  9.54s/it]
+
truthfulqa_vi:  51%|█████████████████████████████████████████████████████████▎                                                       | 38/75 [06:04<05:55,  9.61s/it]
+
truthfulqa_vi:  52%|██████████████████████████████████████████████████████████▊                                                      | 39/75 [06:15<06:01, 10.05s/it]
+
truthfulqa_vi:  53%|████████████████████████████████████████████████████████████▎                                                    | 40/75 [06:24<05:43,  9.82s/it]
+
truthfulqa_vi:  55%|█████████████████████████████████████████████████████████████▊                                                   | 41/75 [06:33<05:27,  9.62s/it]
+
truthfulqa_vi:  56%|███████████████████████████████████████████████████████████████▎                                                 | 42/75 [06:43<05:19,  9.68s/it]
+
truthfulqa_vi:  57%|████████████████████████████████████████████████████████████████▊                                                | 43/75 [06:52<05:06,  9.57s/it]
+
truthfulqa_vi:  59%|██████████████████████████████████████████████████████████████████▎                                              | 44/75 [07:03<05:06,  9.89s/it]
+
truthfulqa_vi:  60%|███████████████████████████████████████████████████████████████████▊                                             | 45/75 [07:13<05:01, 10.04s/it]
+
truthfulqa_vi:  61%|█████████████████████████████████████████████████████████████████████▎                                           | 46/75 [07:23<04:50, 10.02s/it]
+
truthfulqa_vi:  63%|██████████████████████████████████████████████████████████████████████▊                                          | 47/75 [07:33<04:38,  9.94s/it]
+
truthfulqa_vi:  64%|████████████████████████████████████████████████████████████████████████▎                                        | 48/75 [07:42<04:22,  9.74s/it]
+
truthfulqa_vi:  65%|█████████████████████████████████████████████████████████████████████████▊                                       | 49/75 [07:52<04:12,  9.70s/it]
+
truthfulqa_vi:  67%|███████████████████████████████████████████████████████████████████████████▎                                     | 50/75 [08:02<04:03,  9.74s/it]
+
truthfulqa_vi:  68%|████████████████████████████████████████████████████████████████████████████▊                                    | 51/75 [08:11<03:46,  9.44s/it]
+
truthfulqa_vi:  69%|██████████████████████████████████████████████████████████████████████████████▎                                  | 52/75 [08:19<03:32,  9.25s/it]
+
truthfulqa_vi:  71%|███████████████████████████████████████████████████████████████████████████████▊                                 | 53/75 [08:29<03:27,  9.45s/it]
+
truthfulqa_vi:  72%|█████████████████████████████████████████████████████████████████████████████████▎                               | 54/75 [08:39<03:22,  9.62s/it]
+
truthfulqa_vi:  73%|██████████████████████████████████████████████████████████████████████████████████▊                              | 55/75 [08:49<03:10,  9.54s/it]
+
truthfulqa_vi:  75%|████████████████████████████████████████████████████████████████████████████████████▎                            | 56/75 [08:59<03:03,  9.65s/it]
+
truthfulqa_vi:  76%|█████████████████████████████████████████████████████████████████████████████████████▉                           | 57/75 [09:09<02:55,  9.73s/it]
+
truthfulqa_vi:  77%|███████████████████████████████████████████████████████████████████████████████████████▍                         | 58/75 [09:19<02:51, 10.08s/it]
+
truthfulqa_vi:  79%|████████████████████████████████████████████████████████████████████████████████████████▉                        | 59/75 [09:30<02:41, 10.09s/it]
+
truthfulqa_vi:  80%|██████████████████████████████████████████████████████████████████████████████████████████▍                      | 60/75 [09:39<02:29,  9.95s/it]
+
truthfulqa_vi:  81%|███████████████████████████████████████████████████████████████████████████████████████████▉                     | 61/75 [09:48<02:15,  9.69s/it]
+
truthfulqa_vi:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                   | 62/75 [09:58<02:07,  9.78s/it]
+
truthfulqa_vi:  84%|██████████████████████████████████████████████████████████████████████████████████████████████▉                  | 63/75 [10:09<01:59,  9.99s/it]
+
truthfulqa_vi:  85%|████████████████████████████████████████████████████████████████████████████████████████████████▍                | 64/75 [10:18<01:46,  9.71s/it]
+
truthfulqa_vi:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████▉               | 65/75 [10:27<01:35,  9.56s/it]
+
truthfulqa_vi:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▍             | 66/75 [10:37<01:25,  9.54s/it]
+
truthfulqa_vi:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 67/75 [10:46<01:16,  9.52s/it]
+
truthfulqa_vi:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 68/75 [10:56<01:07,  9.66s/it]
+
truthfulqa_vi:  92%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 69/75 [11:05<00:57,  9.54s/it]
+
truthfulqa_vi:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 70/75 [11:15<00:48,  9.63s/it]
+
truthfulqa_vi:  95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 71/75 [11:24<00:37,  9.37s/it]
+
truthfulqa_vi:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 72/75 [11:34<00:28,  9.54s/it]
+
truthfulqa_vi:  97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 73/75 [11:43<00:18,  9.42s/it]
+
truthfulqa_vi:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 74/75 [11:52<00:09,  9.27s/it]
+
truthfulqa_vi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:59<00:00,  8.65s/it]
truthfulqa_vi: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 75/75 [11:59<00:00,  9.59s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_vi_mc1 0.267515923566879
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_vi_mc2 0.4431876857737536
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:17:32,775 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:17:32,775 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:32,905 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:17:32,905 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:33,034 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:17:33,034 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:33,164 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:17:33,165 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:17:33,165 INFO sqlalchemy.engine.Engine [generated in 0.00015s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:17:33,295 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:17:33,296 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_vi_mc1'}
+2024-06-01 11:17:33,361 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:17:33,361 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1323, 'value': 0.267515923566879}
+2024-06-01 11:17:33,427 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:17:34,085 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:17:34,085 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:34,214 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:17:34,214 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:34,344 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:17:34,344 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:34,473 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:17:34,474 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:17:34,474 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:17:34,604 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:17:34,604 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'name_1': 'truthfulqa_vi_mc2'}
+2024-06-01 11:17:34,670 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:17:34,670 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1324, 'value': 0.4431876857737536}
+2024-06-01 11:17:34,735 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS:  99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 123/124 [76:30:04<12:24, 744.63s/it]['truthfulqa_zh']
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:17:35,391 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:17:35,391 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:35,520 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:17:35,520 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:35,649 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:17:35,649 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:17:35,778 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:17:35,779 INFO sqlalchemy.engine.Engine SELECT DISTINCT tasks.task_id, tasks.name, tasks.task_provider 
+FROM tasks 
+WHERE tasks.name IN (%(name_1_1)s)
+2024-06-01 11:17:35,779 INFO sqlalchemy.engine.Engine [generated in 0.00018s] {'name_1_1': 'truthfulqa_zh'}
+2024-06-01 11:17:35,909 INFO sqlalchemy.engine.Engine ROLLBACK
+[Task(name=truthfulqa_zh task_provider=lm_eval)]
+
+
Generating validation split: 0 examples [00:00, ? examples/s]
Generating validation split: 788 examples [00:00, 10817.85 examples/s]
+Running loglikelihood requests
+
+
truthfulqa_zh:   0%|                                                                                                                          | 0/76 [00:00<?, ?it/s]
+
truthfulqa_zh:   1%|█▌                                                                                                                | 1/76 [00:07<09:46,  7.82s/it]
+
truthfulqa_zh:   3%|███                                                                                                               | 2/76 [00:16<10:05,  8.19s/it]
+
truthfulqa_zh:   4%|████▌                                                                                                             | 3/76 [00:24<10:06,  8.31s/it]
+
truthfulqa_zh:   5%|██████                                                                                                            | 4/76 [00:32<09:51,  8.21s/it]
+
truthfulqa_zh:   7%|███████▌                                                                                                          | 5/76 [00:41<09:47,  8.27s/it]
+
truthfulqa_zh:   8%|█████████                                                                                                         | 6/76 [00:49<09:37,  8.25s/it]
+
truthfulqa_zh:   9%|██████████▌                                                                                                       | 7/76 [00:56<09:14,  8.04s/it]
+
truthfulqa_zh:  11%|████████████                                                                                                      | 8/76 [01:04<08:59,  7.94s/it]
+
truthfulqa_zh:  12%|█████████████▌                                                                                                    | 9/76 [01:12<08:54,  7.98s/it]
+
truthfulqa_zh:  13%|██████████████▊                                                                                                  | 10/76 [01:20<08:47,  7.99s/it]
+
truthfulqa_zh:  14%|████████████████▎                                                                                                | 11/76 [01:28<08:38,  7.97s/it]
+
truthfulqa_zh:  16%|█████████████████▊                                                                                               | 12/76 [01:36<08:34,  8.03s/it]
+
truthfulqa_zh:  17%|███████████████████▎                                                                                             | 13/76 [01:44<08:21,  7.97s/it]
+
truthfulqa_zh:  18%|████████████████████▊                                                                                            | 14/76 [01:52<08:19,  8.05s/it]
+
truthfulqa_zh:  20%|██████████████████████▎                                                                                          | 15/76 [02:00<08:07,  7.99s/it]
+
truthfulqa_zh:  21%|███████████████████████▊                                                                                         | 16/76 [02:09<08:09,  8.16s/it]
+
truthfulqa_zh:  22%|█████████████████████████▎                                                                                       | 17/76 [02:17<07:56,  8.08s/it]
+
truthfulqa_zh:  24%|██████████████████████████▊                                                                                      | 18/76 [02:24<07:43,  7.98s/it]
+
truthfulqa_zh:  25%|████████████████████████████▎                                                                                    | 19/76 [02:32<07:30,  7.91s/it]
+
truthfulqa_zh:  26%|█████████████████████████████▋                                                                                   | 20/76 [02:40<07:17,  7.81s/it]
+
truthfulqa_zh:  28%|███████████████████████████████▏                                                                                 | 21/76 [02:48<07:09,  7.81s/it]
+
truthfulqa_zh:  29%|████████████████████████████████▋                                                                                | 22/76 [02:55<07:02,  7.83s/it]
+
truthfulqa_zh:  30%|██████████████████████████████████▏                                                                              | 23/76 [03:03<06:54,  7.83s/it]
+
truthfulqa_zh:  32%|███████████████████████████████████▋                                                                             | 24/76 [03:11<06:47,  7.84s/it]
+
truthfulqa_zh:  33%|█████████████████████████████████████▏                                                                           | 25/76 [03:19<06:39,  7.83s/it]
+
truthfulqa_zh:  34%|██████████████████████████████████████▋                                                                          | 26/76 [03:27<06:29,  7.80s/it]
+
truthfulqa_zh:  36%|████████████████████████████████████████▏                                                                        | 27/76 [03:34<06:18,  7.72s/it]
+
truthfulqa_zh:  37%|█████████████████████████████████████████▋                                                                       | 28/76 [03:42<06:15,  7.82s/it]
+
truthfulqa_zh:  38%|███████████████████████████████████████████                                                                      | 29/76 [03:50<06:07,  7.82s/it]
+
truthfulqa_zh:  39%|████████████████████████████████████████████▌                                                                    | 30/76 [03:58<06:00,  7.84s/it]
+
truthfulqa_zh:  41%|██████████████████████████████████████████████                                                                   | 31/76 [04:06<05:55,  7.89s/it]
+
truthfulqa_zh:  42%|███████████████████████████████████████████████▌                                                                 | 32/76 [04:14<05:51,  8.00s/it]
+
truthfulqa_zh:  43%|█████████████████████████████████████████████████                                                                | 33/76 [04:23<05:47,  8.08s/it]
+
truthfulqa_zh:  45%|██████████████████████████████████████████████████▌                                                              | 34/76 [04:31<05:38,  8.07s/it]
+
truthfulqa_zh:  46%|████████████████████████████████████████████████████                                                             | 35/76 [04:38<05:26,  7.97s/it]
+
truthfulqa_zh:  47%|█████████████████████████████████████████████████████▌                                                           | 36/76 [04:46<05:11,  7.80s/it]
+
truthfulqa_zh:  49%|███████████████████████████████████████████████████████                                                          | 37/76 [04:54<05:03,  7.79s/it]
+
truthfulqa_zh:  50%|████████████████████████████████████████████████████████▌                                                        | 38/76 [05:01<04:54,  7.75s/it]
+
truthfulqa_zh:  51%|█████████████████████████████████████████████████████████▉                                                       | 39/76 [05:09<04:46,  7.76s/it]
+
truthfulqa_zh:  53%|███████████████████████████████████████████████████████████▍                                                     | 40/76 [05:17<04:39,  7.75s/it]
+
truthfulqa_zh:  54%|████████████████████████████████████████████████████████████▉                                                    | 41/76 [05:25<04:35,  7.87s/it]
+
truthfulqa_zh:  55%|██████████████████████████████████████████████████████████████▍                                                  | 42/76 [05:32<04:25,  7.81s/it]
+
truthfulqa_zh:  57%|███████████████████████████████████████████████████████████████▉                                                 | 43/76 [05:41<04:22,  7.96s/it]
+
truthfulqa_zh:  58%|█████████████████████████████████████████████████████████████████▍                                               | 44/76 [05:49<04:18,  8.08s/it]
+
truthfulqa_zh:  59%|██████████████████████████████████████████████████████████████████▉                                              | 45/76 [05:57<04:09,  8.06s/it]
+
truthfulqa_zh:  61%|████████████████████████████████████████████████████████████████████▍                                            | 46/76 [06:05<04:01,  8.04s/it]
+
truthfulqa_zh:  62%|█████████████████████████████████████████████████████████████████████▉                                           | 47/76 [06:13<03:52,  8.01s/it]
+
truthfulqa_zh:  63%|███████████████████████████████████████████████████████████████████████▎                                         | 48/76 [06:21<03:42,  7.96s/it]
+
truthfulqa_zh:  64%|████████████████████████████████████████████████████████████████████████▊                                        | 49/76 [06:29<03:36,  8.01s/it]
+
truthfulqa_zh:  66%|██████████████████████████████████████████████████████████████████████████▎                                      | 50/76 [06:38<03:34,  8.23s/it]
+
truthfulqa_zh:  67%|███████████████████████████████████████████████████████████████████████████▊                                     | 51/76 [06:45<03:19,  7.98s/it]
+
truthfulqa_zh:  68%|█████████████████████████████████████████████████████████████████████████████▎                                   | 52/76 [06:54<03:15,  8.16s/it]
+
truthfulqa_zh:  70%|██████████████████████████████████████████████████████████████████████████████▊                                  | 53/76 [07:01<03:03,  7.98s/it]
+
truthfulqa_zh:  71%|████████████████████████████████████████████████████████████████████████████████▎                                | 54/76 [07:09<02:52,  7.82s/it]
+
truthfulqa_zh:  72%|█████████████████████████████████████████████████████████████████████████████████▊                               | 55/76 [07:17<02:44,  7.83s/it]
+
truthfulqa_zh:  74%|███████████████████████████████████████████████████████████████████████████████████▎                             | 56/76 [07:25<02:37,  7.87s/it]
+
truthfulqa_zh:  75%|████████████████████████████████████████████████████████████████████████████████████▊                            | 57/76 [07:32<02:28,  7.80s/it]
+
truthfulqa_zh:  76%|██████████████████████████████████████████████████████████████████████████████████████▏                          | 58/76 [07:40<02:20,  7.79s/it]
+
truthfulqa_zh:  78%|███████████████████████████████████████████████████████████████████████████████████████▋                         | 59/76 [07:48<02:14,  7.91s/it]
+
truthfulqa_zh:  79%|█████████████████████████████████████████████████████████████████████████████████████████▏                       | 60/76 [07:56<02:06,  7.89s/it]
+
truthfulqa_zh:  80%|██████████████████████████████████████████████████████████████████████████████████████████▋                      | 61/76 [08:04<01:58,  7.92s/it]
+
truthfulqa_zh:  82%|████████████████████████████████████████████████████████████████████████████████████████████▏                    | 62/76 [08:12<01:49,  7.82s/it]
+
truthfulqa_zh:  83%|█████████████████████████████████████████████████████████████████████████████████████████████▋                   | 63/76 [08:19<01:41,  7.83s/it]
+
truthfulqa_zh:  84%|███████████████████████████████████████████████████████████████████████████████████████████████▏                 | 64/76 [08:27<01:33,  7.83s/it]
+
truthfulqa_zh:  86%|████████████████████████████████████████████████████████████████████████████████████████████████▋                | 65/76 [08:35<01:26,  7.82s/it]
+
truthfulqa_zh:  87%|██████████████████████████████████████████████████████████████████████████████████████████████████▏              | 66/76 [08:43<01:18,  7.86s/it]
+
truthfulqa_zh:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████▌             | 67/76 [08:51<01:11,  7.89s/it]
+
truthfulqa_zh:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████████            | 68/76 [08:59<01:02,  7.80s/it]
+
truthfulqa_zh:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 69/76 [09:06<00:54,  7.77s/it]
+
truthfulqa_zh:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████         | 70/76 [09:14<00:46,  7.69s/it]
+
truthfulqa_zh:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 71/76 [09:21<00:38,  7.66s/it]
+
truthfulqa_zh:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████      | 72/76 [09:29<00:31,  7.77s/it]
+
truthfulqa_zh:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 73/76 [09:37<00:23,  7.73s/it]
+
truthfulqa_zh:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 74/76 [09:45<00:15,  7.85s/it]
+
truthfulqa_zh:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 75/76 [09:53<00:07,  7.90s/it]
+
truthfulqa_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [09:58<00:00,  6.95s/it]
truthfulqa_zh: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 76/76 [09:58<00:00,  7.87s/it]
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_zh_mc1 0.30710659898477155
+Results: s3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/ truthfulqa_zh_mc2 0.4713374825220428
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:27:35,475 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:27:35,475 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:35,601 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:27:35,601 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:35,726 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:27:35,726 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:35,852 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:27:35,853 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:27:35,853 INFO sqlalchemy.engine.Engine [generated in 0.00014s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:27:35,979 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:27:35,980 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'name_1': 'truthfulqa_zh_mc1'}
+2024-06-01 11:27:36,043 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:27:36,044 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_id': 14266, 'metric_id': 1325, 'value': 0.30710659898477155}
+2024-06-01 11:27:36,108 INFO sqlalchemy.engine.Engine COMMIT
+postgresql+psycopg2://rw:***@evaluation.ctshhtyqsren.us-east-1.rds.amazonaws.com:5432/postgres
+2024-06-01 11:27:36,733 INFO sqlalchemy.engine.Engine select pg_catalog.version()
+2024-06-01 11:27:36,734 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:36,856 INFO sqlalchemy.engine.Engine select current_schema()
+2024-06-01 11:27:36,856 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:36,979 INFO sqlalchemy.engine.Engine show standard_conforming_strings
+2024-06-01 11:27:36,979 INFO sqlalchemy.engine.Engine [raw sql] {}
+2024-06-01 11:27:37,102 INFO sqlalchemy.engine.Engine BEGIN (implicit)
+2024-06-01 11:27:37,103 INFO sqlalchemy.engine.Engine SELECT checkpoints.cp_id 
+FROM checkpoints 
+WHERE checkpoints.checkpoint_path = %(checkpoint_path_1)s
+2024-06-01 11:27:37,103 INFO sqlalchemy.engine.Engine [generated in 0.00012s] {'checkpoint_path_1': 's3://sagemaker-us-west-2-968592933103/Quentin.Malartic/10B-instruct/GT4500-chat-bz512-lr1_89e-5-2a09be2a/GT4500-chat-bz512-lr1_89e-5/checkpoint_1.9GT/'}
+2024-06-01 11:27:37,227 INFO sqlalchemy.engine.Engine SELECT metrics.metric_id 
+FROM metrics 
+WHERE metrics.name = %(name_1)s
+2024-06-01 11:27:37,227 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'name_1': 'truthfulqa_zh_mc2'}
+2024-06-01 11:27:37,289 INFO sqlalchemy.engine.Engine INSERT INTO results (checkpoint_id, metric_id, value) VALUES (%(checkpoint_id)s, %(metric_id)s, %(value)s) RETURNING results.result_id
+2024-06-01 11:27:37,289 INFO sqlalchemy.engine.Engine [generated in 0.00013s] {'checkpoint_id': 14266, 'metric_id': 1326, 'value': 0.4713374825220428}
+2024-06-01 11:27:37,352 INFO sqlalchemy.engine.Engine COMMIT
+
ALL TASKS: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 124/124 [76:40:06<00:00, 702.03s/it]
ALL TASKS: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 124/124 [76:40:06<00:00, 2225.86s/it]
+Tasks: ['arc_ar', 'arc_bn', 'arc_ca', 'arc_da', 'arc_de', 'arc_es', 'arc_eu', 'arc_fr', 'arc_gu', 'arc_hi', 'arc_hr', 'arc_hu', 'arc_hy', 'arc_id', 'arc_it', 'arc_kn', 'arc_ml', 'arc_mr', 'arc_ne', 'arc_nl', 'arc_pt', 'arc_ro', 'arc_ru', 'arc_sk', 'arc_sr', 'arc_sv', 'arc_ta', 'arc_te', 'arc_uk', 'arc_vi', 'arc_zh', 'hellaswag_ar', 'hellaswag_bn', 'hellaswag_ca', 'hellaswag_da', 'hellaswag_de', 'hellaswag_es', 'hellaswag_eu', 'hellaswag_fr', 'hellaswag_gu', 'hellaswag_hi', 'hellaswag_hr', 'hellaswag_hu', 'hellaswag_hy', 'hellaswag_id', 'hellaswag_it', 'hellaswag_kn', 'hellaswag_ml', 'hellaswag_mr', 'hellaswag_ne', 'hellaswag_nl', 'hellaswag_pt', 'hellaswag_ro', 'hellaswag_ru', 'hellaswag_sk', 'hellaswag_sr', 'hellaswag_sv', 'hellaswag_ta', 'hellaswag_te', 'hellaswag_uk', 'hellaswag_vi', 'hellaswag_zh', 'mmlu_ar', 'mmlu_bn', 'mmlu_ca', 'mmlu_da', 'mmlu_de', 'mmlu_es', 'mmlu_eu', 'mmlu_fr', 'mmlu_gu', 'mmlu_hi', 'mmlu_hr', 'mmlu_hu', 'mmlu_hy', 'mmlu_id', 'mmlu_it', 'mmlu_kn', 'mmlu_ml', 'mmlu_mr', 'mmlu_ne', 'mmlu_nl', 'mmlu_pt', 'mmlu_ro', 'mmlu_ru', 'mmlu_sk', 'mmlu_sr', 'mmlu_sv', 'mmlu_ta', 'mmlu_te', 'mmlu_uk', 'mmlu_vi', 'mmlu_zh', 'truthfulqa_ar', 'truthfulqa_bn', 'truthfulqa_ca', 'truthfulqa_da', 'truthfulqa_de', 'truthfulqa_es', 'truthfulqa_eu', 'truthfulqa_fr', 'truthfulqa_gu', 'truthfulqa_hi', 'truthfulqa_hr', 'truthfulqa_hu', 'truthfulqa_hy', 'truthfulqa_id', 'truthfulqa_it', 'truthfulqa_kn', 'truthfulqa_ml', 'truthfulqa_mr', 'truthfulqa_ne', 'truthfulqa_nl', 'truthfulqa_pt', 'truthfulqa_ro', 'truthfulqa_ru', 'truthfulqa_sk', 'truthfulqa_sr', 'truthfulqa_sv', 'truthfulqa_ta', 'truthfulqa_te', 'truthfulqa_uk', 'truthfulqa_vi', 'truthfulqa_zh']
+Failure rate: 0.0 (0 out of 3098572 samples failed).
+Eval done.
+Eval done.